Hadoop的三大核心组件之MapReaduce
MapReduce是什么?
MR是一个分布式计算框架,它是Hadoop的一个程序,不会产生进程。
MR部分需要结合代码来理解学习,由于代码篇幅原因不方便截图,代码已经贴到github上,注释也挺详细,有需要的朋友可以去看,传送门:https://github.com/ZzzzZzreal/HadoopKeyPoints
(DATA文件夹是代码测试使用的数据,RESULT文件夹是代码测试结果)
======================================================================
A、自定义序列化类
有时候,默认的数据类型不能满足我们的需求时,需要我们自定义序列化类,实现WritableComparable。在自定义的序列化类中,最重要的是重写compareTo方法以及序列化反序列化方法。序列化和反序列化的内容需要重点关注,容易犯低级错误。
★二次排序:compareTo方法也可以实现二次排序的功能,但会产生大量的序列化反序列化实例,浪费资源;比较优化的方法是在自定义序列化类中的一个静态内部类--Comparator,继承WritableComparator,在这个类中的compare方法中写排序的逻辑。需要对这个内部类进行注册。
B、Mapper---Mapper对来的每一条数据进行一次计算(这里的计算指的时代码逻辑,这句话的意思就是每来一条数据走一次map方法)
代码及注释--h