MapRedeuce中的Combiner、Shuffle机制

1.MapReduce中的Combiner
- Combiner是MapReduce程序中Mapper和Reducer之外的一种组件.
- Combiner组件的父类就是Reducer.
- Combiner和Reducer的区别在于运行的位置:
1. Combiner是在每一个maptask所在的节点运行
2. Reducer是接收全局所有Mapper的输出结果
- Combiner的意义就是对每一个maptask的输出进行局部汇总,以减小网络传输量,实现步骤:
1. 自定义一个Combiner继承Reducer,重写reduce方法
2. 在job中设置:job.setCombinerClass(CustomCombiner.class)
- Combiner能够应用的前提是不能影响最终的业务逻辑,而且Combiner的输出k/v应该跟Reducer的输入k/v类型要对应起来.
2.MapReduce中的Shuffle机制
2.1 概述:
2.1.1 MapReduce中,Map阶段处理的数据如何传递给Reduce阶段,是MapReduce框架中最关键的一个流程,这个流程就叫Shullfe;
2.1.2 Shullfe:洗牌、发牌—(核心机制:数据分区,排序,缓存);
2.1.3 具体来说就是讲maptask输出的处理结果数据,分发给reducetask,并在分发的过程中,对数据按key进行了分区和排序;
2.2 主要流程
Shuffle缓存流程

Shuffle是MapReduce处理流程中的一个流程,它的每一个处理步骤是分散在各个maptask和reducetask节点上完成的,整体来看,分为3个操作:
1.分区partition
2.Sort根据key排序
3.Combiner进行局部value的合并
2.3 详细流程
1.maptask收集map方法输出的kv对,放到内存缓冲区中
2.从内存缓冲区不断溢出本地磁盘文件,可能会溢出多个文件
3.多个溢出文件会被合并成大的溢出文件
4.在溢出过程中,及合并的过程中,都要调用partition进行分组和针对key进行排序
5.reducetask根据自己的分区号,去各个maptask机器上去响应的结果分区数据
6.reducetask会取到同一个分区来自不同maptask的结果文件,reducetask会将这些文件再进行合并(归并排序)
7.合并成大文件后,Shullfe的过程也就结束了,后面进入reducetask的逻辑运算过程(从文件中取出一个一个的键值对组,调用用户自定义的reduce()方法)
Shullfe中的缓冲区大小会影响到MapReduce程序的执行效率,原则上说,缓冲区越大,磁盘io的次数越少,执行速度就越快.缓冲区大大小可以通过参数调整,参数:io.sort.mb,默认为100M.
2.4 详细流程示意图