shuffle过程分析
1.Shuffle的作用范围
数据从Map阶段输出到Reduce阶段的过程称之为shuffle;
2.Shuffle图解
如上图所示,shuffle并不是hadoop的一个组件,而是map阶段产生数据输出到reduce阶段取得数据作为输入之前的一个过程;
3.Shuffle的执行阶段流程
1.首先根据split,每个split会产生一个map task任务,map task的作用就是将<k1,v1>作为输入,输出为<k2,v2>;
2.输出的<k2,v2>会被放入缓冲区中,缓冲区的默认大小为100M(通过seq.io.sort.mb可以设置),当缓冲区的使用达到80%左右的时候会将缓冲区的数据写入到本地磁盘中,一直到Map将所有的数据都计算完成,最后会把内存缓冲区中剩余的数据一次性刷新到本地磁盘中;
3.如上图数据有3临时文件,每个临时文件有3个分区(如果代码指定了分区,实现Partitioner类),在所有数据都处理完毕的时候会将3个临时文件合并为一个文件(一个map任务最终只会产生一个文件,文件中也有3个分区),不同的Map task任务产生的相同的分区数据会被同一个Reduce节点进行合并(不同的分区数据会被不同的Reduce执行),合并之后执行Reduce任务,并最终得到想要的数据;
注:
Shuffle 中的缓冲区大小会影响到 mapreduce 程序的执行效率,原则上说,缓冲区越大,磁盘io的次数越少,执行速度就越快,正是因为Shuffle的过程中要不断的将文件从磁盘写入到内存,再从内存写入到磁盘,从而导致了Hadoop中MapReduce执行效率相对于Storm等一些实时计算来说比较低下的原因。