Hadoop中的ReduceTask工作机制

1.设置Reduce Task并行度（个数）

与Map Task的并行度有切片决定不同，Reduce Task的并行度可手动设置

job.setNumReduceTasks(20);        // 默认是1

2.ReduceTask工作机制

 

（1） Copy阶段：Reduce Task从各个Map Task上远程拷贝一片数据，并针对某一个片数据，如果其大小超过一定阈值，则写入磁盘中，否则直接放到内存中

（2） Merge阶段：在远程拷贝数据的同时，Reduce Task启动两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘文件过多

（3） Sort阶段：按照MapReduce语义，用户编写reduce()函数，输入数据是key进行聚集的一组数据。为了将key相同的数据聚集在一起，Hadoop采用了基于排序的策略。由于各个Map Task已经实现了对自己的处理结果进行局部排序，因此，Reduce Task只需对所有数据进行一个归并排序即可

（4） Reduce阶段：reduce()函数将计算后的结果写到HDFS上

 

 

参考：

[1]  https://blog.csdn.net/weixin_41910694/article/details/91386745

[2]  https://blog.csdn.net/weixin_40102671/article/details/80628736?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase