1.设置Reduce Task并行度(个数)
与Map Task的并行度有切片决定不同,Reduce Task的并行度可手动设置
job.setNumReduceTasks(20); // 默认是1
2.ReduceTask工作机制
(1)
Copy阶段:Reduce Task从各个Map Task上远程拷贝一片数据,并针对某一个片数据,如果其大小超过一定阈值,则写入磁盘中,否则直接放到内存中
(2)
Merge阶段:在远程拷贝数据的同时,Reduce Task启动两个后台线程对内存和磁盘上的文件进行合并,以防止内存使用过多或磁盘文件过多
(3)
Sort阶段:按照MapReduce语义,用户编写reduce()函数,输入数据是key进行聚集的一组数据。为了将key相同的数据聚集在一起,Hadoop采用了基于排序的策略。由于各个Map Task已经实现了对自己的处理结果进行局部排序,因此,Reduce Task只需对所有数据进行一个归并排序即可
(4)
Reduce阶段:reduce()函数将计算后的结果写到HDFS上
参考: