ReduceTask并行度决定机制

目录

1、设置ReduceTask并行度（个数）

2、实验：测试ReduceTask多少合适

3、注意事项

---

1、设置ReduceTask并行度（个数）

ReduceTask的并行度同样影响整个Job的执行并发度和执行效率，但与MapTask的并发数由切片数决定不同，ReduceTask数量的决定是可以直接手动设置

 

// 默认值是1，手动设置为4
job.setNumReduceTasks(4);

2、实验：测试ReduceTask多少合适

（1）实验环境：1个Master节点，16个Worker节点：CPU:8GHZ，内存: 2G

（2）实验结论：

表 改变ReduceTask（数据量为1GB）

MapTask =16
ReduceTask	1	5	10	15	16	20	25	30	45	60
总时间	892	146	110	92	88	100	128	101	145	104

 ReduceTask的数目由实际使用效果来进行控制

3、注意事项