Shuffle

Reduce的工作原理

shuffle调优

map阶段的shuffle
1.调大溢写缓冲区，250M-350M，减少溢写文件的产生，间接减少磁盘IO，提高性能。
2.引入combine操作，假如原先有两个hadoop字段，一combine只剩一个，减小所占缓冲区的大小，间接减少spill溢写。此外还能减少网络数据的传输（在merge阶段发生combine）
3.压缩最后产生的结果文件，节省网络数据传输。

reduce阶段的shuffle
1.调整fetch的线程数，默认五个，我们调整尽可能接近map任务的数量。
2.reduceTask的启动比例是5%，假如有100个map任务，完成五个，reduce就开始抓取。如果我们想让reduce尽早启动，可以调小阈值。