MapReduce调优

一、在调优之前，我们需要清楚以下两个问题：

1. MapReduce为什么跑的慢？
2. MapReduce程序的瓶颈是什么？

二、MapReduce程序效率的瓶颈可以概括为以下两点：
2.1：计算机性能（即硬件）
CPU、内存、磁盘健康、网络状况
2.2：I/O操作优化
1. 数据倾斜
2. map和reduce数设置不合理
3. map运行时间太长，导致reduce等待时间过长
4. 小文件过多
5. 大量的不可分割的超大文件
6. spill次数过多
7. merge次数过多等。
三、找到了问题，那么再来看解决方法：
MapReduce 优化方法主要从六个方面考虑：数据输入、Map 阶段、Reduce 阶段、IO 传输、数据倾斜问题和常用的调优参数。
3.1 数据输入
（1）合并小文件：在执行 mr任务前将小文件进行合并，大量的小文件会产生大量的map 任务，增大 map 任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。
（2）采用 CombineTextInputFormat来作为输入，解决输入端大量小文件场景。
3.2 Map阶段
1）减少溢写（spill）次数：通过调整 io.sort.mb及 sort.spill.percent参数值，增大触发spill 的内存上限，减少 spill 次数，从而减少磁盘 IO。
2）减少合并（