MapReduce性能优化秘籍

1. MapReduce跑的慢的原因

MapReduce 程序效率的瓶颈在于两点：

1. 计算机性能
   CPU、内存、磁盘、网络
2. I/O 操作
   1. 数据倾斜
   2. map 和 reduce 数设置不合理
   3. map 运行时间太长，导致 reduce 等待过久
   4. 小文件过多
   5. 大量的不可分块的超大文件（例：通过 gzip 压缩后的文件）
   6. spill（溢写）次数过多
   7. merge（map 端合并或 reduce 端合并）次数过多

2. MapReduce优化方法

MapReduce 优化方法主要从六个方面考虑：数据输入、Map 阶段、Reduce 阶段、IO 传输、数据倾斜问题和常用的调优参数。

2.1. 数据输入

• 合并小文件：在执行 mr 任务前将小文件进行合并，大量的小文件会产生大量的 map 任务，增大 map 任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。
• 采用 CombineTextInputFormat 来作为输入，解决输入端大量小文件的场景。

2.2. Map阶段

• 减少溢写（spill）次数：通过调整 io.sort.mb增大环形缓冲区的大小；调整 sort.spill.percent减少溢写的频率，从而减少磁盘IO。
• 减少合并（merge）次数：通过调整 io.sort.factor参数，增大触发合并的文件数目，减少合并的次数，从而缩短 mr 处理时间。
• 在不影响业务逻辑的前提下，先使用 Combiner 在 map 端进行一次合并，减少 I/O。

2.3. Reduce阶段

• 合理设置 map 和 reduce 的个数：两个都不能设置太少，也不能设置太多。太少，会导致 task 等待，延长处理时间；太多，会导致 map、reduce 任务间竞争资源，造成处理超时等错误。
• 设置 map、reduce 共存：调整 slowstart.completedmaps参数，使 map 运行到一定程度后，reduce 也开始运行，减少 reduce 的等待时间。
• 规避使用 reduce：因为 reduce 阶段会通过网络去下载 map 运行的结果复制到 reduce 节点，造成大量的网络消耗。
• 合理设置 reduce 端的 buffer：默认情况下，从 map 端传输到 reduce 端放到 buffer 中的数据达到一个阙值的时候，buffer中的数据就会写入磁盘，然后 reduce 会从磁盘中获得所有的数据。也就是说，buffer 和 reduce 是没有直接关联的，中间多一个写磁盘读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得 buffer 中的一部分数据可以直接输送到 reduce，从而减少 IO 开销：mapred.job.reduce.input.buffer.percent，默认为 0.0 。当值大于 0 的时候，会保留指定比例的内存读 buffer 中的数据直接拿给 reduce 使用。这样一来，设置 buffer 需要内存，读取数据需要内存，reduce 计算也要内存，所以要根据作业的运行情况进行调整。

2.