MapReduce优化方法

MapReduce 优化方法主要从六个方面考虑：数据输入、Map 阶段、Reduce 阶段、IO 传输、数据倾斜问题和常用的调优参数。

1. 数据输入

(1) 合并小文件：在执行 MR 任务前将小文件进行合并，大量的小文件会产生大量的 Map 任务，增大 Map 任务装载次数，而任务的装载比较耗时，从而导致 MR 运行较慢。
(2) 采用 CombineTextInputFormat 来作为输入，解决输入端大量小文件场景。

2. Map 阶段

(1) 减少溢写 (Spill) 次数：通过调整 io.sort.mb 及 sort.spill.percent 参数值，增大触发 Spill 的内存上限，减少 Spill 次数，从而减少磁盘 IO。
(2) 减少合并 (Merge) 次数：通过调整 io.sort.factor 参数，增大 Merge 的文件数目，减少 Merge 的次数，从而缩短 MR 处理时间。
(3) 在 Map 之后，不影响业务逻辑前提下，先进行 Combine 处理，减少 IO。

3. Reduce 阶段

(1) 合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间;太多，会导致 Map、Reduce 任务间竞争资源，造成处理超时等错误。
(2) 设置 Map、Reduce 共存：调整 slowstart.completedmaps 参数，使 Map 运行到一定程度后，Reduce 也开始运行，减少 Reduce 的等待时间。
(3) 规避使用 Reduce：因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗。
(4) 合理设置 Reduce 端的 Buffer：默认情况下，数据达到一个阈值的时候，Buffer 中的数据就会写入磁盘，然后 Reduce 会从磁盘中获得所有的数据。也就是说，Buffer 和 Reduce 是没有直接关联的，中间多次写磁盘-读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得 Buffer 中的一部分数据可以直接输送到 Reduce，从而减少 IO 开销： mapreduce.reduce.input.buffer.percent，默认为 0.0。当值大于 0 的时候，会保留指定比例的内存读 Buffer 中的数据直接拿给 Reduce 使用。这样一来，设置 Buffer 需要内存，读取数据需要内存，Reduce 计算也要内存，所以要根据作业的运行情况进行调整。

4. I/O 传输

(1) 采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZO 压缩编码器。
(2) 使用 SequenceFile 二进制文件。

5. 数据倾斜问题

(1) 数据倾斜现象
数据频率倾斜——某一个区域的数据量要远远大于其他区域。
数据大小倾斜——部分记录的大小远远大于平均值。

(2) 减少数据倾斜的方法
方法1：抽样和范围分区
可以通过对原始数据进行抽样得到的结果集来预设分区边界值。
方法2：自定义分区
基于输出键的背景知识进行自定义分区。例如，如果 Map 输出键的单词来源于—本书。且其中某几个专业词汇较多。那么就可以自定义分区将这这些专业词汇发送给固定的一部分 Reduce 实例。而将其他的都发送给剩余的 Reduce 实例。
方法3：Combine
使用 Combine 可以大量地减小数据倾斜。在可能的情况下， Combine 的目的就是聚合并精简数据。
方法4：采用 Map Join，尽量避免 Reduce Join。

6. 常用的调优参数

(1) 资源相关参数
(2) 容错相关参数 ( MapReduce 性能优化)