Hadoop 优化

一、MapReduce 跑得慢的原因

1、计算机性能
CPU、内存、磁盘健康、网络

2、I/O 操作优化
(1) 数据倾斜
(2) Map 和 Reduce 数设置不合理
(3) Map 运行时间太长，导致 Reduce 等待过久
(4) 小文件过多
(5) 大量的不可分块的超大文件
(6) spill 次数过多
(8) Merge 次数过多等

二、MapReduce 优化方法

MapReduce 优化方法主要从六个方面考虑：数据输入、Map 阶段、Reduce 阶段、IO 传输、数据倾斜问题和常用的调优参数。

2.1 数据输入

1、合并小文件：在执行 MR 任务前将小文件进行合并，大量的小文件会产生大量的 Map 任务，增大 Map 任务装载次数，而任务的装载比较耗时，从而导致 MR 运行较慢。

2、采用 CombineTextInputFormat 来作为输入，解决输入端大量小文件的场景。

2.2 Map 阶段

1、减少溢写(Spill)次数：通过调整 io.sort.mb 及 sort.spill.percent 参数值，增大触发 Spill 的内存上限，减少 Spill 次数，从而减少磁盘 IO。

2、减少(Merge)次数：通过调整 io.sort.factor 参数，增加 Merge 的文件数目，减少 Merge 的次数，从而缩短 MR 处理时间。

3、在 Map 之后，不影响业务逻辑的前提下，先进行 Combine 处理，