11.Hadoop优化

1.MapReduce优化

MapReduce优化方法主要从六个方面考虑：

数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

1.1  数据输入

• 当存在大量小文件时，会产生大量map任务，增加map装载次数，此时使用CombineTextInputFormat作为输入

• 大块不可切分文件：转到map阶段

1.2  Map阶段

（1）减小溢写次数

      增大环形缓冲区大小。由 100m 扩大到 200m
      增大环形缓冲区溢写的比例。由 80%扩大到 90%
（2）减小合并次数

       增加merge文件的数目，减少对溢写文件的 merge 次数。
（3）不影响实际业务的前提下，采用 Combiner 提前合并，减少 I/O

1.3 Reduce阶段

（1）合理设置 Map 和 Reduce 数

     两个都不能设置太少，也不能设置太多。太少，会导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超时等错误。
（2）设置 Map、Reduce 共存

       调整 slowstart.completedmaps 参数，使 Map 运行到一定程度后，Reduce 也开始运行，减少 Reduce 的等待时间。
（3）规避使用 Reduce

     因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗。
（4）增加每个 Reduce 去 Map 中拿数据的并行数
（5）集群性能可以的前提下，增大 Reduce 端存储数据内存的大小

1.4 IO传输

（1）采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器

（2）使用 SequenceFile 二进制文件

1.5 常用的调优参

（1）MapTask 默认内存大小为 1G，可以增加 MapTask 内存大小为 4-5g
（2）ReduceTask 默认内存大小为 1G，可以增加 ReduceTask 内存大小为 4-5g
（3）可以增加 MapTask 的 cpu 核数，增加 ReduceTask 的 CPU 核数
（4）增加每个 Container 的 CPU 核数和内存大小
（5）调整每个 Map Task 和 Reduce Task 最大重试次数