5. Hadoop 优化

1）数据输入小文件处理：

1. 合并小文件：对小文件进行归档（har）、自定义 inputFormat、将小文件存储成 sequenceFile 文件
2. 采用 CombineFileInputFormat 作为输入，解决输入端的大量小文件场景
3. 对于大量小文件 Job，可以开启 JVM 重用，推荐阅读：Hadoop的JVM重用

2）Map 阶段

1. 增大环形缓冲区大小和溢写的比例。减少溢写（spill）次数，从而减少磁盘IO。
2. 减少对溢写文件的 merge 次数。通过增大 merge 的文件数目，减少 merge 的次数，从而缩短时间。
3. 不影响实际业务的前提下，采用 combiner 提前合并，减少IO

3）Reduce 阶段

1. 合理设置 Map 和 Reduce 数。两个都不能设置太少，也不能设置太多。太少，会导致 task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超时等错误。
2. 设置 Map、Reduce 共存。调整 slowstart.completedmaps 参数，使 map 运行到一定程度后，reduce 也开始运行，减少 reduce 的等待时间。
3. 规避使用 reduce。因为 reduce 在用于连接数据集的时候将会产生大量的网络通信消耗。
4. 增加每个 reduce 去 map 中拿数据的并行数。
5. 集群性能可以的前提下，增大 reduce 端存储数据内存的大小。

4）IO 传输

1. 采用数据压缩的方式，减少网络 IO 的时间。安装 Snappy 和 LZOP 压缩编码器。
2. 使用 SequenceFile 二进制文件。

5）整体

1. MapTask 默认内存大小是1G，可以增加 MapTask 内存大小为 4~5G
2. ReduceTask 默认内存大小是1G，可以增加 ReduceTask 内存大小为 4~5G
3. 可以增加 MapTask 的 CPU 核数，增加 ReduceTask 的 CPU 核数
4. 增加每个 Container 的 CPU 核数和内存大小
5. 调整每个 MapTask 和 ReduceTask 最大重试次数