Hadoop的优化可以从以下方面进行:
1. 减少HDFS上的小文件的影响
- 影响 NameNode 的寿命,因为文件元数据存储在 NameNode 的内存中
- 影响计算引擎的任务数量,比如每个小的文件都会生成一个 Map 任务
2. 数据输入小文件处理:
- 合并小文件:对小文件进行归档(Har)、自定义 Inputformat 将小文件存储成SequenceFile 文件
- 采用 ConbinFileInputFormat 来作为输入,解决输入端大量小文件场景
- 对于大量小文件 Job,可以开启 JVM 重用
3. Map 阶段
- 增大环形缓冲区大小。由 100m 扩大到 200m,即调整
mapreduce.task.io.sort.mb
参数 - 增大环形缓冲区溢写的比例。由 80%扩大到 90%,即调整
mapreduce.map.sort.spill.percent
参数 - 减少对溢写文件的 merge 次数。(10 个文件,一次 20 个 merge),即调整
mapreduce.task.io.sort.factor
参数 - 不影响实际业务的前提下,采用 Combiner 提前合并,减少 I/O
4. Reduce 阶段
- 合理设置 Map 和 Reduce 数:两个都不能设置太少,也不能设置太多。太少,会导致 Task 等待,延长处理时间;太多,会导致 Map、Reduce 任务间竞争资源,造成处理超时等错误
- 设置 Map、Reduce 共存:调整
mapreduce.job.reduce.slowstart.completedmaps
参数,使 Map 运行到一定程度后,Reduce 也开始运行,减少 Reduce 的等待时间 - 规避使用 Reduce,因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗
- 增加每个 Reduce 去 Map 中拿数据的并行数
- 集群性能可以的前提下,增大 Reduce 端存储数据内存的大小
5. IO 传输
- 采用数据压缩的方式,减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器
- 使用 SequenceFile 二进制文件
6. 整体
- MapTask 默认内存大小为 1G,可以增加 MapTask 内存大小为 4-5g,即
mapreduce.map.memory.mb
参数 - ReduceTask 默认内存大小为 1G,可以增加 ReduceTask 内存大小为 4-5g,即
mapreduce.reduce.memory.mb
参数 - 可以增加 MapTask 的 cpu 核数,增加 ReduceTask 的 cpu 核数,即
mapreduce.map.cpu.vcores
和mapreduce.reduce.cpu.vcores
参数 - 增加每个 Container 的 cpu 核数和内存大小
- 调整每个 Map Task 和 Reduce Task 最大重试次数,即
mapreduce.map.maxattempts
和mapreduce.reduce.maxattempts