5. Hadoop 优化

1)数据输入小文件处理:

  1. 合并小文件:对小文件进行归档(har)、自定义 inputFormat、将小文件存储成 sequenceFile 文件
  2. 采用 CombineFileInputFormat 作为输入,解决输入端的大量小文件场景
  3. 对于大量小文件 Job,可以开启 JVM 重用,推荐阅读:Hadoop的JVM重用

2)Map 阶段

  1. 增大环形缓冲区大小和溢写的比例。减少溢写(spill)次数,从而减少磁盘IO。
  2. 减少对溢写文件的 merge 次数。通过增大 merge 的文件数目,减少 merge 的次数,从而缩短时间。
  3. 不影响实际业务的前提下,采用 combiner 提前合并,减少IO

3)Reduce 阶段

  1. 合理设置 Map 和 Reduce 数。两个都不能设置太少,也不能设置太多。太少,会导致 task 等待,延长处理时间;太多,会导致 Map、Reduce 任务间竞争资源,造成处理超时等错误。
  2. 设置 Map、Reduce 共存。调整 slowstart.completedmaps 参数,使 map 运行到一定程度后,reduce 也开始运行,减少 reduce 的等待时间。
  3. 规避使用 reduce。因为 reduce 在用于连接数据集的时候将会产生大量的网络通信消耗。
  4. 增加每个 reduce 去 map 中拿数据的并行数
  5. 集群性能可以的前提下,增大 reduce 端存储数据内存的大小

4)IO 传输

  1. 采用数据压缩的方式,减少网络 IO 的时间。安装 Snappy 和 LZOP 压缩编码器。
  2. 使用 SequenceFile 二进制文件。

5)整体

  1. MapTask 默认内存大小是1G,可以增加 MapTask 内存大小为 4~5G
  2. ReduceTask 默认内存大小是1G,可以增加 ReduceTask 内存大小为 4~5G
  3. 可以增加 MapTask 的 CPU 核数,增加 ReduceTask 的 CPU 核数
  4. 增加每个 Container 的 CPU 核数和内存大小
  5. 调整每个 MapTask 和 ReduceTask 最大重试次数
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值