Hadoop中maper和reducer数目的调节

参考资料

诊断方法

  1. 如果reducer的个数大于等于mapper的个数,那么存在map-to-reduce ratio的问题
  2. 查看mapper的个数,如果等于files的个数,并且每一个file的大小远远小于节点分裂的大小(64MB or 128MB)
  3. 查看mapper/reducer的执行时间,如果很小,那么mapper / reducer 的个数设置的太大
  4. 查看输出part files的个数,如果远大于reducer的个数,表明reducer的个数设置太小
  5. 查看输出文件的大小,如果有许多文件为空,表明reducer的个数设置的太多

解决方法

  1. 通常情况下mapper的个数和reducer的个数比为4:1,如果,pig脚本中有combiner(group by , foreach),那个mapper的个数和reducer的个数比可以达到10: 1
  2. 如果输入的文件太小,那么需要允许data splits 的combination,combination size的大小通常设置为 256 or 512MB,pig的参数设置为:

    -Dpig.splitCombination=”true” \
    -Dmapred.min.split.size=$[1024 * 1024 * 128 * 2] \

  3. 通常使用default_parallel这样的设置并不明智,可以使用参数reducers.bytes.per.reducer来控制reducer读入文件的大小来控制并行度,通常reducers.bytes.per.reducer的默认值为1GB;reducers.max的默认值为999,通常可以设置的比较小。

    -Dpig.exec.reducers.bytes.per.reducer=$[1024 * 1024 * 1024 * 2] \
    -Dpig.exec.reducers.max=50 \


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值