Hadoop中maper和reducer数目的调节

参考资料

诊断方法

1. 如果reducer的个数大于等于mapper的个数，那么存在map-to-reduce ratio的问题
2. 查看mapper的个数，如果等于files的个数，并且每一个file的大小远远小于节点分裂的大小（64MB or 128MB）
3. 查看mapper/reducer的执行时间，如果很小，那么mapper / reducer 的个数设置的太大
4. 查看输出part files的个数，如果远大于reducer的个数，表明reducer的个数设置太小
5. 查看输出文件的大小，如果有许多文件为空，表明reducer的个数设置的太多

解决方法

1. 通常情况下mapper的个数和reducer的个数比为4：1，如果，pig脚本中有combiner（group by , foreach）,那个mapper的个数和reducer的个数比可以达到10： 1

2. 如果输入的文件太小，那么需要允许data splits 的combination，combination size的大小通常设置为 256 or 512MB，pig的参数设置为：

   -Dpig.splitCombination=”true” \
   -Dmapred.min.split.size=$[1024 * 1024 * 128 * 2] \

3. 通常使用default_parallel这样的设置并不明智，可以使用参数reducers.bytes.per.reducer来控制reducer读入文件的大小来控制并行度，通常reducers.bytes.per.reducer的默认值为1GB；reducers.max的默认值为999，通常可以设置的比较小。

   -Dpig.exec.reducers.bytes.per.reducer=$[1024 * 1024 * 1024 * 2] \
   -Dpig.exec.reducers.max=50 \

---