选择 reducer 的个数

2019独角兽企业重金招聘Python工程师标准>>>

默认情况下，一个 mapreduce job 只有一个 reducer ，真实应用中，作业都把它设置成一个较大的数字，否则由于所有的中间数据都会放到一个 reducer 任务中，造成性能瓶颈。

reducer 最优个数与集群中可用的 reducer 任务槽数相关。总槽数由集群中节点数与每个节点的任务数相乘得到。每个节点的任务槽数由 mapred.tasktracker.reduce.tasks.maximum 属性的值决定，默认为 2 。

常用的方法是设置的 reducer 数比总槽数稍微少一些，给 reducer 任务留点余地，容忍一些错误发生而不需要延长作业运行时间。

hadoop 文档中推荐的两个公式计算 reducer 任务数的公式：
0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
备注：NUMBER_OF_NODES 是集群中的计算节点个数

在代码中通过 JobConf. setNumReduceTasks(int numOfReduceTasks) 函数设置 reducer 的个数

转载于:https://my.oschina.net/zc741520/blog/374182