Hadoop Reducer个数设置

2019独角兽企业重金招聘Python工程师标准>>>

在默认情况下，一个MapReduce Job如果不设置Reducer的个数，那么Reducer的个数为1。具体，可以通过JobConf.setNumReduceTasks(int numOfReduceTasks)方法来设置Reducer的个数。那么，如何确定Reducer的个数呢，Hadoop documentation 推荐了两个计算公式：

• 0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
• 1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum

其中，NUMBER_OF_NODES 代表集群中计算节点的个数，mapred.tasktracker.reduce.tasks.maximum代表每一个节点所分配的Reducer任务槽的个数。

转载于:https://my.oschina.net/sdzzboy/blog/164116