Hadoop Map Reduce Task默认任务数调优

mapred.tasktracker.map.tasks.maximum

<wbr></wbr>

官方解释：The maximum number of map tasks that will berun<wbr><wbr>simultaneously by a tasktracker.</wbr></wbr>

<wbr></wbr>

我的理解：一个tasktracker最多可以同时运行的map任务数量

<wbr></wbr>

默认值：2

<wbr></wbr>

优化值：mapred.tasktracker.map.tasks.maximum = cpu数量

<wbr></wbr>

cpu数量 = 服务器CPU总核数 / 每个CPU的核数
服务器CPU总核数 = more /proc/cpuinfo | grep 'processor' | wc -l
每个CPU的核数 = more /proc/cpuinfo | grep 'cpu cores'

mapred.map.tasks

官方的解释：The default number of map tasks per job

<wbr></wbr>

我的解释：一个Job会使用task tracker的map任务槽数量，这个值≤<wbr>mapred.tasktracker.map.tasks.maximum</wbr>

<wbr></wbr>

默认值：2

<wbr></wbr>

优化值：

1. CPU数量 （我们目前的实践值）
2. (CPU数量 > 2) ? (CPU数量 * 0.75) : 1<wbr>（mapr的官方建议）</wbr>

<wbr></wbr>

注意：map任务的数量是由inputspilit决定的，和上面两个参数无关

mapred.tasktracker.reduce.tasks.maximum

<wbr></wbr>

官方解释：The maximum number of reduce tasks that will berun<wbr><wbr>simultaneously by a tasktracker.</wbr></wbr>

<wbr></wbr>

我的理解：一个task tracker最多可以同时运行的reduce任务数量

<wbr></wbr>

默认值：2

<wbr></wbr>

优化值：<wbr>(CPU数量 &gt; 2) ? (CPU数量 * 0.50):1 （mapr的官方建议）</wbr>

mapred.reduce.tasks

<wbr></wbr>

官方解释：The default number of reduce tasks per job. Typically set to99%<wbr><wbr>of the cluster's reducecapacity, so that if a node fails the reducescan<wbr><wbr>still be executed in asingle wave.</wbr></wbr></wbr></wbr>

<wbr></wbr>

我的理解：一个Job会使用task tracker的reduce任务槽数量

<wbr></wbr>

默认值：1

<wbr></wbr>

优化值：

• 0.95 * mapred.tasktracker.tasks.maximum

理由：启用95%的reduce任务槽运行task, recudetask运行一轮就可以完成。剩余5%的任务槽永远失败任务，重新执行

• 1.75 * mapred.tasktracker.tasks.maximum

理由：因为reduce task数量超过reduce槽数，所以需要两轮才能完成所有reducetask。具体快的原理我没有完全理解，上原文：

<wbr></wbr>

<wbr><wbr><wbr><strong>hadoop官方wiki： 写道</strong></wbr></wbr></wbr>

At 1.75 the faster nodes will finish their first round of reducesand launch a second round of reduces doing a much better job ofload balancing.

原文： http://blog.csdn.net/bruce_wang_janet/article/details/7281031