hadoop任务提速选项

mapred.map.tasks.speculative.execution=true

mapred.reduce.tasks.speculative.execution=true

这两个是推测执行的配置项，它们默认值是true

所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），然后原有任务和新任务哪个先执行完就把另外一个kill掉，这也是我们经常在Job Tracker页面看到任务执行成功，但是总有些任务被kill，就是这个原因。

有以下几种情况最好是将那个参数设为false：

1.当执行的任务相比集群其他任务执行时间非常长，占用的slot数很多。

这种情况下会推断为任务执行的较慢，会启动更多的task，而slot资源本身就非常的紧张，又翻倍往上长，集群上的其他任务就根本抢不到slot了，对集群是危害很大的事情。

2.当任务是操作redis，hbase这种中间存储层的时候。

像对这些中间存储层进行读写操作的时候，它们本身就承担着压力，推断执行一开，我勒个去了，压力就要翻倍，这对于性能是一件非常不好的事情。

暂时想到这么多~