Hadoop 任务推测执行

推测执行机制

发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务，同时运行。谁先运行完，则采用谁的结果。

推测执行任务的前提条件

1. 每个Task只能有一个备份任务
2. 当前Job已完成的Task必须不小于0.05（5%）
3. 开启推测执行参数设置。mapred-site.xml文件中默认是打开的。

不能启动推测执行的情况

1. 任务间存在严重的负载倾斜；
2. 特殊任务，比如任务向数据库中写数据。

推测执行算法原理

estimateEndTime = estimatedRunTime + taskStartTime
推测执行完时刻 60 = 推测运行时间（60s） + 任务启动时刻（0）
estimatedRunTime = (currentTimestamp - taskStartTime) / progress
推测运行时间（60s） =（当前时刻（6） - 任务启动时刻（0）） / 任务运行比例（10%）
estimateEndTime` = currentTimestamp + averageRunTime
备份任务推测完成时刻（16） = 当前时刻（6） + 运行完成任务的平均时间（10s）

1. MR总是选择（estimateEndTime- estimateEndTime ` ）差值最大的任务，并为之启动备份任务。
2. 为了防止大量任务同时启动备份任务造成的资源浪费，MR为每个作业设置了同时启动的备份任务数目上限。
3. 推测执行机制实际上采用了经典的优化算法：以空间换时间，它同时启动多个相同任务处理相同的数据，并让这些任务竞争以缩短数据处理时间。显然，这种方法需要占用更多的计算资源。在集群资源紧缺的情况下，应合理使用该机制，争取在多用少量资源的情况下，减少作业的计算时间。