Yarn的任务推测执行机制用于解决因硬件老化和软件bug导致的慢速任务问题。当发现任务进度远低于平均速度时，系统会启动备份任务同时运行。执行推测任务的前提包括每个Task仅有一个备份，已完成任务进度不少于5%，且推测执行参数开启。但负载倾斜严重或特殊任务（如数据库写入）不适用。推测执行算法通过比较任务预计完成时间和备份任务推测完成时间来决定是否启动备份任务，以减少整体作业处理时间。然而，此机制可能会增加资源消耗，需谨慎使用。
任务的推测执行
一个作业由若干个map任务·和reduce任务组成，因为硬件的老化和软件bug等因素，会导致某些任务运行缓慢。
当发现拖后腿的任务时，比如某个任务的运行速度远慢于平均速度；就位拖后腿的任务启动一个备份任务，同时运行。谁先运行完就采用谁的结果。
执行推测任务的前提条件
1每个Task只能有一个备份任务
2当前job已完成的Task进度不少于5%
3开启推测执行参数。（mapred-site.xml默认是开启的）
不能使用推测执行机制的条件限制
1任务间存在严重的负载倾斜（比如一个任务量10g；一个任务量1g）
2一些特殊任务（比如向数据库中写数据）
推测执行算法原理
假设某一时刻，任务T的执行进度为progress，则可通过一定的算法推测出任务的最终完成时刻estimateEndTime。如果此时为该任务启动一个备份任务，则可推断出它可能的完成时刻estimateEndTime*。
estimateRunTime =（currentTimestamp - taskStartTime）/ progress
推测运行时间（60s）=（ 当前时刻（6）- 任务启动时刻（0））/ 任务运行比例（10%）
.
.
.
e
最低0.47元/天 解锁文章
201
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
