1)作业完成时间取决于最慢的任务完成时间
一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件Bug等,某些任务可能运行非常慢。
典型案例:系统中有99%的Map任务都完成了,只有少数几个Map老是进度很慢,完不成,怎么办?
2)推测执行机制:
发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务,同时运行。谁先运行
完,则采用谁的结果。
3)执行推测任务的前提条件
1)每个task只能有一个备份任务;
2)当前job已完成的task必须不小于0.05(5%)
3)开启推测执行参数设置。Hadoop2.7.2 mapred-site.xml文件中默认是打开的。