1、什么是推测执行?
在spark作业运行中,一个stage里面的不同task的执行时间可能不一样,有的task很快就执行完成了,而有的可能执行很长一段时间也没有完成。造成这种情况的原因可能是集群内机器的配置性能不同、网络波动、或者是由于数据倾斜引起的。而推测执行就是当出现同一个stage里面有task长时间完成不了任务,spark就会在不同的executor上再启动一个task来跑这个任务,然后看哪个task先完成,就取该task的结果,并kill掉另一个task。其实对于集群内有不同性能的机器开启这个功能是比较有用的,但是如果仅仅是数据倾斜问题可能用处就不是很大,因为即使换了机器执行,它的本质问题–数据量大并未解决,所以也有可能会执行很长的一段时间。
2、如何开启推测执行
将参数spark.speculation设置为TRUE即可。
spark.speculation=true
1
相关参数
spark.speculation.interval 100:检测周期,单位毫秒
spark.speculation.quantile 0.75:完成task的百分比
spark.speculation.multiplier 1.5:时间比例
1
2
3
spark.speculation.interval 参数的意思是设置检测周期,默认100毫秒检测一次是否执行推测执行。
spark.speculation.quantile 参数的意思是同一个stage里面有task完成的百分比,默认为75%。
spark.speculation.multiplier 这个参数是一个时间比例。意思是当task完成了75%的时候,取完成了的task的执行时间的中位数,再乘以这个时间比例,默认为1.5。当未完成的task的执行时间超过了这个乘积值,就开启推测执行。
原文链接:https://blog.csdn.net/qq_34382453/article/details/85781377