spark之推测执行

1、什么是推测执行？
  在spark作业运行中，一个stage里面的不同task的执行时间可能不一样，有的task很快就执行完成了，而有的可能执行很长一段时间也没有完成。造成这种情况的原因可能是集群内机器的配置性能不同、网络波动、或者是由于数据倾斜引起的。而推测执行就是当出现同一个stage里面有task长时间完成不了任务，spark就会在不同的executor上再启动一个task来跑这个任务，然后看哪个task先完成，就取该task的结果，并kill掉另一个task。其实对于集群内有不同性能的机器开启这个功能是比较有用的，但是如果仅仅是数据倾斜问题可能用处就不是很大，因为即使换了机器执行，它的本质问题–数据量大并未解决，所以也有可能会执行很长的一段时间。

2、如何开启推测执行
将参数spark.speculation设置为TRUE即可。

spark.speculation=true
1
相关参数

spark.speculation.interval 100：检测周期，单位毫秒
spark.speculation.quantile 0.75：完成task的百分比
spark.speculation.multiplier 1.5：时间比例
1
2
3
spark.speculation.interval 参数的意思是设置检测周期，默认100毫秒检测一次是否执行推测执行。
spark.speculation.quantile 参数的意思是同一个stage里面有task完成的百分比，默认为75%。
spark.speculation.multiplier 这个参数是一个时间比例。意思是当task完成了75%的时候，取完成了的task的执行时间的中位数，再乘以这个时间比例，默认为1.5。当未完成的task的执行时间超过了这个乘积值，就开启推测执行。

原文链接：https://blog.csdn.net/qq_34382453/article/details/85781377