Spark解决task任务运行时间过长

今天补数据的时候，发现突然任务运行时间比以往过长。
查看运行状态，发现有一个task运行过长。

解决方法，开启spark.speculation，配置如下：

spark.speculation true
spark.speculation.interval 100：检测周期，单位毫秒；
spark.speculation.quantile 0.75：完成task的百分比时启动推测；
spark.speculation.multiplier 1.5：比其他的慢多少倍时启动推测。

具体参数根据时间测试情况，一般不建议设置，会影响性能。
但是如果是写数据，不要使用推测机制，会出现重复写机制。