Spark踩坑vlog-推测执行spark.speculation
踩坑背景
流程如下所示:
1.使用SparkSQL获取到了一个DataFrame;
2.然后map这个DataFrame,调用GET接口,获得了IDs作为一个新的DatdaFrame;
3.最后再map这个DataFrame,在map中调用Post接口,将最终结果放到接口中。
踩坑原因
因为比较懒,所以在spark-submit的时候,脚本直接复制了另外一个Spark作业的提交脚本,但是万万没想到的是:这个脚本里,有一句设置:--conf "spark.speculation=tr