Not committed because the driver did not authorize commit

前言

本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见 Spark异常问题汇总

正文

Not committed because the driver did not authorize commit

启动 Speculative 后，运行较慢的 task 会在其他 executor 上同时再启动一个相同的 task ，如果其中一个 task 执行完毕，相同的另一个 task 就会被禁止提交。 因此产生了这个 WARN 。

这个 WARN 是因为 task 提交 commit 被 Driver 拒绝引发，这个错误不会被统计在 stage 的 failure 中，这样做的目的是防止你看到一些具有欺骗性的提示。 实际情况是，估计这个 stage 要处理的数据量太多了，所以导致的这个问题。