前言
本文隶属于专栏《Spark异常问题汇总》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见 Spark异常问题汇总
正文
Not committed because the driver did not authorize commit
启动 Speculative 后,运行较慢的 task 会在其他 executor 上同时再启动一个相同的 task ,如果其中一个 task 执行完毕,相同的另一个 task 就会被禁止提交。 因此产生了这个 WARN 。
这个 WARN 是因为 task 提交 commit 被 Driver 拒绝引发,这个错误不会被统计在 stage 的 failure 中,这样做的目的是防止你看到一些具有欺骗性的提示。 实际情况是,估计这个 stage 要处理的数据量太多了,所以导致的这个问题。