Spark报错 driver did not authorize commit

最新推荐文章于 2024-07-28 13:07:18 发布

breeze_lsw

最新推荐文章于 2024-07-28 13:07:18 发布

阅读量6.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark排错文章标签： spark

本文链接：https://blog.csdn.net/lsshlsw/article/details/51192151

spark排错专栏收录该内容

5 篇文章

订阅专栏

本文探讨了在Spark中启用Speculative Execution后，如何处理运行较慢的task在其他executor上同时启动，以及当一个task执行完毕时，另一个被禁止提交导致的WARN信息。解释了这种机制是为了避免显示误导性的失败提示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

启动Spark Speculative后，有时候运行任务会发现如下提示：

WARN TaskSetManager: Lost task 55.0 in stage 15.0 (TID 20815, spark047216)

org.apache.spark.executor.CommitDeniedException: attempt_201604191557_0015_m_000055_0: Not committed because the driver did not authorize commit

启动 Speculative 后，运行较慢的task会在其他executor上同时再启动一个相同的task,如果其中一个task执行完毕，相同的另一个task就会被禁止提交。因此产生了这个WARN。

这个WARN是因为task提交commit被driver拒绝引发，这个错误不会被统计在stage的failure中，这样做的目的是防止你看到一些具有欺骗性的提示。

相关源码

org.apache.spark.executor

case cDE: CommitDeniedException =>
            val reason = cDE.toTaskEndReason
          execBackend.statusUpdate(taskId, TaskState.FAILED, ser.serialize(reason))

org.apache.spark.executor.CommitDeniedException

private[spark] class CommitDeniedException(
    msg: String,
    jobID: Int,
    splitID: Int,
    attemptNumber: Int)
  extends Exception(msg) {

  def toTaskEndReason: TaskEndReason = TaskCommitDenied(jobID, splitID, attemptNumber)
}

org.apache.spark.TaskCommitDenied

case class TaskCommitDenied(
    jobID: Int,
    partitionID: Int,
    attemptNumber: Int) extends TaskFailedReason {
  override def toErrorString: String = s"TaskCommitDenied (Driver denied task commit)" +
    s" for job: $jobID, partition: $partitionID, attemptNumber: $attemptNumber"
  override def countTowardsTaskFailures: Boolean = false
}