【Spark】Spark作业执行原理--划分调度阶段

最新推荐文章于 2024-05-03 22:20:58 发布

勤言不勤语

最新推荐文章于 2024-05-03 22:20:58 发布

阅读量481

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/w1992wishes/article/details/85007265

版权

本文深入探讨Spark的调度阶段划分，由DAGScheduler从RDD依赖树中以宽依赖为界限划分调度阶段。详细解释了handleJobSubmitted、createResultStage、getOrCreateParentStages等关键方法的工作原理，并通过实例解析了调度阶段的创建过程。

摘要由CSDN通过智能技术生成

本篇结构：

划分调度阶段
实例解析

一、划分调度阶段

Spark 调度阶段的划分是由 DAGScheduler 实现的，它会从最后一个 RDD 出发遍历整个依赖树，从而划分调度阶段，调度阶段的划分是以操作是否为宽依赖进行的。即当某个 RDD 的操作时 shuffle 时，以该 shuffle 操作为界限将划分成前后两个调度阶段。

划分调度阶段的逻辑是在 DAGScheduler 的 handleJobSubmitted 方法中：

  private[scheduler] def handleJobSubmitted(jobId: Int,
      finalRDD: RDD[_],
      func: (TaskContext, Iterator[_]) => _,
      partitions: Array[Int],
      callSite: CallSite,
      listener: JobListener,
      properties: Properties) {
    var finalStage: ResultStage = null
    try {
      // New stage creation may throw an exception if, for example, jobs are run on a
      // HadoopRDD whose underlying HDFS files have been deleted.
      finalStage = createResultStage(finalRDD, func, partitions, jobId, callSite)
    } catch {
      case e: Exception =>
        logWarning("Creating new stage failed due to exception - job: " + jobId, e)
        listener.jobFailed(e)
        return
    }

    val job = new ActiveJob(jobId, finalStage, callSite, listener, properties)
    clearCacheLocs()
    logInfo("Got job %s (%s) with %d output partitions".format(
      job.jobId, callSite.shortForm, partitions.length))
    logInfo("Final stage: " + finalStage + " (" + finalStage.name + ")")
    logInfo("Parents of final stage: " + finalStage.parents)
    logInfo("Missing parents: " + getMissingParentStages(finalStage))

    val jobSubmissionTime = clock.getTimeMillis()
    jobIdToActiveJob(jobId) = job
    activeJobs += job
    finalStage.setActiveJob(job)
    val stageIds = jobIdToStageIds(jobId).toArray
    val stageInfos = stageIds.flatMap(id => stageIdToStage.get(id).map(_.latestInfo))
    listenerBus.post(
      SparkListenerJobStart(job.jobId, jobSubmissionTime, stageInfos, properties))
    submitStage(finalStage)
  }

handleJobSubmitted 处理作业提交，主要分两部分，一部分是划分调度阶段，另一分是提交调度阶段，这里我们重点关注划分调度阶段，下一篇再关注提交调度阶段。

调度阶段的划分集中在 createResultS