山东大学软件工程应用与实践： Spark（九） 代码分析

2021SC@SDUSC

---

目录

创建和启动DAGScheduler

---

创建和启动DAGScheduler

DAGScheduler主要用于在任务正式交给TaskSchedulerImpl提交之前做一些准备工作，包括：创建Job，将DAG中的RDD划分到不同的Stage，提交Stage，等等。创建DAGScheduler的代码如下：

@volatile private[spark] var dagScheduler: DAGScheduler = _
    dagScheduler = new DAGScheduler(this)

DAGScheduler的数据结构主要维护jobId和stageId的关系、Stage、ActiveJob，以及缓存的RDD的partitions的位置信息，代码如下：

private[scheduler] val nextJobId = new AtomicInteger(O) 
private[scheduler] def numTotalJobs: Int = nextJobId.get() 
private val nextStageId = new AtomicInteger(O)

private[scheduler] val jobIdToStageIds = new HashMap[Int, HashSet[Int]] 
private[scheduler] val stageIdToStage = new HashMap[Int, Stage] 
private[scheduler] val shuffleToMapStage = new Hash