(八)Spark源码理解之DAGScheduler---part2

承接上篇博文所述，接下来我对getShuffleMapStage以及newStage这两个方法的代码进行主要的介绍

getShuffleMapStage：该方法主要是通过调用newOrUsedStage生成stage

private def getShuffleMapStage(shuffleDep: ShuffleDependency[_,_], jobId: Int): Stage = {
    shuffleToMapStage.get(shuffleDep.shuffleId) match {
      case Some(stage) => stage//如果该stage已经存在，则返回这个stage
      case None =>//否则生成新的stage
        val stage =
          newOrUsedStage(shuffleDep.rdd, shuffleDep.rdd.partitions.size, shuffleDep, jobId)
        shuffleToMapStage(shuffleDep.shuffleId) = stage  //将生成的stage存储在相应的容器中，以标志其已经存在，避免后续的过程中又生成
        stage  //返回stage
    }
  }

newOrUsedStage：该方法主要是通过调用newStage方法为特定的shuffle依赖生成stage，即生成Stage类，此外若MapOutTracker中已经存在该shuffle所对应的的stage，我们就恢复其输出位置，输出位置存储的其实就是MapStatus，否则MapOutTracker就会注册该stage，从之前MapOutTracker章节中已经得知MapOutTracker就是用于管理shuffle操作的

newStage：该方法真正的实现创建一个stage，同时在创建stage之后更新job和stage的关系，即更新前面最开头(Spark源码理解之DAGScheduler---part1)提到的几个重要的变量

private def newStage(
      rdd: RDD[_],
      numTasks: Int,
      shuffleDep: Option[ShuffleDependency[_,_]],
      jobId: Int,
      callSite: Option[String] = None)
    : Stage =
  {
    val id = nextStageId.getAndIncrement()//生成stage的id
    val stage =
      new Stage(id, rdd, numTasks, shuffleDep, getParentStages(rdd, jobId), jobId, callSite)//生成Stage类
    stageIdToStage(id) = stage//更新消息
    updateJobIdStageIdMaps(jobId, stage) //更新job和stage对应的关系
    stageToInfos(stage) = StageInfo.fromStage(stage)
    stage
  }

updateJobIdStageIdMaps：该方法主要实现更新job和stage的映射关系，通过更新前面所说的相关容器实现

PS：生成shuffle mapstage的时候调用newOrUsedStage()，而生成final stage的时候直接调用newStage()，这在之后会提到，因为生成shuffle map stage的时候还要通过MapOutTracker进行各种shuffle注册，标记等等，newOrUsedStage()方法正好实现了这一部分，而newStage()方法没有

关于shuffle的依赖我觉得始终很模糊，希望有机会可以解决？？？？？

此外，始终不太明白任务集不是由分区所进行的各个操作即函数所组成嘛，那这些函数都存放在哪里，调用Task.run的时候怎么运行的，难道是由Task类的回调函数所实现，如果是这样，那是在哪个部分进行的呢，回调函数是怎么将这些函数添加进来的呢？？？？希望能得到各位博友的热心解答

Stage类中的变量只有一个RDD，那是不是说一个stage只有一个RDD，写程序时一般在创建完SparkContext对象之后就会将我们的scala集合通过parallize()方法转换为RDD，之后进行各种操作，那从这里可以看出我们最开始也就只有一个RDD，之后我们就是对这一个RDD进行操作，因此一个stage只有一个RDD这样的理解应该也是没错的，即使我们会生成多个RDD，但我认为在触发动作时多个RDD应该也会转换为一个RDD

接下来，可以看看DAGScheduler如何向TaskScheduler提交任务集

其大概思路可以概述为如下：

首先生成一个任务数组tasks，用来存放之后的任务集，tasks为该stage的任务集---->若该stage为shuffle map stage，则生成ShuffleMapTask，若为final stage，则生成ReusltTask，之后将生成的ShuffleMapTask或者ReusltTask存放在tasks中----->tasks生成TaskSet类，接着调用TaskScheduler的submitTasks()方法提交刚刚生成的任务集

至此，DAGScheduler完成了将任务集提交给TaskScheduler

前面的文章中提及过Task的类型有ShuffleMapTask和ResultTask，下篇博文中我将就这两种任务的区别进行简单地讲述。。。

未完待续。。。。