DAGScheduler源码解析之Stage划分

     上篇文章DAGScheduler主要是对DAGScheduler作用简要描述，本次结合源码解析DAGScheduler如何划分Stage。

      spark在提交作业时，首先会提交给DAGScheduler，划分成若干个Stage，具体是如何划分的呢？首先根据最后一个RDD,创建一个Stage,在创建Stage时，会获取该Stage的所有的父Stage，在获取父Stage的过程中，完成了本次提交的作业Stage划分。

    

       

     在newStage方法中，首先创建一个Stage，同时要注意创建时getParentStage()方法

              

       在new Stage()方法中获取当前RDD的所有的Stage，获取给rdd的所有依赖，根据依赖进行划分，如果当前依赖为窄依赖，继续递归其父rdd的情况，直道所有的父级RDD结束。如果遇到宽依赖会创建Stage。创建Stage过程中也会获取其父Stage,这样讲整个RDD和及其依赖遍历完。

     

     首先判断当前的RDD的依赖，如果是宽依赖，会调用getShuffleMapStage创建Stage，同时和之前遍历的Stage合并做为当前的parent stage。

                     

      在newOrUsedStage方法中，有调用之前的newStage()方法，同时判断mapOutputTracker中是否含有shuffleId，主要是对该Stage输出记录的。

    

  经过一系列循环过程完成了Stage划分。同时看到在每一个Stage中都包含了其父类。