spark 2版本 中stage划分和stage作业提交详解

首先是几个概念：1、spark中 job可以理解为：Application中每一个action操作触发的作业。

2、spark中stage可以理解为：每一个job根据宽依赖划分的任务阶段。（stage的划分和stage的作业提交都通过Driver中DAGScheduler类实现的）

下面我们详细说明一下stage的划分：

1、DAGScheduler中的handleJobSubmitted方法根据最后一个Rdd（所谓最后一个Rdd指的是DAG图中触发action操作的Rdd）生成finalStage。

2、生成finalStage的过程中调用了getParentStagesAndId方法，通过该方法，从最后一个Rdd开始向上遍历Rdd的依赖（可以理解为其父Rdd），如果遇到其依赖为shuffle过程，则调用getShuffleMapStage方法生成该shuffle过程所在的stage。完成Rdd遍历后，所有的stage划分完成。

3、getShuffleMapStage方法从传入的Rdd开始遍历，直到遍历到Rdd的依赖为shuffle为止，生成一个stage。

4、stage的划分就此结束。

下面我们详细说明一下stage的提交：

1、DAGScheduler中的submitStage方法用来提交stage，首先通过getMissingParentStages方法获取finalStage的父调度阶段。

2、如果存在父调度阶段，则将该调度阶段存储在waitingStages列表中，同时递归调用submitStage。

3、如果不存在父调度阶段（这里是递归出口）则调用submitMissingTasks方法执行该调度阶段。

4、当一个调度阶段执行完成后，检查其任务是否全部完成，如果完成，则将waitingStage列表中父调度阶段完成的 调度阶段进行执行，直到所有调度阶段都执行完毕（递归出口）。

这就是spark中stage划分和提交的具体流程，其核心思想在于宽依赖划分stage 以及递归提交stage任务。鉴于本人理解的还不够深入，希望大家交流指正。