Spark作业提交执行流程源码图

环境：代码图基于Spark 2.2.1 工具：OmniGraffe

最近想完整梳理一下作业提交流程，通过自己的理解画图来学习Spark。

####1） 首先了解作业提交后RDD的流动情况

• 如上图，以RDD构建的DAG给DAGScheduler进行stage划分，DAGScheduler负责stage层面的提交和失败处理。
• 然后提交taskSet给TaskScheduler进行处理，TaskScheduler负责task层面的提交和失败处理，TaskScheduler提交task给远端的worker（即executor）实际执行。

上面流程中，在TaskScheduler提交task给executor之前，所有操作都是在driver端执行（如以yarn-client提交，则为提交作业所在机器），executor接受到task后执行task作业则是executor机器上执行。

####2） 更细粒度了解作业提交过程

上图是client以spark-submit形式提交作业后，从作业DAG划分、stage提交、taskSet提交，到task执行过程。步骤图上已经画出来，这里描述一下。

1. client submit作业，通过反射invoke执行用户代码main函数。
2. sub