spark任务提交流程详解

       当我们执行spark任务的时候，通过spark ui 我们可以看到stages页面有stage id列表以及job页面下的job列表。这些信息是我们提交spark框架作业后，spark对我们对我们的作业进行了拆分然后按照特定顺序来执行的。下面是结合代码以及自己的理解，梳理下spark任务提交流程

spark任务提交流程图

spark作业提交流程

流程步骤补充说明

step5 ：创建stage，遇到宽依赖，划分一个新的stage，得到parent stage,并通过递归调用获取到所有的stage，先执行“辈分最高”的stage

step7：当我们执行task的时候，首先会获取该task对应的最优location，我们可以在spark ui 可以看到stage下各个task的Locality Level水平。 当然task并不一定会在最优的location执行，可能因为datanode和nodemanager不在同一节点、executor出错分配到其他的executor等原因

step12:向executorEndPoint发送任务，理论上executor会接收到该task的“任务描述”，后面文章会介绍executor接收到“任务描述”后处理的逻辑