Spark 任务提交的底层原理图

自己总结了一下，花了一张图

1.通过Spark-submit脚本提交代码到集群上运行。
2.Driver进程。当我们开始初始化代码第一行的SparkContext上下文的时候，会创建两个对象——DAG Scheduler、Task Scheduler
3.DAG Scheduler会通过stage划分算法进行stage的划分，然后通过创建TaskSet将所有的Task提交到Task Scheduler上
4.当两个对象创建完成后，Driver端会向集群的Master节点发送Application任务
5.Master接收到任务后，通过资源分配算法进行任务调度
6.Master找到对应的Worker
7.Worker接收到Master发来的任务消息，这个时候开始创建对应的Executor
8.Executor启动完成后，会反向注册到Driver，初始化完成
9.遇到一个Action算子后开始提交任务
10.当Task Scheduler进行提交任务时候，在Task提交过程中有一个Task分配算法
11.当Task任务进来后，去线程池中取到对应的线程，开始执行任务
12.Task内部有两种Task：一种叫shuffleMapTask，一种叫ResultTask
13.去HDFS上读取相应的文件数据