30、Spark内核源码深度剖析之Spark内核架构深度剖析

Spark内核架构深度剖析.png

 

就上面这幅图，详细解释一下
自己编写的Application，就是我们自己写的程序，拷贝到用来提交spark应用的机器，使用spark-submit提交这个Application，提交之后，spark-submit在Standalone模式下，会通过反射的方式，创建和构造一个DriverActor进程。
启动DriverActor进程后，开始执行Application应用程序，也就是我们自己编写的代码，第一件事就是构造SparkContext，这时，会初始化DAGScheduler和TaskScheduler
构造完TaskScheduler后，TaskScheduler实际上，是会负责，通过一个后台进程，去连接Master，向Master注册Application
Master接收到Application注册的请求之后，会使用自己的资源调度算法，在Spark集群的Wroker上，为这个Application启动多个Executor
Master通知Wroker启动Executor
Executor启动之后，会自动反向注册到TaskScheduler上去
所有Executor都反向注册到Driver上之后，Driver结束SparkContext初始化，会继续执行我们自己编写的代码
每执行到一个Action，就会创造一个job
job会提交给DAGScheduler
DAGScheduler会将多个job划分为多个stage（stage划分算法），然后每个stage创建一个TaskSet
TaskSet会给TaskScheduler
TaskScheduler会把TaskSet里每一个task提交到Executor上执行（task分配算法）
Task有两种，ShuffleMapTask和ResultTask，只有最后一个stage是ResultTask，之前的stage，都是ShuffleMapTask
Executor每接收到一个task，都会用TaskRunner来封装task，然后从线程池里取出一个线程，执行这个task
TaskRunner，将我们编写的代码，也就是要执行的算子以及函数，拷贝，反序列化，然后执行task
所以，最后整个Spark应用程序的执行，就是stage分批次作为taskset提交到Executor执行，每个task针对RDD的一个partition，执行我们定义的算子和函数，依次类推，直到所有操作完为止