Spark架构分析（一）

spark-submit使用standalone模式提交的时候，会通过反射的方式，创建和构造一个DriverActor进程出来

Driver进程执行我们编写的代码，构造出SparkContext，SparkContext在初始化的时候，做的最重要的两件事情，就是构造出
    DAGScheduler和TaskScheduler.

构造TaskScheduler时，通过自己的后台进程进程去连接Spark集群中的Master，向Mater注册Application

Master接收到Application注册的请求之后，会使用自己的资源调度算法，在spark集群的worker上，为这个Application启动多个Executor

Master通知worker启动Executor.   (SparkContext是一个对象，Executor是一个进程)

Executor启动后干的第一件事情：自己反向注册到TaskScheduler上去。  （这样TaskScheduler就知道master为自己启动了几个Executor）

当所有Excutor都反向注册到driver上完成以后，Driver结束SparkContext初始化，继续执行我们自己编写的代码

每执行到一个action，就会创建一个job，job会提交给DAGScheduler

DAGScheduler会降job划分为多个stage（每次宽依赖），然后每个stage创建一个TaskSet。

每个TaskSet会给TaskScheduler会吧TaskSet里的每一个Task提交到Executor上执行（task分配算法）

Executor中有线程池。

Executor每接收到一个task，都会用TaskRunner来封装task，然后从线程池取出一个线程来执行这个Task

    TaskRunner：将我们编写的代码，也就是要执行的算子以及函数，拷贝，反序列化，然后执行Task
    
    
    Task有两种：ShuffleMapTask和ResultTask，只有最后一个stage是ResultTask，之前的stage都是shuffleMapTask
    
所以，最后整个spark应用程序的执行，就是stage分批次作为taskset提交到executor执行，每个task针对RDD
的一个partition，执行我们定义的算子和函数，以此类推，知道所有操作执行完毕为止。

 

 

SparkContext的架构图