Spark作业运行原理

1.Spark启动集群后，Master节点会获取各个Work节点的资源信息，内存和CPU数量信息。

2.Word节点要通过心跳机制去连接master节点，同时要定时向master节点汇报自身的资源情况。

3.master收到work的汇报消息后给work简单反馈。

4.driver节点向master节点提交spark作业，发送注册通知，需要master为application预留相应的资源。

5.master接收到driver的注册通知，管理work节点，分配资源，启动work的executor线程，work启动后反向注册。

6.driver接受到了一组executor的反向注册，会创建sparkContext,加载数据，创建RDD。

7.在创建sparkContext过程中，非常核心的是构建DAGScheduler和TaskSchedluer：

DAGScheduler会为application划分成多个stage阶段，每一个stage会根据RDD中的partitions数目决定一批task来运行，

把这一批Task封装在一个Task set中交个TaskScheduler，TaskScheduler会将这批task set发送到各个work节点中反向注册的executor进程中。(移动计算，不移动数据)

8.在executor中就存放要被计算的各个partition中的数据，同时当taskScheduler中将Task任务

发送到executor中，executor则会从线程池去除一个一个相应的task，执行相关的transformation和action操作。