Spark架构原理

 

1，编写的Spark程序在Driver上由Driver进程执行，Driver进程启动后，就会做一些初始化操作，在这个操作过程中就会发送请求到Master上，进行Spark应用程序的注册，就是让master知道有一个新的spark应用程序要运行。

2，Master接收到Driver的注册请求就开始资源调度和分配，交给Woker进行计算。

3，Worker接收到Master的请求之后，会为Spark应用程序启动Executor进程。

4，Executor进程启动后就会创建一个个task线程来执行Spark应用程序。

5，Executor启动之后会向Driver进行反注册。这样Driver就知道，有哪些Executor是为它进行服务的了。

6，Driver注册了一些executor之后，就可以开始正式执行spark应用程序了。

7，Driver根据对RDD的定义的操作，会提交一大堆task去executor上。

8，task线程就会对RDD的partition数执行指定的算子操作，形成新的RDD的partition。