spark架构原理之Driver,Master,Worker,Executor,Task执行流程！粗略的见解！

 

先从执行的spark程序开始讲吧！

1.一般来讲我们编写的Spark程序就是在Driver上由Driver进程执行Driver进程启动以后就会做一些初始化操作，在这个过程中，就会发送请求到Master上进行Spark应用程序的注册，其实就是告诉Master,有一个新的Spark程序要跑起来，

2.一般来讲学习的集群为三个，其中第一个成为Master,对，就是第一个节点Master其实就是调度资源和分盘，还有就是集群的监控，还有一些其他的操作！

Master在接到Spark程序申请以后会发送请求给从节点也就是slave在这里用worker称呼，进行资源的分配，

3.第一个worker主要职责是使用自己的内存，存储RDD某些partition,

第二个就是启动其他进程和线程对RDD上面的partition进行处理和计算，

worker在接收到Master的请求后会启动Executor进程

4.Executor进程里面包含Task线程，这两货主要就是负责并行计算的，比如申请的RDD，partition，还有就是一些算子，比如：map,flatmap,reduce,

5.Executor进程启动以后会向Driver进行反注册，这样Driver就知道哪些Executor是为它服务的了.

6.Driver注册了Executor进程以后就会开始执行我们提交的Spark应用程序了，第一步就是创建RDD,然后就是读取数据源，

7.hdfs的内容可能会被读取到多个worker节点上面,形成内存中 的分布式数据库，也就是RDD。

 

8.executor接受到请求以后就会调用多个Task节点进行执行。

 

9.task就会对RDDpartition数据执行指定的算子操作，形成新的RDD分区，