Spark源码（一）——总体框架

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、总体架构

1. Client提交spark应用程序application，使用spark-sumbit（shell）提交appliction；
2. 在standalone模式下，会通过反射的方式，创建和构造一个DriverActor进程；
3. Driver进程开始执行我们的Application应用程序，也就是我们自己编写的代码；
4. spark应用程序的第一行，一般是向构造sparkconf,再构造SparkContext;;SparkContext再初始化的时候，做的最重要的两件事情就是DAGScheduler和TaskScheduler.
5. DAGScheduler会将job划分为多个stage，然后每个stage创建一个taskset；
6. TaskScheduler实际上，是会负责通过·它对应的一个后台进程去连接Master，向master注册application;
7. master接收到application注册的请求之后，会使用自己的资源调度算法，在spark集群的worker上，为这个application启动多个executor；
8. master通知worker启动executor，worker会为application启动executor，executor启动之后会自己反向注册到taskscheduler上去；
9. 所有的executor都反向注册到driver之后，driver结束sparkcontext初始化，会继续执行我们编写的代码；
10. 每执行到一个action，就会创建一个job，每个job会提交到DAGSchedular根据stage划分算法进行划分，然后把对应的taskset发送给taskscheduler，taskscheduler会把taskset里面的每一个task提交到executor上执行（task分配算法）
11. executor每接收到一个task，都会用taskrunner进行封装task，然后从线程池里取出一个线程，执行这个task；
12. taskrunner：将我们编写的代码，也就是执行的算子以及函数，进行拷贝，反序列化，然后执行task；
13. task有两种，shufflemaptask和resulttask，只有最后一个stage是resulttask，之前的stage都是shufflemaptask；
14. 所以最后，整个spark应用程序的执行，就是stage分批次作为taskset提交到executor执行，每个task针对RDD的一个partition，执行我们定义的算子和函数，以此类推，直到所有操作执行为止；

总体框架草图如下：