提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
一、总体架构
- Client提交spark应用程序application,使用spark-sumbit(shell)提交appliction;
- 在standalone模式下,会通过反射的方式,创建和构造一个DriverActor进程;
- Driver进程开始执行我们的Application应用程序,也就是我们自己编写的代码;
- spark应用程序的第一行,一般是向构造sparkconf,再构造SparkContext;;SparkContext再初始化的时候,做的最重要的两件事情就是DAGScheduler和TaskScheduler.
- DAGScheduler会将job划分为多个stage,然后每个stage创建一个taskset;
- TaskScheduler实际上,是会负责通过·它对应的一个后台进程去连接Master,向master注册application;
- master接收到application注册的请求之后,会使用自己的资源调度算法,在spark集群的worker上,为这个application启动多个executor;
- master通知worker启动executor,worker会为application启动executor,executor启动之后会自己反向注册到taskscheduler上去;
- 所有的executor都反向注册到driver之后,driver结束sparkcontext初始化,会继续执行我们编写的代码;
- 每执行到一个action,就会创建一个job,每个job会提交到DAGSchedular根据stage划分算法进行划分,然后把对应的taskset发送给taskscheduler,taskscheduler会把taskset里面的每一个task提交到executor上执行(task分配算法)
- executor每接收到一个task,都会用taskrunner进行封装task,然后从线程池里取出一个线程,执行这个task;
- taskrunner:将我们编写的代码,也就是执行的算子以及函数,进行拷贝,反序列化,然后执行task;
- task有两种,shufflemaptask和resulttask,只有最后一个stage是resulttask,之前的stage都是shufflemaptask;
- 所以最后,整个spark应用程序的执行,就是stage分批次作为taskset提交到executor执行,每个task针对RDD的一个partition,执行我们定义的算子和函数,以此类推,直到所有操作执行为止;
总体框架草图如下: