spark流程源码解析

最新推荐文章于 2024-01-28 18:05:27 发布

大师兄啊

最新推荐文章于 2024-01-28 18:05:27 发布

阅读量3.5w

点赞数 1

分类专栏： spark 架构师成长必备技能文章标签： spark流程源码解析

本文链接：https://blog.csdn.net/qq_25843323/article/details/80195602

版权

架构师成长必备技能同时被 2 个专栏收录

25 篇文章 0 订阅

订阅专栏

spark

7 篇文章 0 订阅

订阅专栏

本文详细解析了Spark任务提交到集群的过程，从客户端到Spark集群，不同Master URL会生成不同TaskScheduler来申请资源。TaskScheduler与底层通讯，Yarn模式下通过反射创建组件。接着，DAGScheduler切割Job并划分Stage。TaskScheduler向Master注册，Master通过调度算法寻找空闲Worker启动Executors。Executors启动后反向注册到TaskScheduler，TaskScheduler获取Executor资源。当遇到Action时，DAGScheduler将Job划分为Stage和Task，TaskSetManager负责管理Task并分发给Executor执行。

摘要由CSDN通过智能技术生成

左边绿色的是客户端，右边的是我们要提交到的spark集群

不同的Master url会生成不同的TaskScheduler，而TaskScheduler是真真正正的去申请资源的，因为是不同的集群模式，所以他申请资源的方式不一样，所以生成的TaskScheduler的Barkend就不一样，而Barkend是真真正正和底层进行通讯的一个角色。yarn 的模式下是通过反射的机制创建者两个东西的。

TaskScheduler之后再生成一个DAGScheduler（各种模式下都是一样的，切割job，划分stage）

9.TaskScheduler想master去注册这个application

10,。，master接受到这个请求之后会调用资源调度的算法，

11.找空闲的机器worker

12.为这个app启动多个executors

13.executors启动完成之后会反向注册到TaskScheduler上面来（也就是注册到了sparkContent，driver上面来）然后这个TaskScheduler会拿到分配到的这几个executors

14.注册，资源分配完成之后，j结束content 的初始化，开始划分我们的代码，通常是碰到了一个action（runjob方法）的时候就会触发DAGScheduler，将每一个job划分成多个stage，每个stage产生多个task，然后task放到taskSet里面

17.把task打开，然后丢进相应的executor里面