本文详细介绍了Spark job在YARN上的提交过程和执行机制，包括SparkContext如何调度任务，Executor如何分配执行，以及Yarn-cluster和Yarn-client两种模式的区别。在Yarn-cluster模式下，Driver运行在Application Master中，而在Yarn-client模式下，Driver运行在本地客户端。
1. Spark job提交过程
Driver的任务提交过程
1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。
2、SparkContext调用DAGScheduler的runJob函数。
3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。
4、通过TaskScheduler把Tasks添加到任务队列当中，交给SchedulerBackend进行资源分配和任务调度。
5、调度器给Task分配执行Executor，ExecutorBackend负责执行Task。
2. Spark on YARN的作业执行机制
1、基于YARN的Spark作业首先由客户端生成作业信息，提交给ResourceManager。
2、ResourceManager在某一NodeManager汇报时把AppMaster分配给NodeManager。
3、NodeManager启动SparkAppMaster。
4、SparkAppMastere启动后初始化然后向ResourceManager申请资源。
5、申请到资源
最低0.47元/天 解锁文章
4084
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
