Spark提交流程源码分析
说明
①此文主要以Yarn Cluster模式为例说明提交流程
②spark版本3.0
提交流程简图
提交流程描述
①在YARN Cluster模式下,任务提交后会创建yarn客户端yarnClient,通过客户端和ResourceManager通讯申请启动ApplicationMaster
②随后ResourceManager分配container,在合适的NodeManager上启动ApplicationMaster。
③ApplicationMaster主线程会启动一个子线程,命名为driver,然
原创
2020-12-20 00:00:44 ·
223 阅读 ·
1 评论