Executor到底是什么时候启动的？

最新推荐文章于 2023-09-12 20:04:09 发布

段智华

最新推荐文章于 2023-09-12 20:04:09 发布

阅读量1.7k

点赞数

分类专栏： SparkInBeiJing

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/73440801

版权

SparkInBeiJing 专栏收录该内容

81 篇文章 203 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细解析了Spark Executor的启动流程，从SparkContext启动后如何通过StandaloneSchedulerBackend创建Executor，到Master如何接收并处理RegisterApplication请求，再到Worker上启动Executor的详细步骤，包括Executor的工作目录创建、ExecutorRunner的启动以及CoarseGrainedExecutorBackend进程的运行。

摘要由CSDN通过智能技术生成

6.4.1 Executor到底是什么时候启动的？

在SparkContext启动之后，StandaloneSchedulerBackend中会new出一个StandaloneAppClient，StandaloneAppClient中有一个名叫ClientEndPoint的内部类，在创建ClientEndpoint会传入Command来指定具体为当前应用程序启动的Executor进行的入口类的名称为CoarseGrainedExecutorBackend ClientEndPoint继承自ThreadSafeRpcEndpoint，其通过RPC机制完成和Master的通信。在ClientEndPoint的start方法中，会通过registerWithMaster方法向Master发送RegisterApplication请求，Master收到该请求消息之后，首先通过registerApplication方法完成信息登记，之后将会调用schedule方法，在Worker上启动Executor，Master对RegisterApplication请求处理源代码如下所示。

Master.scala源码：

1. caseRegisterApplication(description, driver) =>

2. // TODO Prevent repeatedreg