spark源码系列01-Woker启动Executor过程并向Driver注册

最新推荐文章于 2022-06-18 11:54:29 发布
最新推荐文章于 2022-06-18 11:54:29 发布
阅读量936 收藏
点赞数
分类专栏： Spark实战 文章标签： spark
本文为博主（李孟）原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/qq_19968255/article/details/82803800
版权
本文详细介绍了Spark 1.3+版本中Worker如何启动Executor并完成向Driver的注册过程。从Master发送LaunchExecutor消息到Executor运行CoarseGrainedExecutorBackend的main方法，包括ExecutorRunner的启动、Executor与Driver的连接建立以及心跳机制的初始化等关键步骤。
摘要由CSDN通过智能技术生成

spark版本是1.3+


 

Woker启动Executor过程并向Driver注册时序图：

1.launchExecutor Master发送消息让Worker启动Executor

 

2.Worker new()

Master 发送给Worker的消息，让Worker启动Execitor,LaunchExecutor是一个Case Class,里面封装以后要启动的Executor的信息

new ExecutorRunner 创建ExcutorRunner,将参数都放到其中，然后在通过他启动Executor

注册ExecutorID -> Executor放到一个map中，对应关系

executors(appId + "/" + execId) = manager

 

3.Worker start()

调用ExecutorRunner的start方法来启动Executor Java子进程

manager.start() 

 

4.ExecutorRunner new()

先创建一个线程对象，然后通过一个线程来启动一个java子进程

workerThread

了解本专栏 订阅专栏 解锁全文 超级会员免费看
李孟聊人工智能
关注
专栏目录
订阅专栏
java版直播间源码-woker:唤醒者
06-05
源码解读分享系列： Java编程方法论-响应式篇-RxJava 分享视频 已完结 bilibili： 油管: Java编程方法论-响应式篇-Reactor 分享视频 已完结 B站： 油管： Java编程方法论-响应式篇-Reactor-Netty 分享视频 在分享 ...
Spark2.11 Executor的启动注册和执行任务的流程
qq_22796957的博客
06-18 606
一、当master在接收到RegisterApplication消息后会向worker发送LaunchDriver和LaunchExecutor消息来分别启动Driver和Executor。实际上这里启动Executor是指的启动CoarseGrainedExecutorBackend进程，而Executor只是CoarseGrainedExecutorBackend的内部的对象。二、实际上Dri...
Spark2.2 Worker、Driver和Executor向Master注册原理剖析图解及源码
行走的树
10-23 450
Master注册原理剖析图解Application向Master注册源码剖析
Spark 源码分析（六）: Executor 向 driver 进行注册
朱磊的博客
07-02 786
前一篇文章介绍了 Executor 进程的启动，最后启动的是 CoarseGrainedExecutorBackend，执行启动命令后会执行它的 main 方法，启动 CoarseGrainedExecutorBackend 进程。 CoarseGrainedExecutorBackend 进程是 Executor 的守护进程，用户 Executor 的创建和维护。 首先我们先看下 main 方法...
Spark 任务调度之创建Executor
u011564172的博客
04-10 3842
CoarseGrainedExecutorBackend创建Executor对象的过程
解析Spark Executor内幕,详解CoarseGrainedExecutorBackend
热门推荐
chic_data的博客
08-17 1万+
Spark Executor工作原理 ExecutorBackend注册 Executor实例化 Executor具体是如何工作的？   CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。 Worker为什么要启动另外一个进程？ Worker本身是管理当前机器上的资源，变动
swoole-link-monitor:基于swoole计时器与woker实现互连监控
03-18
基于swoole计时器/表/过程（工作者）实现内部监控与调整 基于swoole独立部署 定时器 进程多进程数值模式消费监听双向 表内存表记录出错次数与时间 无限扩展连结类型 无限扩展预设类型 双向支持 Rabbitmq MySQL的 ...
dl_woker-server
03-26
"dl_woker-server"是一个基于JavaScript的服务器端项目，它可能是用于数据下载或者处理工作的工具。从项目名称来看，"dl"可能代表“download”（下载），而"worker"通常指的是在后台执行任务的工作进程，"server"则...
pwa-testing:测试服务器woker的重量
05-17
1. **性能监控**: 使用浏览器开发者工具中的性能面板，监测Service Worker的启动、运行和更新过程中的性能指标。 2. **资源分析**: 分析Service Worker缓存的文件大小，了解其对存储空间的影响。 3. **压力测试**: ...
muyinchen#woker#springmvc学习笔记(4)-前端控制器1
07-25
1.前端控制器接收请求 2.前端控制器调用HandlerMapping（处理器映射器）根据url查找Handler 3.调用处理器适配器执行Handler,得到
spark源码（二）spark如何启动driver、application注册、executor构建命令拼装
Interest1_wyt的博客
06-18 1461
driver概念解析、driver运行、application注册、executor构建命令拼装
Spark程序Yarn集群提交Executor反向注册在分析
long_World的博客
03-18 440
Spark程序Yarn集群提交Executor反向注册在分析 一 前言 有了spark的通信框架的基础再去看CoarseGrainedExecutorBackend类,才会明白提交任务的最后一步反向注册 二 反向注册 先看上次源码 private def run( driverUrl: String, executorId: String, hostname: String, cores: Int, appId: String,
Application注册及Executor启动过程分析
淡定一生2333的博客
11-19 766
接上一篇”SparkContext初始化流程”，其中在初始化***SchedulerBackend那里提到了，在那里会创建一个AppClient对象，用于和Spark集群交互注册App，申请并启动Executor，本篇就来分析下注册App和启动Executor的流程。   先描述下流程： 1. SparkContext启动过程中,AppClient会向Master发送RegisterAppl...
spark-core_25:Master通知Worker启动CoarseGrainedExecutorBackend进程及初始化源码分析
luyllyl的博客
05-23 998
承接上文（spark-core_24:AppClient的ClientEndpoint注册RegisterApplication）上文中提到：master调用launchExecutor(){worker.endpoint.send(LaunchExecutor(masterUrl,    exec.application.id, exec.id,exec.application.desc, ex...
SparkCore — Executor注册
zlx_code的专栏
09-02 193
Executor注册   注册的机制流程如下，CoarseGrainedExecutorBackend进程启动之后，会立即向Driver发送消息注册executor消息，Driver注册成功之后，会返回RegisteredExecutor消息。然后创建管理启动Task的句柄，将Task封装在TaskRunner线程中，并将其放入线程池运行。   直接看源码，如下所示： override de...
Spark 源码分析（二）: Driver 注册及启动
朱磊的博客
07-01 1116
上一篇文章已经已经执行到 Client 向 masterEndpoint 发送了 RequestSubmitDriver 信息，下面就看看 master 怎么注册 driver 信息，并且怎么让 worker 去启动 driver 的。 一，org.apache.spark.deploy.master.Master 这个 Master 就是前面 Client 发送的对象，是一个 ThreadSaf...
Spark 关于提交任务报错 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources；
qq_43634028的博客
04-12 2897
运行任务发现一直在报：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 查看7077端口发现我们要执行的任务处于等待状态，当前正在运行的是shell，所有我们直接在webui kill 掉 shell kill 掉
Spark源码解析(三):Executor启动流程
Oeljeklaus的博客
07-06 2348
Executor启动流程 在上面SparkContext进行资源调度后,只有主要的流程是Master和筛选出来的Worker进行通信,然后在Worker中启动Executor进程。 Executor启动流程流程图 源码分析 Executor进程的启动 这里我们需要追踪的方法是Master类中的schedule()方法内部的607行,这个方法的主要作用是向Worker发送消息,...
32 Spark中的Executor工作原理
Hipparchus的博客
06-01 6077
内容： 1. Spark Executor 工作原理 2. ExecutorBackend 注册 3. Executor实例化 4. Executor 具体工作流程
lighttpd源码解析：多进程模型与watcher-worker架构
"lighttpd源码分析：深入理解开源高并发服务器的watcher-woker多进程模型" 在探讨lighttpd源码时，我们聚焦于其核心设计：多进程架构结合多路复用技术，这一设计是实现高性能、高并发的关键。lighttpd通过server....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李孟聊人工智能

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值