图解Spark中Worker的启动过程

最新推荐文章于 2022-04-11 09:43:43 发布

满岛菜鸟

最新推荐文章于 2022-04-11 09:43:43 发布

阅读量457

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/weixin_43616627/article/details/104215772

版权

Spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

在这里插入图片描述
main方法：
（1）创建RpcEnv
（2）获取masterAddress
（3）创建Worker的Endpoint

onStart方法：
（1）在启动之后，向Master以ask的方式进行注册
（2）在接收到Master的响应信息之后，进行处理
（3）每15秒以send的方式向Master发送心跳

需要注意的是：在start-all.sh脚本执行的时候，也有可能是Worker先启动而Master后启动，这样的话Worker注册的时候就可能会失败，所以会有Worker注册重试机制，重试的次数是16次：

private val INITIAL_REGISTRATION_RETRIES = 6
private val TOTAL_REGISTRATION_RETRIES = INITIAL_REGISTRATION_RETRIES + 10

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

满岛菜鸟

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

[spark] Standalone模式下Master、WorKer启动流程

UFO的博客

10-31

1260

Spark作为分布式的计算框架可支持多种运行模式：本地运行模式（单机）本地伪集群运行模式（单机模拟集群） Standalone Client模式（集群） Standalone Cluster模式（集群） YARN Client模式（集群） YARN Cluster模式（集群）而Standalone 作为spark自带cluster manager，需要启

图解Spark任务提交执行流程总结

伟红-long-term

08-30

929

一、Spark基于Standalone任务提交根据Driver在集群中的位置分为两种模式：一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上提交命令 ./spark-submit --master spark://node1:70...

参与评论您还未登录，请先登录后发表或查看评论

Spark Worker启动源码分析

大数据技术分享

12-04

245

Spark Worker启动源码分析更多资源分享 github: https://github.com/opensourceteams/spark-scala-maven Youtube视频分享 youtube: https://youtu.be/ll_Ae6rP7II start-slave.sh启动脚本 worker启动脚本跟master一样，都调用spark-daemon.sh...

Spark Worker 启动流程及源码详解

u013771019的专栏

06-17

1072

环境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141 可以参考【Spark Master启动流程详解】 ${SPARK_HOME}/sbin/start-slaves.sh # Launch the slaves "${SPARK_HOME}/sbin/slaves.sh" cd "${SPARK_HOME}" \; "${SPARK_HOME}/sbin/start-slave.sh" "spark://$SPARK_MASTER_HOST:$SPARK_

Spark 源码（4） - Worker 启动流程源码剖析

天道酬勤

11-02

1008

一、Worker 启动今天来看看 Worker 的启动流程，Worker 的启动是从 Shell 脚本开始的，Shell 脚本中就是从 Worker 类的 main 方法开始执行的，所以就从 main 方法开始看。最主要的是启动了 RpcEnv 和 Endpoint，Worker 本身就是一个 Endpoint，它继承了 ThreadSafeRpcEndpoint 类。所以下一步自然是去看 Endpoint 的声明周期方法 onStart() 首先创建了工作目录，就是从配置中拿到目录信息，然后创建它

Spark3.0.3-Worker的启动流程源码分析

Airy的博客

04-11

774

Worker 对于Master，其启动脚本就是通过java mainClass的方式调用main方法启动Worker的java进程。自然调用的就是org.apache.spark.deploy.worker.Worker的main方法。于是就从org.apache.spark.deploy.worker.Worker中的main方法开始看起。 1.Worker#main ...

初识 Spark - 7000字+15张图解，学习 Spark 入门基础知识

欢迎关注数据类微信公众号：数人之道，分享数据知识、干货、资讯

02-23

926

图解Spark的task是怎么分发到各节点上并执行的

DrawnBreak

07-06

2219

假设此时已经构建好DAG划分好stage，接着就是要分发task了。当运行submitTask时，有如下的过程：上图可以看到，每次都会新建一个专门的taskManager，都运行ok后就会消失，并不是独立持续存在的一个角色。 reviveOffers具体做什么的呢？看一下可以看到reciveOffer主要是做worker资源分配的。 workerOffer列表一般需要做随机处理，避免一直分给同一个各机器上的CPU核数在分配的考虑范围之内。 spark每次可能会有多个TaskSetManager

图解spark-local模式运行原理

DrawnBreak

01-31

835

local部署模式首先spark运行时有4个角色，如下： Driver:应用驱动程序, 是spark集群的客户 Master：Spark的主控节点，是spark集群的老板 Worker：Spark的工作节点，是集群的各个节点主管 Executor：Spark的工作进程，由worker监管，负责具体任务的执行简单local模式运行流程（无集群）我们先看下启动任务前， driver和executor之间，简单发生了什么（注意local模式下，executor是在driverApp里面的）： loca

spark源码解析-worker启动

missv5的博客

11-25

384

1.概念 worker是执行任务的真正服务，它可以管理多个executors，并向master汇报任务的执行情况，现在让我们看看它的启动过程。由于worker启动过程和master启动过程有一定相通之处，所以在阅读本文之前，请先阅读master的启动过程。 2.worker启动在启动spark时，需要执行脚本sh start-slaves.sh,其最终是调用org.apache.spark.d...

Spark使用start-slave.sh启动Worker

oreohhxxcsdn的博客

12-21

6966

通过start-slave.sh脚本手动启动worker时遇到的问题

spark内核解析——spark master和worker的启动

厚积薄发

04-11

1506

更好的理解spark——spark master和worker的启动 1、master通过start-master.sh 启动之后，首先创建了RpcENV。设置了MasterEndpoint这种通讯环境，然后通过onstart来初始化了自己的服务，通过receive和receiveAndReplay方法来初始化了消息体系。 2、worker通过start-slave.sh 启动之后，首先创建了R...

Spark集群启动流程-Worker启动-源码分析

weixin_43637653的博客

11-15

487

Spark集群启动流程-Worker启动-源码分析上篇文章介绍了Master启动（Master启动点击：https://blog.csdn.net/weixin_43637653/article/details/84073849），接下来，我们在源码里继续分析Worker的启动总结：(和Master几分相似) 1.创建ActorSystem对象，并将初始化参数传入 2.创建了...

Spark学习之2：Worker启动流程

ktlinker1119的专栏

04-20

2539

1. 启动脚本 sbin/start-slaves.sh # Launch the slavesif["$SPARK_WORKER_INSTANCES"=""];then exec "$sbin/slaves.sh" cd "$SPARK_HOME" \; "$sbin/start-slave.sh"1"spark://$SPARK_MASTER_IP:$SPARK_MASTER_P

worker的一般工作流程

萧念的博客

03-01

482

第一步，创建driver的工作目录第二步，下载用户上传的jar到drive的目录，并返回它在worker本地的路径，如果下载jar包的过程中出现了任何异常，那么会抛出exection异常用Hadoop jar的Path 拿到了Hadoop配置获取了HDFS的filesystem 创建本地目录如果jar不存在，用hdfs拷贝到本地目录当中第三步，构建ProcessBuilder...

Spark master和worker启动流程

weixin_40670099的博客

08-13

877

一、master启动UML图 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数，并调用startRpcEnvAndEndpoint（）创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv（AkkaSystem），创建masterEndPoint（actor），new M...

spark worker启动过程及其worker消息循环机制

tanliqing2010的博客

05-23

1144

1 启动脚本分析 2. Worker启动流程创建worker对象 a. worker内存中的数据结构（主要是drivers、executors） b. worker中的线程 c. onStart()函数 d. 向master注册worker信息 3 receive*() worker消息循环 1 RegisteredWorker—worker成功注册到master内存中 ...

nginx之worker启动分析

05-20

2607

在多进程模式下,由ngx_start_worker_processes函数启动worker工作进程。 #file:ngx_process_cycle.c static void ngx_start_worker_processes(ngx_cycle_t *cycle, ngx_int_t n, ngx_int_t type) { ngx_int_t i; n

Spark源码阅读---Master与Worker启动流程

bigdata_player

02-26

288

在最开始，我们一键执行start-all.sh即启动了spark集群，殊不知，最终执行的是Master和Worker的类对象。 Master启动流程首先执行Master的伴生对象，执行main方法，初始化并解析一些参数，然后调用startSystemAndActor方法通过AkkaUtils工具类创建ActorSystem，再创建actor，实例化Master对象。 M...

spark worker节点没有启动