Spark Worker类的分析——Driver在Worker上的启动

最新推荐文章于 2022-01-16 10:54:54 发布
最新推荐文章于 2022-01-16 10:54:54 发布
阅读量256 收藏
点赞数
分类专栏： Spark 文章标签： Spark Spark源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41321219/article/details/95753124
版权

Driver在Worker上的启动是依靠launchDriver方法,launchDriver方法内部会启动一个新线程创建Driver的工作目录,并且使用ProcessBuilder来启动Driver

在这里插入图片描述
从上面的结构图我们可以看到launchDriver主要是通过DriverRunner类内部方法对driver进行启动

我们看一下DriverRunner的start方法,在新线程中对driver进行launch
在这里插入图片描述
我们先看一下addShutdownHook方法,这里是创建了一个类似与hook线程的结构.
在这里插入图片描述在这里插入图片描述
调用了add方法将我们传入的 1.打印日志 2.kill方法 两个功能封装进了SparkShutdownHook对象,然后进行了以下两个操作: 把这个对象添加进了hooks这个PriorityQueue, 返回这个对象
在这里插入图片描述

所以说最终我们实现的这个hook功能并不是在新线程中进行,也就是说这里的hook并不是一个hook线程,只是把hook的方法封装进了这个对象shutdownHook在这里插入图片描述
分析prepareAndRunDriver方法
在这里插入图片描述
在这里插入图片描述
内部分析完了回到send方法 Worker接收到driver状态改变信息
在这里插入图片描述
Worker接受到driver状态改变进行相应的操作
在这里插入图片描述
下面是Master中接收到driver的state消息进行的操作
在这里插入图片描述
分析Master中的removeDriver方法
在这里插入图片描述

Tom_coding
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 指定一个worker输出日志
Talk Is Cheap
05-08 283
就是在map函数里比如这样啊： val the_id = row.getAs[String]("the_id") if(the_id == "111"){ println("!!!") } "aaa".toInt
spark(三)-Worker启动Driver和Executor
rover
05-12 403
master在schedule()时会先启动注册过来的waitingDrivers，然后启动Worker上的所有Executors。 在standalone模式下。 Worker启动Driver master向worker发送LaunchDriver(driver.id, driver.desc)消息， worker收到LaunchDriver消息后，创建一个DriverRunner()来管理driver的执行，在driver失败时重启等。 worker调用DriverRunner()的start()，记录
spark架构 driver worker
zhuiqiuuuu的博客
11-21 407
 spark架构 spark任务的两种运行模式  spark submit --deploy cluster/client 当为client模式时，本地提交时，driver程序在堡垒机上运行，所以堡垒机上能看到自己打印的一些日志；线上时，driver程序在客户端节点上执行。客户端节点的资源，决定了提交到集群的任务的并发数，一版为队列中状态的是在客户端节点上，执行中状态才是在集群上...
spark源码学习（三）---worker源码分析-worker启动driver、executor分析
colossus——bigdata的专栏
02-11 987
本文根据spark1.6源码。 worker位于org.apache.spark.deploy.worker包下，本文分析worker对driver和executor的启动过程。前文分析中，当schedule方法会调用master的launchDriver方法以便启动driver： private def schedule(): Unit = { //如果当前的master处于st
Spark Master\Worker、Driver\Executor、Job\Stage\Task等概念与关系
GSpinach的博客
08-17 1525
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言 https://blog.csdn.net/hongmofang10/article/details/84587262 https://blog.csdn.net/mys_35088/article/details/80864092?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefau
Python3实战Spark大数据分析及调度-第1章 课程介绍.zip
04-30
3. **Spark架构**：了解Spark的基本架构至关重要，包括Master节点、Worker节点、Driver程序和Executor进程。理解这些组件的角色和相互作用对于编写高效Spark应用是必要的。 4. **RDD（弹性分布式数据集）**：RDD是...
基于spark离线统计移动端数据分析.zip
03-14
2. **Spark架构**: Spark基于分布式集群，采用Master-Worker架构，其中Driver负责任务调度，Executor执行具体任务。Spark的计算模型强调数据缓存，通过将数据存储在内存中，实现快速迭代计算，显著提高了处理效率。 ...
《大数据分析与内存计算》课程期末考核素材.rar spark餐饮系统
最新发布
07-03
- **Driver**：控制应用程序的执行流程，发送指令到集群上的 Worker 节点。 - **ResourceManager**：在 YARN 模式中由 YARN 提供，管理整个集群的资源分配。 - **ClusterManager**：管理集群资源的分配，包括 ...
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
在尝试启动Spark Shell时，你遇到了一个特定的错误，该错误与Spark的内存配置有关。在你的描述中，错误信息明确指出系统内存259522560字节（约245MB）必须至少为471859200字节（约448MB），这意味着Spark在启动时...
Spark学习之2：Worker启动流程
ktlinker1119的专栏
04-20 2526
1. 启动脚本 sbin/start-slaves.sh # Launch the slavesif["$SPARK_WORKER_INSTANCES"=""];then exec "$sbin/slaves.sh" cd "$SPARK_HOME" \; "$sbin/start-slave.sh"1"spark://$SPARK_MASTER_IP:$SPARK_MASTER_P
spark架构原理之Driver,Master,Worker,Executor,Task执行流程！粗略的见解！
weixin_41244495的博客
07-22 1854
  先从执行的spark程序开始讲吧！ 1.一般来讲我们编写的Spark程序就是在Driver上由Driver进程执行Driver进程启动以后就会做一些初始化操作，在这个过程中，就会发送请求到Master上进行Spark应用程序的注册，其实就是告诉Master,有一个新的Spark程序要跑起来， 2.一般来讲学习的集群为三个，其中第一个成为Master,对，就是第一个节点Master其实就是...
spark2.11-2.3源码5_资源调度schedule(driver和worker的分配启动)
u011607686的博客
01-18 232
schedule private def schedule(): Unit = { //首先判断，master状态不是ALIVE的话返回，也就是说standby master不会进行 if (state != RecoveryState.ALIVE) { return } // Drivers take strict precedence over ex...
了解 Spark中的master、worker和Driver、Executor
nicole_33的博客
01-16 3970
master和worker是物理节点，是在不同环境部署模式下和资源相关的两大内容 Driver和executor是进程，是在spark应用中和计算相关的两大内容 1、master和worker节点 master节点常驻master守护进程，负责管理worker节点，并且会从master节点提交应用。 worker节点常驻worker守护进程，会与master节点进行通信，并且管理executor进程。 在搭建spark集群时，就已经设置好了master节点和worker节点，一个集群中可以有多个master
spark driver 提交启动流程
帆了个帆的专栏
06-09 1838
向spark集群（standalone）提交作业,我们通常用如下命令 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7077 \ --executor-memory 20G \ --total-executor-cores 10...
Spark Worker源码追踪和分析
weixin_44272011的博客
09-24 140
Worker原理 driver 原理 每一个Driver都会被封装成DriverRunner。在DriverRunner中，主要做的事情，就是在worker上面创建driver的工作目录，然后拉取jar包到本地将这些信息封装好了后使用buildProcess打包发送给driver进行运行，这里只需要知道driver是被java的waitFor启动即可。 源码 1、启动driver，主要是将配置信息封装到driverRunner中，driverRunner是一个一个的线程。 2、调用线程启动函数，准备启动d
第35课Spark Master、Worker、Driver、Executor工作流程详解
热门推荐
zhumr的专栏
09-12 2万+
第35课Spark Master、Worker、Driver、Executor工作流程详解
【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行...
bit1129的博客
04-02 2844
Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务 接...
Worker启动Driver和Executor原理
勤学善思 明辨笃行
06-10 414
Spark程序有那些进程组成（） Master Driver Worker Executor
07-14
对的，Spark程序由以下几个进程组成： 1. Master：Spark程序的主节点，负责协调整个集群的资源分配和任务调度。 2. Driver：运行Spark应用程序的进程，负责将应用程序转化为任务，并与Master进行通信。 3. Worker：在集群中的工作节点上运行的进程，负责执行任务并将结果返回给Driver。 4. Executor：在Worker节点上启动的进程，负责执行具体的任务，每个应用程序都有自己的Executor。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值