第33课： Spark Executor内幕彻底解密：Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕

最新推荐文章于 2022-08-31 08:00:00 发布
最新推荐文章于 2022-08-31 08:00:00 发布
阅读量920 收藏 4
点赞数
分类专栏： SparkInBeiJing
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/72790345
版权
本文详细探讨了Spark Executor的工作原理，包括ExecutorBackend注册过程、Executor实例化和具体工作流程。讲解了从Master启动Executor，Executor如何通过CoarseGrainedExecutorBackend向Driver注册，以及Executor如何通过线程池执行Task。强调了Executor和ExecutorBackend之间的区别，以及Executor内部使用线程池执行任务的机制。
摘要由CSDN通过智能技术生成


第33课： Spark Executor内幕彻底解密：Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕

本节讲解Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕 。

Master让Worker启动，启动了一个Executor所在的进程，在Standalone模式中，Executor所在的进程是CoarseGrainedExecutorBackend。

l  Master侧：Master发指令给Worker启动Executor。

l  Worker侧：Worker接收到Master发过来的指令通过ExecutorRunner启动另外一个进程来运行Executor。这里是指启动另外一个进程来启动Executor，而不是直接启动Executor。Master向Worker发送指令，Worker为什么启动另外一个进程，在另外一个进程中注册给Driver，然后启动Executor？因为Worker本身是管理机器上的资源的，机器上资源变动的时候要汇报给Master。Worker不是用来计算的，不能在Woker中进行计算；Spark 集群中有很多应用程序，需要很多Executor，如果不是给每一个Executor启动一个进程，而是所有的Executor都在Worker里面&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
第42课： Spark Broadcast内幕解密：Broadcast运行机制彻底解密、Broadcast源码解析、Broadcast最佳实践
段智华的博客
06-04 959
第42课：  Spark Broadcast内幕解密：Broadcast运行机制彻底解密、Broadcast源码解析、Broadcast最佳实践Broadcast在机器学习、图计算、构建日常的各种算法中到处可见。 Broadcast就是将数据从一个节点发送到其它的节点上；例如Driver上有一张表，而Executor中的每个并行执行的Task（100万个Task）都要查询这张表，那我们通过Broa
《深入理解Spark》之Spark的整体运行流程
凌夜知惜
08-15 961
spark作为流行的计算框架，下面是其运行流程图，以Cluster模式为例 Spark运行流程图,author:lyzx_hero1、通过spark-submit的方式提交作业,此时应用程序向master发送请求启动Driver程序     Driver程序负责对资源和任务的调度2、Master在资源充足的Worker上启动一个Driver进程     这里需要注意是Master找到资源充足的W...
spark core 2.0 Executor
houzhizhen的专栏
01-10 498
Executor如果在非本地运行，则设置非捕获异常的处理。如果任何线程因为未捕获异常结束，则把整个执行器进程杀死，避免奇怪的情况。 if (!isLocal) { // Setup an uncaught exception handler for non-local mode. // Make any thread terminations due to uncaught
Spark调度系统——运行后端接口LauncherBackend
LINBE_blazers的博客
06-18 871
要介绍LauncherBackend，首先介绍下LaucherServer。当Spark应用程序没有在用户应用程序中运行，而是运行在单独的进程中时，用户可以在用户应用程序中使用LauncherServer与Spark应用程序通信。LauncherServer将提供Socket连接的服务端，与Spark应用程序中的Socket连接的客户端通信。LaucherServer的工作原理如下图： Ta...
spark安装
YLKai_的博客
06-24 217
先决条件jdk 如：jdk1.8.0_131zookeeper 如：zookeeper-3.4.10配置免密登录上传压缩文件到/opt 目录中解压：tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz进入目录：/opt/spark-2.4.5-bin-hadoop2.7/conf 修改如下配置文件[root@hdp1 conf]# mv spark-env.sh.template spark-env.shvim spark-env.sh mv slaves.template sla
LauncherBackend与LauncherServer
chbxw
04-12 953
一、Launcher LauncherServer是一个用来接收LauncherBackend发送spark app状态变化的服务 当LauncherServer收到状态变化的信息后，会根据信息类型调用用户通过ChildProcAppHandle类注册进来的listener 核心方法为： newAppHandle 注册一个新的ChildProcAppH...
第33课：Spark Executor内幕彻底解密：Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕
snail_gesture的博客
02-12 2382
简要： 本篇博文主要讨论的内容如下; 1. Executor工作原理 2. ExecutorBackend注册源码解密 3. Executor实例化及具体如何工作 前置知识： 为啥Worker不直接启动Executor，而是启动另一个线程来启动Executor？ 1. Worker是管理当前机器资源的，当当前机器的资源发生改变的时候，会将消息汇报给Master的。 2
第26课： Spark Runtime（Driver、Masster、Worker、Executor）内幕解密
段智华的博客
05-23 1168
第26课：   Spark Runtime（Driver、Masster、Worker、Executor）内幕解密坚持梦想，永不放弃！本节从Spark Runtime全局的角度看Spark具体怎么工作的，从一个作业的视角通过Driver、Masster、Worker、Executor等角色来透视Spark的Runtime。本节内容包括：1、再论Spark集群部署；2、Job提交解密；3、Job的生
Spark技术内幕：Executor分配详解
热门推荐
anzhsoft的技术专栏
10-05 4万+
当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。
Spark之Launch Executor
pre_tender的博客
09-12 883
文章目录概要1. 启动流程之Master端1.1 Executor启动之Master执行startExecutorsOnWorkers()1.2 Executor启动之Master确定Worker上的Core数量1.1 Executor启动之Master分配Worker资源给Executor1.1 Executor启动之Master发送LaunchExecutor消息2. 启动流程之Worker端...
Spark Core【Spark的内核概述、部署模式、通讯架构】
weixin_43923463的博客
08-31 327
Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理，能够帮助我们更好地完成Spark代码设计，并能够帮助我们准确锁定项目运行过程中出现的问题的症结所在。上图为Spark通用运行流程图，体现了基本的Spark应用程序在部署中的基本提交流程。任务提交后，都会先启动Driver程序；随后Driver向集群管理器注册应用程序；...
129、Spark核心编程进阶之yarn-client模式原理
ZJ__ZFH的博客
01-18 1321
yarn-client模式原理.png driver在本机启动 driver跟cluster manager申请资源，yarn-client，ResourceManager RM分配一个container资源，在一个NM上，启动AM（ExecutorLauncher） AM会找RM去申请资源，启动executor进程 RM会分配container给AM，然后AM会拿着containe...
Spark Executor在YARN上的内存分配
hammertank的博客
09-10 2万+
Spark Executor在YARN上的内存分配
重磅！Spark运行内幕 打通Spark系统运行内幕机制流程
段智华的博客
02-14 4344
Spark运行内幕 1、编写的一个WordCount的例子 【例】WordCount代码 1.       val conf = new SparkConf() //创建SparkConf对象 conf.setAppName("Wow,My First Spark App!") //设置应用程序的名称， conf.setMaster("local") // 程序在本地运行，但是以下的
Spark内核原理和Spark on yarn
qq_45749457的博客
07-05 644
spark内核原理理解和spark on yarn部署模式的原理理解
Spark Executor on YARN
Aegeaner的专栏
11-22 981
YARN executor launch context env: CLASSPATH -> {{PWD}}<CPS>{{PWD}}/__spark_conf__<CPS>{{PWD}}/__spark_libs__/*<CPS>$HADOOP_CONF_DIR<CPS>$HADOOP_COMMON_HOME/share/hadoop/common/*<CPS>$HADOOP_COMMON
ExecutorBackend的异常处理
段智华的博客
06-17 2755
5.3.4    ExecutorBackend的异常处理   CoarseGrainedExecutorBackend在运行中出现异常，将调用exitExecutor方法进行处理，处理以后系统退出。exitExecutor这个函数可以由其他子类重载来处理，executor执行的退出方式不同。例如：当executor挂掉了，后台程序可能不会让父进程也挂掉。如果需通知Driver，Driver将清理
Spark YarnCluster 模式源码解析：Executor 向 Driver 注册
"这篇文章是关于Spark在YarnCluster模式下的任务提交源码分析的第二部分，作者通过深入Spark 2.1.1的源码，详细解析Executor端的注册过程。文章适合对Spark源码有兴趣并有一定基础的读者，预计阅读时间30分钟。作者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值