解析Spark Executor内幕,详解CoarseGrainedExecutorBackend

最新推荐文章于 2024-06-19 17:15:12 发布
最新推荐文章于 2024-06-19 17:15:12 发布
阅读量1.2w 收藏 17
点赞数 4
分类专栏： spark 文章标签： spark executor CoarseGrainedExecuto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chic_data/article/details/77317730
版权
本文详细探讨了Spark Executor的工作原理，特别是CoarseGrainedExecutorBackend的启动过程和它在Executor实例化、Task执行中的角色。CoarseGrainedExecutorBackend作为Executor运行的进程，负责Executor的注册、与Driver的通信，并通过Executor对象执行Task。启动流程涉及Worker启动ExecutorRunner，通过Linux命令执行CoarseGrainedExecutorBackend的main方法，注册到RpcEnv并触发onStart方法。
摘要由CSDN通过智能技术生成

Spark Executor工作原理

ExecutorBackend注册

Executor实例化

Executor具体是如何工作的？



 

CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。

Worker为什么要启动另外一个进程？

Worker本身是管理当前机器上的资源，变动资源的时候向Master汇报。有很多应用程序，就需要很多Executor。这样程序之间不会一个奔溃导致所有的都奔溃。

1.在CoarseGrainedExecutorBackend启动时，向Driver注册Executor其实质是注册ExecutorBackend实例，和Executor实例之间没有直接的关系！！！

2.CoarseGrainedExecutorBackend是Executor运行所在的进程名称，Executor才是真正在处理Task的对象，Executor内部是通过线程池的方式来完成Task的计算的。

3. CoarseGrainedExecutorBackend和Executor是一一对应的。

4. CoarseGrainedExecutorBackend是一个消息通信体（其实现了ThreadSafeRpcEndpoint）。可以发送信息给Driver，并可以接收

最低0.47元/天 解锁文章
Chic_数据媛
关注
  • 4
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Spark CoarseGrainedExecutorBackend 启动流程
主要分享大数据相关的知识，如Spark、Hudi
08-19 691
我的原创地址：https://dongkelun.com/2020/12/26/sparkCoarseGrainedExecutorBackendStartedProcess/ 前言 最近在进行Spark任务调度的源码学习，最开始对CoarseGrainedExecutorBackend的启动流程不是很清楚，所以带着这个疑问继续深入学习，终于弄清楚了 CoarseGrainedExecutorBackend是如何启动的，并且对Spark任务调度源码的了解更深入了一点。本篇主要是带着这个疑问以standalo
spark：Executor分配详解
08-01
### Spark：Executor分配详解 #### 一、Spark的资源分配机制概述 在深入探讨Executor的分配之前，我们先从整体上理解一下Spark集群的工作原理。Spark集群架构主要包括以下几个核心组件：SparkMaster（简称Master）...
spark报错：CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
最新发布
xtsheng123456的博客
06-19 266
CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
Spark 任务调度之启动CoarseGrainedExecutorBackend
热门推荐
u011564172的博客
04-09 1万+
介绍CoarseGrainedExecutorBackend的作用及启动流程。
spark中CoarseGrainedExecutorBackend 创建
i6015的专栏
03-27 480
spark的worker收到任务时，在执行fetchAndRunExecutor方式中，执行了ExecutorRunner方法，代码如下： new ExecutorRunner(               appId,             execId,             appDesc.copy(command = Worker.maybeUpdateSSLSettings(a...
spark-core_24:注册RegisterApplication，schedule()分配worker的资源,启动CoarseGrainedExecutorBackend源码分析
luyllyl的博客
05-22 352
基于上文（spark-core_23: TaskSchedulerImpl.start()、SparkDeploySchedulerBackend.start()、CoarseGrainedExecutorBackend.start()、AppClient.start()源码分析）11，AppClient初始化ClientEndpoint初始化时调用tryRegisterAllMasters，触发...
Spark技术内幕深入解析Spark内核架构设计与实现原理
12-04
《Spark技术内幕深入解析Spark内核架构设计与实现原理》这本书深入探讨了Apache Spark这一分布式计算框架的核心架构和实现机制，旨在帮助读者全面理解Spark的工作原理，并能够有效地利用其进行大数据处理。...
ApacheSpark内存管理详解
03-01
Spark作为一个基于内存的分布式计算引擎，其...　在执行Spark的应用程序时，Spark集群会启动Driver和Executor两种JVM进程，前者为主控进程，负责创建Spark上下文，提交Spark作业(Job)，并将作业转化为计算任务(Task)
Spark技术内幕 深入解析Spark内核架构设计与实现原理 ,张安站著 ,P202
02-10
《Spark技术内幕：深入解析Spark内核架构设计与实现原理》是张安站撰写的一本专著，书中详细探讨了Apache Spark这一分布式计算框架的核心设计理念和实现机制。Spark以其高效、易用和灵活的特点，成为了大数据处理...
Spark技术内幕 深入解析Spark内核架构设计与实现原理
05-22
《Spark技术内幕：深入解析Spark内核架构设计与实现原理》是一本专注于揭示Spark核心机制的专著。这本书深入浅出地介绍了Spark如何处理大数据，包括其执行引擎、内核架构以及不同执行阶段的调度策略。Spark作为一种...
yarn源码分析之CoarseGrainedExecutorBackend
ITBOY_ITBOX博客
06-10 1430
1. CoarseGrainedExecutorBackend -- main:启动当前类的main方法 -- run -- onStart：点击图片中红线部分进行入，找到onstar -- ref.ask[Boolean](RegisterExecutor） -- r...
spark2.3源码分析之CoarseGrainedExecutorBackend
lzf的博客
01-28 956
概述 CoarseGrainedExecutorBackend向CoarseGrainedSchedulerBackend端发送的消息主要如下： registerExecutor：注册executor。SchedulerBackend在确认execId可以注册后，回复注册成功的消息。 statusUpdate：汇报Executor中运行的task的状态。 CoarseGrainedExec...
spark源码-任务提交流程之-5-CoarseGrainedExecutorBackend
m0_37817767的博客
07-28 469
spark源码
4. spark源码分析（基于yarn cluster模式）-YARN contaienr启动-CoarseGrainedExecutorBackend
LeoHan
10-21 351
通过上一节的分析，我们确定，container中启动的为org.apache.spark.executor.CoarseGrainedExecutorBackend,接下来，我们看下其实现。 def main(args: Array[String]) { var driverUrl: String = null var executorId: String = null var hostname: String = null var cores: Int = 0 va
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM
qq_33915826的博客
12-05 5738
Spark提交任务执行遇到如下错误： 1.命令行错误： 2.yarn 日志错误：（yarn日志不知如何获取的请参考上一篇博客 yarn日志打印） ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM 19/12/05 11:03:53 INFO netty.NettyBlockTransferService...
Spark : 堆外内存不足引发 CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
BITDDD小栈
04-19 9095
一.引言: spark执行任务期间，偶发程序出现Failed，但是任务正常执行结束，查看error日志无程序内报错，只报了ERROR CoarseGraineExcutorBackend: RECEIVER SIGNAL TERM 。于是开始查找问题。 二.排查 任务之前正常执行未出现问题，最近在Excutor端修改代码，增加了Excutor端内存，大概率是因为内存问题导致，查看error日志无结果后，查看节点日志发现物理内存超出限制，导致内存超出的节点被Container Kill掉，于..
spark-core_25:Master通知Worker启动CoarseGrainedExecutorBackend进程及初始化源码分析
luyllyl的博客
05-23 990
承接上文（spark-core_24:AppClient的ClientEndpoint注册RegisterApplication）上文中提到：master调用launchExecutor(){worker.endpoint.send(LaunchExecutor(masterUrl,    exec.application.id, exec.id,exec.application.desc, ex...
Spark Executor
06-03
Spark Executor是Spark执行程序中的一个组件，它是在集群中运行的工作线程，负责执行Spark应用程序中的任务。每个Executor都是独立的进程，通过Spark的Cluster Manager（如YARN或Mesos）启动。Executor在启动时会向Driver注册，Driver会将任务分配给Executor进行执行，Executor执行完任务后将结果返回给Driver。每个Executor都拥有一定数量的内存和CPU资源，可以并行执行多个任务，因此Spark应用程序的性能直接与Executor的数量和资源配置相关。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值