图解Spark中CoarseGrainedExecutorBackend的执行流程

最新推荐文章于 2024-06-19 17:15:12 发布
最新推荐文章于 2024-06-19 17:15:12 发布
阅读量878 收藏 3
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43616627/article/details/104228805
版权

Spark在Yarn-Cluster部署模式下，程序在提交之后会依次创建三个进程：SparkSubmit，ApplicationMaster和CoarseGrainedExecutorBackend。本文主要在对源码进行分析之后以图解的方式展示CoarseGrainedExecutorBackend的执行流程。
在这里插入图片描述
由上图的执行流程可以看出，CoarseGrainedExecutorBackend进程主要有以下几个作用：
（1）向Driver注册Executor进程
（2）在接收到注册成功的message之后，创建Executor对象
（3）接收Driver分配的任务

满岛菜鸟
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ExecutorBackend的异常处理
段智华的博客
06-17 2739
5.3.4    ExecutorBackend的异常处理   CoarseGrainedExecutorBackend在运行中出现异常，将调用exitExecutor方法进行处理，处理以后系统退出。exitExecutor这个函数可以由其他子类重载来处理，executor执行的退出方式不同。例如：当executor挂掉了，后台程序可能不会让父进程也挂掉。如果需通知Driver，Driver将清理
Spark源码——Spark on YARN Executor执行Task的过程
aof
12-06 621
文章目录入口点第一步：CoarseGrainedExecutorBackend main()和run() 我们知道Spark中的Task是由Executor进程中执行的，那么Executor启动之后，具体是如何执行Task的呢？ Executor执行Task的入口为object CoarseGrainedExecutorBackend。CoarseGrainedExecutorBackend是一个管理单个Executor的ExecutorBackend，它是在分配好的Container中其启动Executo
Spark on Yarn模式下执行过程
多头注意力探索Now
04-28 1392
spark on yarn执行过程
spark报错：CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
xtsheng123456的博客
06-19 236
CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
Spark源码之任务提交流程
weixin_46429290的博客
06-04 926
执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程；SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法；YarnClusterApplication 创建 Yarn 客户端，然后向 Yarn 服务器发送执行指令：bin/java ApplicationMaster；Yarn 框架收到指令后会在指定的 NM 中启动 ApplicationMaster；ApplicationMaster 启动 Driver 线程，执
[Spark内核]Yarn集群模式部署流程源码分析
qq_43115606的博客
03-20 1523
在实际工厂环境下使用的绝大多数的集群管理器是Hadoop YARN，因此我们关注的重点是Hadoop YARN模式下的Spark集群部署。 先熟悉一下Yarn集群模式下spark部署流程，然后再跟踪源码进行分析。 任务提交后会和ResourceManager通讯申请启动ApplicationMaster，随后ResourceManager分配container；在合适的NodeManager...
spark源码跟踪(十)container申请与Executor启动
weixin_43172032的博客
02-24 1600
Container申请与Executor启动一，介绍二，YarnAllocator说明2.1，类构造函数三，Container资源申请3.1，常用概念及其类3.3，调用过程3.3.1，allocateResources(): Unit3.3.2，请求资源3.3.3，handleAllocatedContainers3.3.3，ExecutorRunnable四，YarnCoarseGrainedExecutorBackend进程 一，介绍 yarn-cluster模式下，Spark Container资源的
图解Spark核心技术与案例实战
07-23
资源名称：图解Spark 核心技术与案例实战内容简介：《图解Spark：核心技术与案例实战》以Spark 2.0 版本为基础进行编写，全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程...
图解Spark 核心技术与案例实战
08-18
图解Spark核心技术，案例也很清晰。推荐！ 上传本书，只是便于交流学习使用，切勿做商用。如喜欢本书，请支持购买正版！
图解DataX执行流程.pdf
08-17
图解DataX执行流程 DataX是阿里巴巴开源的数据集成工具，旨在解决数据异构、分布式存储和复杂数据处理问题。下面是DataX执行流程的详细解读： 配置加载 DataX的执行流程从加载配置文件开始。配置文件中包含了Job...
图解springMVC执行流程及原理.docx
07-04
SpringMVC 的执行流程是理解其工作原理的关键，下面我们将详细解析这个过程。 首先，SpringMVC 的执行流程始于客户端发起的HTTP请求，这个请求被Web服务器接收到。在传统的Java Web应用中，Web服务器（如Tomcat）会...
Executor源码分析
yangshaojun1992的博客
03-22 984
step1：CoarseGrainedExecutorBackend.scala /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this wor...
Spark : 堆外内存不足引发 CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
BITDDD小栈
04-19 9016
一.引言: spark执行任务期间，偶发程序出现Failed，但是任务正常执行结束，查看error日志无程序内报错，只报了ERROR CoarseGraineExcutorBackend: RECEIVER SIGNAL TERM 。于是开始查找问题。 二.排查 任务之前正常执行未出现问题，最近在Excutor端修改代码，增加了Excutor端内存，大概率是因为内存问题导致，查看error日志无结果后，查看节点日志发现物理内存超出限制，导致内存超出的节点被Container Kill掉，于..
解析Spark Executor内幕,详解CoarseGrainedExecutorBackend
热门推荐
chic_data的博客
08-17 1万+
Spark Executor工作原理 ExecutorBackend注册 Executor实例化 Executor具体是如何工作的？   CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。 Worker为什么要启动另外一个进程？ Worker本身是管理当前机器上的资源，变动
Spark CoarseGrainedExecutorBackend的启动
fengshaungme的博客
02-27 1105
1 简介 CoarseGrainedExecutorBackend是Executor的守护进程，用于Executor的创建和维护。CoarseGrainedExecutorBackend在spark运行期是一个单独的进程，我们可以在运行spark的期间，用jps命令查看一下，就可以看到这个进程。 2 代码流程 下面我们就来看一下CoarseGrainedExecutorBackend的启动。源码版...
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM
qq_33915826的博客
12-05 5697
Spark提交任务执行遇到如下错误： 1.命令行错误： 2.yarn 日志错误：（yarn日志不知如何获取的请参考上一篇博客 yarn日志打印） ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM 19/12/05 11:03:53 INFO netty.NettyBlockTransferService...
Spark2.3.2源码解析： 4.3.Yarn cluster 模式 Executor 注册/启动源码 分析
张伯毅的专栏
02-22 3152
本文章与前两篇文章有衔接性, 想知道为什么从此处代码开始的话,请查阅前两篇文章: Spark2.3.2源码解析： 4.1.Yarn cluster 模式 SparkSubmit源码分析（一） https://blog.csdn.net/zhanglong_4444/article/details/84875818 Spark2.3.2源码解析： 4.2.Yarn clust...
Spark源码解析之——YARN Cluster模式
平平无奇小码农~
11-08 847
YARN Cluster模式 执行脚本提交任务，实际是启动一个SparkSubmit的JVM进程； SparkSubmit类中的main方法反射调用YarnClusterApplication的main方法； YarnClusterApplication创建Yarn客户端，然后向Yarn发送执行指令：bin/java ApplicationMaster； Yarn框架收到指令后会在指定的NM中启动ApplicationMaster； ApplicationMaster启动Driver
spark执行流程图解
最新发布
06-23
Spark 的执行流程通常包括以下几个主要步骤，这是一幅简化版的图解： 1. **提交任务 (Submit)**: 用户通过 Spark Shell 或者编程语言（如 Python, R）提交作业到 Spark 集群。 2. **Job Splitting (Job Split)**: 提交的作业会被拆分成多个小的任务 (Tasks)。 3. **Stage Generation (Stage Generation)**: 每个任务根据数据的分布和计算需求被划分成多个阶段 (Stages)。 4. **Task Assigning (Task Assigning)**: Spark 集群调度器会将这些任务分配给合适的 Worker 节点执行。 5. **Shuffle Operation (Shuffle)**: 在某些操作（如 Join）中，数据需要在节点间移动（shuffle），这一步被称为数据交换 (Data Movement)。 6. **Execution (Task Execution)**: Worker 节点上运行 Executor，每个 Executor 又会进一步拆分任务到多个线程池 (Executor Tasks) 进行计算。 7. **Output Writing (Output Writing)**: 计算完成后，结果会被写回磁盘或者特定的存储系统。 8. **Error Handling (Error Handling)**: 如果在执行过程中遇到错误，Spark 会尝试恢复任务或整个作业。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值