ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM的一种解决方案

最新推荐文章于 2024-06-19 17:15:12 发布
最新推荐文章于 2024-06-19 17:15:12 发布
阅读量3.1w 收藏 16
点赞数 9
分类专栏： Spark 生产案例 文章标签： executor.CoarseGrainedExecutor RECEIVED SIGNAL TERM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lingbo229/article/details/89947940
版权

问题现象：spark应用能正常计算得到结果，但是查看executor有很多是dead，如下图

查看executor stderr日志发现有错误日志：ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

除此之外没有其他任何错误信息

 

问题原因: 

由于使能动态资源分配executors数(spark.dynamicAllocation.enabled=true)，因此当executor空闲时间达到 spark.dynamicAllocation.executorIdleTimeout=60s的时间后，executor会被移除掉。查看driver端的info日志可得到答案，如下截图

 

解决方法一：

spark.dynamicAllocation.enabled=false，关闭动态分配executors数

解决方法二：

不用理会这个错误，知道是spark on yarn上正常的机制即可。--- 务必要注意是仅有这个错误日志，而应用正常哈，如果还有其他错误日志就要具体分析了

微步229
关注
  • 9
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
SunnyRivers
07-26 652
大概的意思就是当把spark.dynamicAllocation.enabled参数设置为true的时候Spark自动根据任务的负载情况增加或减少执行者的数量。当executor空闲时间达到 spark.dynamicAllocation.executorIdleTimeout=60s的时间后，executor会被移除掉。首先程序能够正常运行，只是发现某些executor状态为Dead了，说明该executor被移除了，至于为什么会被移除，就得理解spark的动态分区了，这部分内容请参考。
Zeppelin起Spark任务报错：RECEIVED SIGNAL TERM
zhengzaifeidelushang的博客
08-30 2389
Zeppelin起Spark任务报错：RECEIVED SIGNAL TERM 解决方法如下所示： 调大spark任务资源 export SPARK_SUBMIT_OPTIONS=" --driver-memory 4G --executor-memory 4G --driver-cores 2 --executor-cores 2 --num-executors 20 --conf spark.sql.shuffle.partitions=1000 --conf spark.default.
ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
DayOneMore的博客
03-06 2754
问题描述 spark分布式运行的过程中，自己有两个worker，但是运行的时候，只有一台worker正常运行，另一台报了右边的错，如下图 ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM 把正常的机器停掉，只运行有问题的worker（dl21,dl23）,发现能出结果，但是两台机器的stderr仍然是右边的错，所以奇怪的是，结果怎么出来的？ 网上说是因为资源分配不够，但是我分配了executor 10G资源，反而出现下面这种问题 然后有些
Spark : 堆外内存不足引发 CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
BITDDD小栈
04-19 8768
一.引言: spark执行任务期间，偶发程序出现Failed，但是任务正常执行结束，查看error日志无程序内报错，只报了ERROR CoarseGraineExcutorBackend: RECEIVER SIGNAL TERM 。于是开始查找问题。 二.排查 任务之前正常执行未出现问题，最近在Excutor端修改代码，增加了Excutor端内存，大概率是因为内存问题导致，查看error日志无结果后，查看节点日志发现物理内存超出限制，导致内存超出的节点被Container Kill掉，于..
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
萌兔兔MMQ！！
09-14 1198
bash spark-submit --driver-memory 8G --class MF字段 你的jar名字.jar。scala打包jar并在Linux下运行。
spark报错：CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
最新发布
xtsheng123456的博客
06-19 153
CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
Spark 任务调度之启动CoarseGrainedExecutorBackend
pre_tender的博客
09-12 1043
文章目录概要1. CoarseGrainedExecutorBackend简介2. 启动CoarseGrainedExecutorBackend2.1 main()2.1.1 定义变量用以保存命令行参数2.1.2 解析命令行参数2.1.3 调用run()来执行主要逻辑2.2 run()2.2.1 run()获取到的参数2.2.2 从Driver获取properties2.2.3 创建Executo...
Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found
10-15
主要介绍了Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found,本文给大家介绍的非常详细，需要的朋友可以参考下
makefile-executor.el：Emacs助手从makefile运行内容
02-05
`makefile-executor.el` 是一个专门为Emacs设计的扩展，它旨在帮助用户更高效地管理和执行Makefile中的任务。这个扩展是用Emacs Lisp语言编写的，因此它充分利用了Emacs的内在功能和可扩展性，为开发人员提供了一个...
executor-mail：Runnerty模块：Mail executor
02-28
安装： npm i @runnerty/executor-mail 您还可以使用将模块添加到项目中npx runnerty-cli add @runnerty/executor-mail 此命令将模块安装到项目中，在config.json添加示例配置，并创建示例使用计划。 如果已全局安装...
coderun.kak：Kakoune代码运行器
02-14
coderun.kak Kakoune代码运行器关于coderun.kak是coderun.kak的代码运行，可以运行任何语言。内容设置依存关系您要运行的语言（显然）安装使用只需将其放在您的kakrc ： plug "NNBnh/coderun.kak"用法在提示符下运行...
Spark2.0.2源码分析——CoarseGrainedExecutorBackend的启动
myllxy
03-12 386
上文Spark2.0.2源码分析——Executor 的启动：上篇文章介绍了，executor 的启动，文章最后调用 fetchAndRunExecutor 方法，创建 ProcessBuilder ，用于执行命令启动 CoarseGrainedExecutorBackend，执行命令，调用 CoarseGrainedExecutorBackend 的 main 方法，启动 CoarseGrain...
解析Spark Executor内幕,详解CoarseGrainedExecutorBackend
chic_data的博客
08-17 1万+
Spark Executor工作原理 ExecutorBackend注册 Executor实例化 Executor具体是如何工作的？   CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。 Worker为什么要启动另外一个进程？ Worker本身是管理当前机器上的资源，变动
Spark executor显示Dead
L, there!
08-20 2533
Spark日志显示 ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM 原因 Spark开启了资源动态分配，当executors空闲达到设定时间后会被移除。 spark.dynamicAllocation.enabled=true spark.dynamicAllocation.executorIdl...
spark 2.X 疑难问题汇总
weixin_30235225的博客
11-18 486
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致1）java版本不一致报错：java.lang.UnsupportedClassVersionError: com/immomo/recom...
记一次Spark中 Container killed by YARN for exceeding memory limits的解决过程
热门推荐
微步的博客
09-16 2万+
一、问题现象：使用sparksql调用get_json_object函数后，报如下错误：yarn容器被kill，导致任务失败，查看日志：Container killed by YARN for exceeding memory limits 使用spark命令： /opt/software/spark-2.2.0-bin-hadoop2.6/bin/spark-sql \ --mas...
spark 报错 ERROR executor.Executor: Exception in task 0.0 in stage 2.0 (TID 3) java.lang.ArrayIndexOutOfBoundsException: 1怎么解决
05-27
这个错误通常是由于数据格式不正确导致的。在Spark处理数据时，需要确保数据格式正确并且没有缺失值。以下是一些常见的解决方法： 1. 检查你的数据源，确保数据格式正确，没有缺失值，数据类型正确。 2. 如果你使用了RDD，确保你的RDD每个元素的格式正确。例如，如果你的RDD中每个元素应该是一个包含两个值的元组，你需要确保每个元素都是这种格式。 3. 如果你使用了DataFrame或Dataset，确保你的列名和数据类型都正确。你可以使用`printSchema()`方法来检查DataFrame的列名和数据类型。 4. 如果你使用了自定义函数或UDF，确保你的输入和输出格式正确，没有缺失值。 5. 如果你在分布式环境中运行Spark，可能是某个节点出现了问题。你可以检查日志文件以获取更多信息。 希望这些方法能够帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值