spark sql运行出错（Container killed on request. Exit code is 143）

最新推荐文章于 2024-04-10 22:30:00 发布
最新推荐文章于 2024-04-10 22:30:00 发布
阅读量5.6w 收藏 29
点赞数 2
分类专栏： spark错误记录 Spark 文章标签： spark hive sql 143
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yijichangkong/article/details/51332432
版权
当执行SQL中的三表join操作时，遇到内存限制问题导致任务失败。错误信息显示，无论是使用Hive还是Spark，都遇到了Container超出物理内存限制并以143退出代码被杀。分析指出，这可能是reduce阶段内存不足引起。解决方案涉及检查和调整Yarn容器、Mapper和Reducer的内存配置，确保它们不超过物理和虚拟内存限制。
摘要由CSDN通过智能技术生成

错误描述：

SQL三张表做join运行出错；

用hive执行报错如下：

Diagnostic Messages for this Task:
Container [pid=27756,containerID=container_1460459369308_5864_01_000570] is running beyond physical memory limits. Current usage: 4.2 GB of 4 GB physical memory used; 5.0 GB of 16.8 GB virtual memory used. Killing container.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

用spark运行报错如下：

Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 369 in stage 1353.0 failed 4 times, most recent failure: Lost task 369.3 in stage 1353.0 (TID 212351, cnsz033139.app.paic.com.cn): ExecutorLostFailure (executor 689 exited caused by one of the running tasks) Reason: Container marked as failed: container_1460459369308_2154_01_000906 on host: cnsz033139.app.paic.com.cn. Exit status: 143. Diagnostics: Container

最低0.47元/天 解锁文章
Container killed on request. Exit code is 143
SunnyRivers
02-29 961
大部分时候都是直接加大内存来解决，不要把太多精力放在这方面的调优。
Spark ： ExitCodeException exitCode=15，exitCode=13
九师兄
07-04 5360
1. ExitCodeException exitCode=13 1.1 背景 做spark程序的时候，在代码中写的是 println(masterUrl) val spark = SparkSession.builder .appName("JavaStructuredKafka") .master(masterUrl) .enableHiveSupport .getOrCreate...
Spark大数据常见错误及解决方案-HDFS-费元星
最新发布
元星的博客，一起努力呀
04-10 2060
另外鼓励大家对每个知识点都先去源码里搜一下。有几个点非常重要：1.源码中的错误提示是非常系统的，因为什么原因报了什么错，而网站搜索的结果，非常片面，而且人人云亦云。-- 费元星。
spark sql insert 报错 Container killed on request. Exit code is 143
onway_goahead的博客
03-05 1001
Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 198 in stage 4.0 failed 4 times, most recent failure: Lost task 198.3 in stage 4.0 (TID 1722, hadoop-slave-17, execu...
spark在yarn集群上执行client模式代码 Container killed on request. Exit code is 143 Container exited with a no
weixin_45401713的博客
03-15 1046
spark在yarn集群上执行client模式代码 启动历史服务 bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode client \ ./examples/jars/spark-examples_2.12-3.0.0.jar \ 10 出现问题： [2021-03-15 20:36:42.553]Container killed on request. Exit code
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1069
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
BUG(mapduce):Container killed on request. Exit code is 143
小M呀~之大数据系列
11-10 1687
问题：在mapreduce过程中出现以下问题，使得最后出不来结果 Container killed on request. Exit code is 143 [2021-11-10 10:46:48.478]Container [pid=4040,containerID=container_1636510983211_0003_01_000003] is running 229304832B beyond the 'VIRTUAL' memory limit. Current usage: 57.3 M
【问题记录】hadoop3.1报错Container killed on request. Exit code is 143，因为内存导致
qq_65258287的博客
11-30 627
【代码】【问题记录】hadoop3.1报错Container killed on request. Exit code is 143，因为内存导致。
Hive SQL任务执行报错 (Container killed on request. Exit code is 143)
小陈陈陈陈.的博客
04-24 1150
Container killed on request. Exit code is 143，Container exited with a non-zero exit code 143
tez的 Container killed on request. Exit code is 143问题
First_____的博客
12-01 1111
今天遇到了一个tez的错误记录一下: 在导入数据的时候出现了下面错误, 起初我以为是内存问题, 但一想,插入那么多数据都没问题,怎么插入几条数据就出现问题了呢? Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 Failing this attempt. Failing the application 解决分析: 我查了查原表的数据和分区, 才发现原表的这个分区根本就没
Hadoop Container killed on request. Exit code is 143Container exited with
hongxiao2016的博客
03-30 6303
Hadoop Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143. 可能是hadoop内存不足，重新调整内存就可以了 vmware 修改主机内存 先关闭主机 编辑虚拟机设置 修改完成后确认退出重启 ...
Container killed on request. Exit code is 143 <property> <name>yarn.nodemanager.resource.
热门推荐
danielchan2518的专栏
01-06 1万+
mapreduce运行中发现有任务被kill掉，多半是因为内存分配不足造成，所有需要修改内存配置。 首先在yarn-site.xml中添加下面内容： &lt;property&gt; &lt;name&gt;yarn.nodemanager.resource.memory-mb&lt;/name&gt; &lt;value&gt;22528&lt;/v...
[2020-09-29 19:16:39.658]Container killed on request. Exit code is 143 [2020-09-29 19:16:39.674]Cont
二锅头的博客
09-29 548
跑MR时出现 [2020-09-29 19:16:39.658]Container killed on request. Exit code is 143 [2020-09-29 19:16:39.674]Container exited with a non-zero exit code 143. 主要是由于一下虚拟内存受到限制引起的 is running 343398912B beyond the 'VIRTUAL' memory limit. Current usage: 392.4 MB of .
Container exited with a non-zero exit code 143
qq_43668173的博客
03-28 7048
Container killed on request. Exit code is 143 [2021-03-28 09:34:25.568]Container exited with a non-zero exit code 143 1.不靠谱的方式：多运行几遍代码。巧了就不会遇到这个问题了 2.靠谱的方式： 在yarn-site.xml中添加如下配置信息，然后重启yarn <property> <description>Whether virtual memory limits
【问题记录】hadoop3.1报错Container killed on request. Exit code is 143
weixin_48838762的博客
01-10 2158
1.问题描述,hadoop运行jar包报错143 [2022-01-10 22:41:15.848]Container killed on request. Exit code is 143 [2022-01-10 22:41:15.867]Container exited with a non-zero exit code 143. 2.解决 [fuhong@linux201 hadoop-3.1.3]$ cd $HADOOP_HOME/etc/hadoop [fuhong@linux201 had
Container killed on request. Exit code is 143_Permission denied: user=dr.who, a---Hadoop3.x启动报错记录001
添柴程序猿的专栏
02-24 506
Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 这个错误。Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 这个错误。这里的关键就是配置这个静态用户为自己的用户,这个配置好了,就可以删除了.在hdfs网页端删除某个文件,文件夹的时候,报错,说当前使用66.9MB。
distcp报错Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143.
06-09
这个错误通常是由于资源不足或者任务超时引起的。可以尝试以下几种方法来解决这个问题： 1. 增加任务的内存和CPU资源，可以通过调整yarn-site.xml中的yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb参数来实现。 2. 增加任务的超时时间，可以通过调整mapreduce.task.timeout参数来实现。 3. 检查源和目标文件系统的可用空间是否足够，如果空间不足可能会导致任务失败。 4. 检查网络连接是否正常，如果网络连接不稳定可能会导致数据传输失败。 希望这些方法能够帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值