spark on yarn:Container is running beyond physical memory limits

最新推荐文章于 2021-09-04 18:43:42 发布
最新推荐文章于 2021-09-04 18:43:42 发布
阅读量2.9k 收藏
点赞数 1
分类专栏： spark 文章标签： spark yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SummerMangoZz/article/details/71642322
版权
在配置Hadoop和Spark的虚拟环境中，启动YARN服务后尝试运行Spark on YARN示例，遇到'Container is running beyond physical memory limits'错误。通过修改`yarn-site.xml`配置，增加内存映射比例，然后重启服务，问题得到解决，任务成功执行。
摘要由CSDN通过智能技术生成

在虚拟机中安装好hadoop和spark后。执行start-all.sh（hadoop命令）来开启hdfs和yarn服务。服务开启成功后，为了测试spark on yarn的可执行性，输入命令：

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.11-2.1.1.jar 100

执行后我们发现该程序报错：

最低0.47元/天 解锁文章
SummerMangoZz
关注
专栏目录
spark on yarn exitCode: -104
angela_2016的博客
05-20 1796
执行spark任务时，每次启动后，少则一个小时，多则两三天左右，任务就会死掉，yarn日志报错见下图： AM Container for appattempt_1554609747730_49028_000001 exited with exitCode: -104 For more detailed output, check application tra...
spark实战问题（一）：is running beyond physical memory limits. Current usage: xx GB of xx GB physical memory
在前进的路上
01-04 3236
一：背景 Spark 任务出现了container内存负载出现OOM 二：问题 Application application_xxx_xxxx failed 2 times due to AM Container for appattempt_xxxx_xxxx_xxxx exited with exitCode: -104 Failing this attempt.Diagnostics: Container [pid=78835,containerID=container_...
spark运行任务报错：Container [...] is running beyond physical memory limits. Current usage: 3.0 GB of 3 GB ...
aitiejue5146的博客
07-10 1169
spark版本：1.6.0 scala版本：2.10 报错日志： Application application_1562341921664_2123 failed 2 times due to AM Container for appattempt_1562341921664_2123_000002 exited with exitCode: -104 For more d...
yarn Container beyond physical/virtual memory limits
Ponnim_CS_DN的专栏
03-21 1053
Container beyond physical memory limits : mapreduce.map/reduce.memory.mb 1024(default)   每个Map/Reduce Task需要的内存量 Container beyond physical/virtual memory limits : yarn.nodemanager.vmem-pme
Container is running beyond physical memory limits
鱼归不知处
06-19 2745
1、Hive执行SQL语句，出现如下错误： Container is running beyond physical memory limits. Current usage: 4.3 GB of 4 GB physical memory used; 8.9 GB of 8.4 GB virtual memory used. Killing container. 2、错误分析： 4....
【Hive】报错Container is running beyond physical memory limits.4.0 GB of 4 GB physical memory used
一往无前
09-24 1448
set mapreduce.map.memory.mb=8192; set mapreduce.map.java.opts=-Xmx8192m; set mapreduce.reduce.memory.mb=4000; set mapreduce.reduce.java.opts=-Xmx4000m; Container [pid=105939,containerID=container_e03_1599034722009_11568264_01_000200] is running beyond..
hive任务优化-Current usage: 2.0 GB of 2 GB physical memory used; 4.0 GB of 16.2 GB virtual memory used.
阿尼古
03-26 3959
目录 错误背景 错误信息定位 client端日志 APPlication日志 map和reduce单个错误日志 错误分析 解决方案 1. 取消虚拟内存的检查（不建议）： 2.增大mapreduce.map.memory.mb 或者 mapreduce.reduce.memory.mb（建议） 3.适当增大 yarn.nodemanager.vmem-pmem-ratio的大小...
spark yarn-client 提交模式中出现虚拟内存不足的错误
clearlove_black的博客
01-18 668
错误日志是 Diagnostics: Container [pid=6052,containerID=container_1579323722137_0001_02_000001] is running beyond virtual memory limits. Current usage: 42.3 MB of 1 GB physical memory used; 2.2 GB...
spark sql运行出错（Container killed on request. Exit code is 143）
热门推荐
yijichangkong的专栏
05-06 5万+
错误描述：SQL三张表做join运行出错；用hive执行报错如下： Diagnostic Messages for this Task: Container [pid=27756,containerID=container_1460459369308_5864_01_000570] is running beyond physical memory limits. Current usag
Container is running beyond physical memory limits.
花果山
07-03 817
假设app没有内存泄露且heap usage正常，这个问题一般是由于memory + memoryOverhead超过yarn的监控值后Yarn的保护措施，其解决方法：1）增加spark.yarn.executor.memoryOverhead的值，这个最小默认值是max(384M, executor mem * 0.07); 或增加spark.yarn.driver.memoryOverhead...
记一次MR报错：Container is running beyond physical memory limits...
楠先生
09-04 1240
小菜鸟的个人博客已经正式上线且对外开放啦… 博客访问地址：小菜鸟的大梦想 欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将 首发 公众号 背景 较早之前项目组一次新需求上线时，需要初始化Hive中某张表的全量历史数据。该表由于历史原因导致ETL处理的时候，2015年前的数据产出文件（定长压缩文件）时为同一个ETL日期，也就是这张表的分区日期，由于涵盖多年的数据，并且数据文件较大又分为多个日期，数据存放Hive时需要按照其真实业务日期进行重分区。线上集群同时有部分Spark任务存在，所以决定采.
【工作笔记】- Hadoop Yarn异常“Container is running beyond physical memory limit” 解决
马路上开飞机
09-01 726
Yarn容器运行一段时间以后出现“Container is running beyond physical memory limit”的报错，容器被kill掉，任务失败。 出现此错误时， 修改yarn-site.xml文件，添加两个配置： <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> &
运行hadoop的时候提示物理内存或虚拟内存溢出的解决方案running beyond physical memory或者beyond vitual memory limits
weixin_45866907的博客
06-01 244
运行hadoop的时候提示物理内存或虚拟内存溢出的解决方案running beyond physical memory或者beyond vitual memory limits
Diagnostics: Container is running beyond virtual memory limits 运行Tez时检查到用过多内存而被NodeManager杀死进程问题：
sghuu的博客
11-04 521
1）运行Tez时检查到用过多内存而被NodeManager杀死进程问题： Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container...
hive报错：running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physica终极解决方式
涤生大数据
04-16 1万+
1.案例描述： hive有个定时任务平时正常，没有啥问题，正常一般大概执行1个小时左右，但是今天突然报错了，报错代码：：running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 3.9 GB of 4.2 GB virtual memory used. K...
FLINK安装及提交任务
weixin_38610500的博客
01-22 1216
flink安装及提交任务flink安装后续。。。 flink安装 1.安装前确认有java环境,我这里有三台机器,分别是hadoop1,hadoop2,hadoop3； 2.将tar包上传到服务器的一个节点上：flink-1.10.0-bin-scala_2.11.tgz，我这里是放在/opt/soft下； 3.解压：tar -zxvf flink-1.10.0-bin-scala_2.11.tgz,解压后的文件夹：flink-1.10.0 4.修改flink-1.10.0/conf
flink任务某个solt被移除掉的记录
weixin_43639977的博客
05-20 650
Flink任务挂掉的记录 异常描述： org.apache.flink.util.FlinkException: ==The assigned slot container_e01_1589821551483_0145_01_000012_2 was removed==. 再瞅瞅jobmaster的日志： at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlot(SlotManager.java:893) a
Spark On YARN：动态资源分配策略实践
要在Spark on YARN中启用动态资源分配，除了在Spark应用的配置中设置相应的参数（如`spark.dynamicAllocation.enabled=true`）外，还需要对YARN集群进行一些配置。例如，要支持Spark的ShuffleService，需要在YARN的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值