运行Tez时检查到用过多内存而被杀死进程问题

最新推荐文章于 2024-08-26 21:43:46 发布
最新推荐文章于 2024-08-26 21:43:46 发布
阅读量384 收藏
点赞数
分类专栏： BUG 文章标签： yarn hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43494678/article/details/113762702
版权
该博客讨论了在Apache Tez框架中遇到的SessionNotRunning错误，该错误通常是由于Container尝试占用过多内存导致NodeManager杀死进程。解决方法是通过修改yarn-site.xml配置文件，关闭内存检查选项（yarn.nodemanager.vmem-check-enabled设为false），然后在集群中分发更新的配置并重启YARN服务。
摘要由CSDN通过智能技术生成

一 报错

Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown

这种问题是从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了

二 解决方法


修改yarn-site.xml 

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

向集群分发一下文件！！！
修改后重启yarn！！！

配置Tez引擎常见错误
休对故人思故国，且将新火试新茶。诗酒趁年华
10-12 842
1、 解决：配置tez-site.xml的文件中在文件头之前不能有空格 2、 运行Tez时检查到用过多内存而被NodeManager杀死进程问题：这种问题是从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了。有时候重新再启动一次就能用，但还是进行配置一下比较好。 方案一：或者是关掉虚拟内存检查。我们选这个，修改yarn-site.xml <prop...
运行Tez时检查到用过多内存而被NodeManager杀死进程问题
m0_46581341的博客
05-08 322
Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container for appattempt_1546781144082_0005_00...
Hive调优之运行Tez时检查到用过多内存而被NodeManager杀死进程
youhaitao_do的博客
11-29 871
运行Tez时检查到用过多内存而被NodeManager杀死进程问题 其中解决方案三和方案四在实际项目测试中对问题的解决产生了效果 Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container for appattempt_154678114
hive reduce资源数过多导致集群内资源堵塞方案解决
brtghtrd的专栏
09-05 792
我们先看一看map中对reduce个数产生影响的两个参数 hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） hive.exec.reducers.max（每个任务最大的reduce数，默认为999） hive计算reducer数的公式很简单N=min(参数2，总输入数据量/参数1) ,即如果reduce的输...
Hive使用Tez引擎时被NodeManager杀死进程问题
Sixkd的博客
03-06 708
运行Tez时检查到用过多内存而被NodeManager杀死进程问题： Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container ...
Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法
Laurence的技术博客
01-30 6538
Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法 问题 有这样一个问题是很常见的：如果我们的Hive使用默认使用Tez作为执行引擎，当我们使用IDE通过Hive JDBC连接时，会出现在一个很“有趣”的想象：即如果我们不断开这个JDBC连接，则在Yarn上会持续有有一个Tez的AM容器持续存在，只有当端开JDBC连接时，这个容器才会被释放。关于Tez在Yarn的资源布局，可参考这篇...
Hive运行引擎Tez
程序员学习圈
05-01 1327
Tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看下图。 用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。 1.安装包准备 1.1 下...
[Hive]四、Hive On Tez
最新发布
weixin_44428807的博客
08-26 1081
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。
Hive_引擎MR、Tez、Spark
qq_56870570的博客
08-20 5957
1.Hive引擎简介 Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的是MR。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 2. Spark引擎 2.1HiveonSpark配置 1）兼容性说明 注意：...
使用tez引擎出现内存溢出问题
First_____的博客
05-07 2404
tez引擎出现: java.lang.OutOfMemoryError: Java heap space 问题
Tez 跑一段sql报错，莫名其妙
09-18 257
错误图片： 以上内容看的头晕目眩的： 具体错误内容是没有发现，因为这个问题不总是出现，在调度跑的时候就会出现，发现错误后，重跑就没有问题了 ，很是奇怪的，看错误内容，大概是有两个方向，就是内存不够然后进程被container给kill 了 ，不给个错误提示，也是醉人，不吉利。 查看上面日志的cmd： yarn logs -applicationId application_1544766080243_0018 大概能猜的可能就是两个方法避免这个错误了 ： 1） 设置下dri...
Hive On Tez报错汇总
TomAndersen的博客
06-04 1762
前言 Hive：2.3.0 Hadoop：2.7.7 JDK：1.8.0_221 Tez：0.9.1 报错一 报错内容： 在Hive下使用Tez引擎执行MR Job时报错：Container killed on request. Exit code is 143 问题分析： 从Container killed on request这几个关键字就可以猜测，Container在非正常结束时被kill，很有可能就是Container使用的内存超出Container限制导致的。 查看Hive运行日志： Hiv
关于TEZ引擎的部分缺陷
qq_39886984的博客
09-04 1876
很久没更新博客了，今天发现以前的小点还是等帮助到一些朋友的，今天也更新一下，打个卡。 今天说一下TEZ引擎使用时容易犯错的点吧。 首先要知道TEZ是什么，下图为官网上对TEZ的简略图。 官网首页也介绍了Tez的2个主要设计主题是： 1.通过以下方式增强最终用户的能力： 富有表现力的数据流定义API 灵活的输入-处理器-输出运行时模型 不可知数据类型 简化部署 2，执行性能 与Map Reduce相比性能提升 最佳资源管理 在运行时计划重新配置 动态物理数据流决策 TEZ的执行基础还是DAG任务，从原理上讲
启动hive报错 org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application
张俊杰 的博客
10-27 1850
错误 Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1602825966780_0008 failed 2 times due to AM Container for appattempt_1602825966780_0008_000002 exited with
hive优化到底应该怎么优化（面试必备）
weixin_49165958的博客
08-12 831
hive优化
TezSession has already shutdown.Application XXX failed 2 times due to AM Container
weixin_43923463的博客
03-26 2089
错误信息 org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1648284477641_0003 failed 2 times due to AM Container for appattempt_1648284477641_0003_000002 exited with exitCode: 1 报错原因 hadoop集群上从机上运行的Container试
ambai中tez任务占用yarn内存过多
AnameJL的博客
10-24 2188
计算资源调优
Hive on Tez 参数调优
liuwei063608的专栏
06-06 3578
Hive on Tez 调优 一、配置参数调优 1、开启ORC表向量化执行： 向量化查询执行通过一次处理一个 1024 行的块来大幅提高IO效率（必须以ORC格式存储数据） set hive.vectorized.execution.enabled = true; set hive.vectorized.execution.reduce.enabled = true; – 当前环境hive版本暂不支持 2、优化ORC表谓词下推 根据ORC表的特性尽早过滤数据，提高执行效率 ...
Hive集成Tez引擎跑任务出现的问题（Java heap space问题）
涂作权的博客
10-03 4242
问题1：Hive集成Tez引擎跑任务出现异常：TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1597977573448_0002_1_16_000000_3:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space 看yarn 的job平台是success的，所以想到Tez的内存设置问题，因为Tez引擎是纯
CDH集成Tez：从安装到配置及常见问题解决方案
- 针对Hive on Tez的使用，可能会遇到内存问题，这是因为与Spark相比，Tez在资源管理和优化上相对更省心，但具体配置和优化内存策略仍然是必要的。 此外，文档还包含了Hive on Tez常见报错的解决方法，这部分内容...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑色的小德牧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值