使用tez引擎出现内存溢出问题

First_____

已于 2022-05-07 18:52:28 修改

阅读量2.4k

点赞数 1

分类专栏： Hive数据仓库文章标签： tez

于 2022-05-07 18:52:16 首次发布

本文链接：https://blog.csdn.net/first_____/article/details/124637184

版权

当我们使用hive引擎的时候,有时候会出现yarn调度资源内存不足或者java堆内存溢出的问题:

[Error: Error while running task ( failure ) : java.lang.OutOfMemoryError: Java heap space
[2020-12-25 15:17:34,519] {
   bash_operator.py:127} INFO -  at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)

第一步: 打开hive-env.sh文件,修改hadoop 堆内存大小:

export HADOOP_HEAPSIZE=3072

第二步: 打开hadoop 的yarn-site.xml文件,增加如下内容::

<property>

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

First_____

关注关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

HIVE SQL运行内存溢出OOM（MR/TEZ）：java.lang.OutOfMemoryError: GC overhead limit exceeded

wangkuangood3200的专栏

02-03

4169

【现象】今天用户反馈运行HQL作业失败，报OOM，于是来排查该问题查看tez，intialmap大量失败，重试失败。进入具体一个task，报错指向OOM，溢出原因是在单个map中产生大量对象导致。 HQL语句查询借据号——逾期金额信息，借据号重复率低，导致map维护key（借据号）-value（逾期金额信息）的内存超过了JVM配置的map进程内存大小限制，从而内存溢出。【原因】对于group by语句，在MR中，当数据量很大，且没有map聚合时，所有的记录将会被..

hive on tez 常见报错问题收集

01-26

1）Failing because I am unlikely to write too. 2）Caused by: java.lang.OutOfMemoryError: Java heap space 3）Current usage: 1.0 GB of 1 GB physical memory used;2.7 GB of 2.1 GB virtual memory used. Killing container 4）java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: null 5）hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的

2 条评论您还未登录，请先登录后发表或查看评论

Hive Container 内存溢出问题解决

感谢你的关注~~~~ღ( ´･ᴗ･` )

06-01

515

如果设置10G内存内存溢出则可以执行set hive.tez.container.size=12288，此参数的单位是MB；通过set hive.tez.container.size可以查看默认的container内存；由此可以看出单个 container设置的是10GB，已经超出10GB；

基础-多线程实战分析

songwb1980的专栏

07-16

213

一日凌晨，手机疯狂报警，短信以摧枯拉朽之势瞬间以百条的速度到达，我在睡梦中被惊醒，看到短信的部分内容如下： Caused by: java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thre...

Hive调优之运行Tez时检查到用过多内存而被NodeManager杀死进程

youhaitao_do的博客

11-29

871

运行Tez时检查到用过多内存而被NodeManager杀死进程问题其中解决方案三和方案四在实际项目测试中对问题的解决产生了效果 Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container for appattempt_154678114

Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法

Laurence的技术博客

01-30

6534

Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法问题有这样一个问题是很常见的：如果我们的Hive使用默认使用Tez作为执行引擎，当我们使用IDE通过Hive JDBC连接时，会出现在一个很“有趣”的想象：即如果我们不断开这个JDBC连接，则在Yarn上会持续有有一个Tez的AM容器持续存在，只有当端开JDBC连接时，这个容器才会被释放。关于Tez在Yarn的资源布局，可参考这篇...

Hive container 内存溢出的解决方法

houzhizhen的专栏

12-18

8041

调大 container 内存 container 内存溢出，可以使用set hive.tez.container.size=8192; 或者 set hive.tez.container.size=16384; 调大container 的内存。增大 reduce 的数量,减少每个 reduce 处理的数据量执行 set hive.exec.reducers.max; 可以查看当前系统最大 reduce 的数量，如果任务的 reduce task 数量已经达到最大值。设置 set hive.exec.

cdh继承tez引擎 cdh添加tez引擎 hive引擎增加

07-07

提及Tez比Spark更省心，这意味着在处理大规模数据时，Tez可能具有更好的资源管理，不容易出现内存溢出等Spark常见的问题。 10. **维护与监控**：集成Tez后，定期对Tez的运行状态进行监控，如任务执行时间、资源...

hive 内存溢出优化

最新发布

06-10

在 Hive 中遇到内存溢出问题时，可以通过以下几种方式进行优化： 1. 增加内存：可以通过增加集群的内存或者为 Hive 设置更多的内存来减少内存溢出的概率。 2. 减少数据量：可以通过使用分区、过滤数据等方式减少 ...

运行Tez时检查到用过多内存而被杀死进程问题

qq_43494678的博客

02-08

384

一报错 Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown 这种问题是从机上运行的Container试图使用过多的内存，而被NodeManager kill掉了二解决方法修改yarn-site.xml <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>

关于TEZ引擎的部分缺陷

qq_39886984的博客

09-04

1876

很久没更新博客了，今天发现以前的小点还是等帮助到一些朋友的，今天也更新一下，打个卡。今天说一下TEZ引擎使用时容易犯错的点吧。首先要知道TEZ是什么，下图为官网上对TEZ的简略图。官网首页也介绍了Tez的2个主要设计主题是： 1.通过以下方式增强最终用户的能力：富有表现力的数据流定义API 灵活的输入-处理器-输出运行时模型不可知数据类型简化部署 2，执行性能与Map Reduce相比性能提升最佳资源管理在运行时计划重新配置动态物理数据流决策 TEZ的执行基础还是DAG任务，从原理上讲

hive tez调优（3）

weixin_34112181的博客

06-19

2501

根据。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。内存调优一、AM、Container大小设置1、tez.am.resource.memory.mb　　#设置 tez AM容器内存　　默认值：1024　　　　配置文件：tez...

Hive集成Tez引擎跑任务出现的问题（Java heap space问题）

涂作权的博客

10-03

4236

问题1：Hive集成Tez引擎跑任务出现异常：TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1597977573448_0002_1_16_000000_3:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space 看yarn 的job平台是success的，所以想到Tez的内存设置问题，因为Tez引擎是纯

hive出现内存溢出_hive 常见错误和解决

weixin_32302013的博客

01-27

1425

1. 如果更换Tez引擎后，执行任务卡住，可以尝试调节容量调度器的资源调度策略将 $HADOOP_HOME/etc/hadoop/capacity-scheduler.xml 文件中的yarn.scheduler.capacity.maximum-am-resource-percent0.1Maximum percent of resources in the cluster whic...

Hive在内存不足以存储所有数据时,会使用外存,而Impala也是如此：错

黄佳俊的博客

01-11

1162

内存使用： Hive: 在执行过程中如果内存放不下所有数据，则会使用外存，以保证Query能顺序执行完。每一轮MapReduce结束，中间结果也会写入HDFS中，同样由于MapReduce执行架构的特性，shuffle过程也会有写本地磁盘的操作。 Impala: 在遇到内存放不下数据时，当前版本0.1是直接返回错误，而不会利用外存，以后版本应该会进行改进。这使用得Impala目前处理Query会受到一定的限制，最好还是与Hive配合使用。Impala在多个阶段之间利用网络传输数据，在执行过程不会有写磁盘的操

Hive On Tez，Tez 和 MapReduce engine 参数优化

yang灬仔

08-05

3409

Hive On Tez Hive 默认支持 MapReduce，Tez，Spark（在 SparkSQL 中支持）等执行引擎。因此给 Hive 换上 Tez 非常简单，只需给 hive-site.xml 中设置： <property> <name>hive.execution.engine</name> <value>tez</value> </property> 设置hive.execution.engin

java.lang.OutOfMemoryError: Java heap space