HIVE SQL运行内存溢出OOM（MR/TEZ）：java.lang.OutOfMemoryError: GC overhead limit exceeded

最新推荐文章于 2024-04-30 09:31:22 发布
最新推荐文章于 2024-04-30 09:31:22 发布
阅读量3.9k 收藏 16
点赞数 4
分类专栏： 大数据 文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangkuangood3200/article/details/113614641
版权
用户运行HQL作业遇到OOM错误，原因是HIVE group by查询导致单个map内存超限。解决方法包括关闭map端聚合和调整聚合关闭阈值，以避免内存溢出并优化性能。
摘要由CSDN通过智能技术生成

【现象】

今天用户反馈运行HQL作业失败，报OOM，于是来排查该问题

 

查看tez，intialmap大量失败，重试失败。

进入具体一个task，报错指向OOM，溢出原因是在单个map中产生大量对象导致。

HQL语句查询借据号——逾期金额信息，借据号重复率低，导致map维护key（借据号）-value（逾期金额信息）的内存超过了JVM配置的map进程内存大小限制，从而内存溢出。

 

最低0.47元/天 解锁文章
Moon_魔宽
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
解决Hive查询出现Java.lang.OutMemoryError.java heap space
炼丹笔记
11-15 2148
解决出现Java.lang.OutMemoryError.java heap space和FAILED：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Hadoop运行离线任务，Hive跑MR任务时候，出现Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
wunanliu的采坑日记
03-29 5040
一、首先抛出异常问题 二、引发问题原因： 表连接，左表数据100W，右表数据 300W，进行左右表进行表关联，进行Count进行数据统计，等待运行结果！！！ 分析问题，查看上述运行流程，即可了解上述异常，查看详细日志信息，URL：即可见到首页出现的问题 三、查看页面可见，有如下图片 四、由上图和图一可知，此MR程序为 Map端出错，出错程序问题问 内存不足，初步怀疑为 Ma...
已解决 java.lang.OutOfMemoryError: GC overhead limit exceeded正确解决方法，亲测有效，嘿嘿嘿
最新发布
PythonAigc的博客
04-30 3536
`java.lang.OutOfMemoryError: GC overhead limit exceeded` 异常通常表示 Java 虚拟机（JVM）在花费了过多的时间（默认是超过 98% 的时间）来执行垃圾回收（GC），并且只回收了少量的堆内存空间。如果 JVM 发现垃圾回收器几乎没有回收任何对象，并且它花费了过多的时间，那么它会抛出这个错误。 ### 问题分析 当遇到这个异常时，可能意味着应用中存在以下问题： 1. 堆内存设置不合理，可能太小。 2. 存在内存泄漏，导致对象无法被回收。 3.
解决 Hive 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
想练武，就得下功夫
07-06 784
解决 Hive 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
HIVE 内存溢出常见问题
yisun123456的博客
08-01 3万+
MapReduce作业运行过程中内存溢出错误分类 1、Mapper/Reducer阶段JVM内存溢出（一般都是堆） 1)JVM堆(Heap)内存溢出：堆内存不足时，一般会抛出如下异常： 第一种：“java.lang.OutOfMemoryError:” GC overhead limit exceeded； 第二种：“Error: Java heapspace”异常信息； 第三种：“ru...
java.lang.OutOfMemoryError: GC overhead limit exceeded问题分析及解决
热门推荐
王华春_Jason
01-01 5万+
我们学习再多的理论知识，不如一次生产实践中遇到一次问题带来的收获多。当然这里分享的如有错误还望指出，只有这样才能不断的进步。Java OOM 基础篇：常见的OutOfMemoryError 场景二 : GC overhead limit exceeded 问题详解 | HeapDump性能社区。
hive 限制本地内存使用量
weixin_30838921的博客
02-08 503
hive.mapred.local.memMapper/Reducer 在本地模式的最大内存量，以字节为单位，0为不限制。 hive-default.xml <property> <name>hive.mapred.local.mem</name> <value>0</value> <d...
【线上故障记录】java.lang.OutOfMemoryError: GC overhead limit exceeded和Java heap space
何哥的博客
01-03 6004
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded 超出GC开销限制原因：详细消息“超出 GC 开销限制”表示垃圾收集器一直在运行，Java 程序进展非常缓慢。在垃圾收集之后，如果Java进程花费大约 98% 以上的时间进行垃圾收集，并且如果它正在恢复堆的不到 2%，并且到目前为止一直在进行最后5次（编译时常量）连续垃圾收集，则Java进程将停止。将抛出 lang.OutOfMemoryError。
解决启动Azkaban报错问题：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap
10-15
在Java编程中，`NoSuchMethodError` 是一个常见的运行时异常，它表示在类加载时找到了该类，但在该类中却找不到特定方法的定义。这个问题通常发生在不同版本的库之间存在不兼容的情况，即在编译时使用的库版本包含了...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
Hive Beeline连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default
01-20
在使用Hive的Beeline客户端进行连接时，可能会遇到错误提示"Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default"。这个错误通常意味着Beeline无法通过JDBC URL成功建立到Hive ...
Call From hdp-1/192.168.234.129 to hdp-1:8020 failed on connection exception: java.net.ConnectExcept
01-20
报错：Exception in thread “main” java.net.ConnectException: Call From hdp-1/192.168.234.129 to hdp-1:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more ...
启动tomcat时 错误: 代理抛出异常 : java.rmi.server.ExportException: Port already in use: 1099的解决办法
01-10
　错误: 代理抛出异常错误: java.rmi.server.ExportException: Port already in use: 1099; nested exception is: java.net.BindException: Address already in use: JVM_Bind 　这里说的是1099端口被其它进程占用...
执行Hive出现Error running child : java.lang.OutOfMemoryError: Java heap space错误
weixin_33724046的博客
05-12 2150
具体错误日志如下： 2018-05-11 15:16:49,429 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.&lt;init&gt;(HeapByteB...
Hive---java.lang.RuntimeException: java.lang.OutOfMemoryError
徐小慧_Blog的博客
08-11 840
执行hql报错如下： Status: Failed Vertex failed, vertexName=Map 5, vertexId=vertex_1443634917922_0008_1_05, diagnostics=[Task failed, taskId=task_1443634917922_0008_1_05_000006, diagnostics=[TaskAttempt 0 failed, info=[Error: Failure while running task:java.lang.R
java.lang.OutOfMemoryError: GC overhead limit exceeded
action825的博客
07-28 611
错误信息 执行Sql： create table xxx.gqj_test_1 as select applseq, max(case when rule_id='2005302' then result end) as 6_month, max(case when rule_id='2005304' then result end) as 12_month, max(case when rule_id='2005306' then result end) as 18_month, m
使用Hive SQL插入动态分区的Parquet表OOM异常分析
frank_jyp的博客
08-17 3677
转载自微信公众号Hadoop实操：https://cloud.tencent.com/developer/article/1079007 使用Hive SQL插入动态分区的Parquet表OOM异常分析 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右...
TEZ深入理解
Sin_Geek成长の迹
09-20 8353
简介 Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统上是一个大量数据批处理平台。但是，有很多用例需要近乎实时的查询处理性能。还有一些工作则不太适合MapReduce，例如机器学习。Tez的目的就是帮助Hadoop...
hive执行语句oom
zgt99的专栏
06-13 2610
新安装HIVE执行语句时可能会出现的错误 GC overhead limit exceeded和Java heap space java参数 set mapreduce.map.java.opts=-Xmx2048m -XX:-UseGCOverheadLimit set mapreduce.reduce.java.opts=-Xmx4096m; set mapreduce.map.me
Exception in thread "HiveServer2-Handler-Pool: Thread-449" java.lang.OutOfMemoryError: GC overhead limit exceeded
06-08
这个错误通常表示JVM垃圾回收器无法回收足够的内存，导致程序出现内存溢出。这可能是由于程序使用了太多内存，或者JVM配置不正确。您可以尝试以下步骤来解决这个问题： 1. 增加JVM的内存限制，可以通过-Xmx和-Xms...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值