【jvm】记一次hive堆heap内存溢出的排查

已于 2024-09-12 16:04:48 修改
阅读量453 收藏 7
点赞数 2
文章标签： jvm hive
于 2024-09-12 14:48:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lisacumt/article/details/142173449
版权

先看下java的内存模型

监控jvm工具：visualVM 摘录一下内容：

由c++开发的jvm，它巧妙地设计了java的设计理念——即万物皆对象。并设计了这些对象应该如何存储，如何调用，并通过不断迭代设计让对象的存储和回收，执行更加合理，下图是jvm的发展历程。

也许开发者未必精通jvm，但对jvm的深入了解可以对开发，排错，调优有非常大的帮助。这里给出最基本的 jvm 入门知识，也是你监控 jvm并期待通过分析jvm来排错调优所必要的基础知识：
在这里插入图片描述

  • 堆（Heap）：
    堆是用于存储对象实例的内存区域。在堆中分配的对象包括通过 new 关键字创建的对象以及数组。
    所有线程共享堆，但每个对象都有一个标识它的引用。
  • 栈（Stack）：
    栈用于存储方法的局部变量、操作数栈、方法返回地址等。每个线程都有自己的栈。
    每个方法在执行时都会创建一个栈帧，栈帧包含了该方法的局部变量表、操作数栈、动态链接、方法返回地址等信息。
  • 程序计数器（Program Counter）：
    程序计数器是每个线程私有的，用于存储当前线程执行的字节码指令的地址或索引。
    在多线程环境下，程序计数器用于记录每个线程执行的位置，确保线程切换后能够恢复到正确的执行位置。
  • 本地方法栈（Native Method Stack）：
    本地方法栈类似于栈，但用于执行本地方法（非 Java 语言编写的方法）。
    本地方法栈的实现和栈类似，但用于执行本地代码。
  • 元空间（Metaspace）：
    元空间是 JDK 8+ 版本中引入的（替代原来的方法区），使用本机内存存储类的元信息，包括类的结构信息、静态变量
    、方法信息等。

查看hive日志

日志：hive-server2.out，注意不是：hiveserver2.log

2024-09-10 20:21:35,765 HiveServer2-Background-Pool: Thread-13637 ERROR Unable to create Appender of type HushableMutableRandomAccess
java.lang.OutOfMemoryError: Java heap space
Dumping heap to /var/de_log/hive/java_pid36821.hprof ...
Heap dump file created [18346979563 bytes in 27.401 secs]
Terminating due to java.lang.OutOfMemoryError: Java heap space

可以看到发生了OOM的问题OutOfMemoryError，堆heap内存溢出了。

获取hive内存溢出时候的内存快照hprof

hiveserver2日志文件夹内执行：grep OutOfMemory ./hiveserver2-gc.log*
得到如下内容：

./hiveserver2-gc.log.0:CommandLine flags: -XX:+ExitOnOutOfMemoryError -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/xxx/hive/

参数具体意义参考：-XX:+HeapDumpOnOutOfMemoryError

根据/xxx/hive/和发生hiveserver2 terminate的时间，找到jvm导出的hprof文件，hprof文件大约有17GB。此文件就是发生OutOfMemoryError时刻的内存快照，很大也压缩不了。

ls -lh
-rw-------  1 hive hadoop  17G Sep  9 23:06 java_pid24619.hprof

使用工具分析hprof文件

工具一VisualVM：

此工具是jdk自带的，一般在JAVA_HOME/bin/jvisualvm.exe在win下直接运行就可以了。

载入hprof文件在在这里插入图片描述就会的都如下信息：

基本信息:
    生成的日期: Tue Sep 10 20:30:14 CST 2024
    文件: D:\java_pid123345.hprof\java_pid12345.hprof
    文件大小: 17,497 MB

    字节总数: 18,231,897,382
    类总数: 23,546
    实例总数: 11,253,335
    类加载器: 1,354
    垃圾回收根节点: 11,647
    等待结束的暂挂对象数: 0

    在出现 OutOfMemoryError 异常错误时进行了堆转储
    导致 OutOfMemoryError 异常错误的线程: HiveServer2-Background-Pool: Thread-12410

点击 HiveServer2-Background-Pool: Thread-12410超链接就是展示实际进程的调用栈：

 
"HiveServer2-Background-Pool: Thread-12410" prio=5 tid=12410 RUNNABLE
    at java.lang.OutOfMemoryError.<init>(OutOfMemoryError.java:48)
    at org.apache.thrift.protocol.TBinaryProtocol.readStringBody(TBinaryProtocol.java:379)
    at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:230)
    at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:77)
    at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_get_database(ThriftHiveMetastore.java:770)
       Local Variable: org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_database_result#166
    at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.get_database(ThriftHiveMetastore.java:757)
    at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getDatabase(HiveMetaStoreClient.java:1523)

从HiveMetaStoreClient.getDatabase可以发现是hms读取database信息造成的。

工具二mat:

内存溢出怎么排查？分析思路大概都是这样的吧

官网地址：
mat工具地址
注意下载时候选择版本，mat和jdk有一定搭配关系。

（1）可以在overview 在这里插入图片描述下，点击Leak Suspects即可执行可疑分析。

在Problem Suspect项目下是分析的可疑项，

The thread org.apache.hive.service.server.ThreadWithGarbageCleanup @ 0x2d79ff8d8 HiveServer2-Background-Pool: Thread-13828 keeps local variables with total size 1,936,085,120 (10.77%) bytes.
The memory is accumulated in one instance of "byte[]" loaded by "<system class loader>".
The stacktrace of this Thread is available. See stacktrace.

Keywords
byte[]

Details »

可以看到是org.apache.hive.service.server.ThreadWithGarbageCleanup @ 0x2d79ff8d8 这个进程出现问题了。

（2）查看Histogram在这里插入图片描述列表项目：

Class Name| Objects |   Shallow Heap |     Retained Heap
---------------------------------------------------------
byte[]    | 130,780 | 17,442,187,032 | >= 17,442,187,032
---------------------------------------------------------

可以根据Retained Heap或者Shallow Heap看到排名第一的是byte[]大约有，17,442,187,032/1024/1024/1024=16.24GB。 17442187032/18346979563=95%，byte[]占到线程内存的比例很高。

（3）查看thread overview 在这里插入图片描述根据thread名称找到以0x2d79ff8d8结尾的thread。
先看最上边的内容，这和java日志调用栈展示的顺序是一致的，最后执行的在最上展示，可以看到java.io.BufferedInputStream.read读取进本地1,935,998,992/1024/1024/1024=1.8GB内容。

Object / Stack Frame                                                                                                                                                                                                                                                                                          |Name|  Shallow Heap | Retained Heap |Context Class Loader|Is Daemon
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
at java.io.BufferedInputStream.read([BII)I (BufferedInputStream.java:336)                                                                                                                                                                                                                                     |    |               |               |                    |
|- <local> java.io.BufferedInputStream @ 0x2c3ebe9b0 Busy Monitor                                                                                                                                                                                                                                             |    |            40 |            40 |                    |
|- <local> byte[1935998976] @ 0x697000000  ...................................................................................................................................................................................................................................................................|    | 1,935,998,992 | 1,935,998,992 |                    |
'- Total: 2 entries                                                                                                                                                                                                                                                                                           |    |               |               |                    |
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

再看更远的内容，可见ThriftHiveMetastore$Client.recv_get_database()可以知道读取此内容是由于hive metastore尝试获取database信息引发的。如果是自己写的程序，再往下找一般就能找到是自己的那个类的哪行代码触发的了。

Object / Stack Frame                                                                                                                                                   |Name                                     | Shallow Heap | Retained Heap |Context Class Loader                                       |Is Daemon
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
org.apache.hive.service.server.ThreadWithGarbageCleanup @ 0x2d79ff8d8                                                                                                  |HiveServer2-Background-Pool: Thread-13828|          128 | 1,936,085,120 |org.apache.hadoop.hive.ql.exec.UDFClassLoader @ 0x2d397cbc0|false
|- at java.io.BufferedInputStream.read([BII)I (BufferedInputStream.java:336)                                                                                           |                                         |              |               |                                                           |
|- at org.apache.thrift.transport.TIOStreamTransport.read([BII)I (TIOStreamTransport.java:127)                                                                         |                                         |              |               |                                                           |
|- at org.apache.thrift.transport.TTransport.readAll([BII)I (TTransport.java:86)                                                                                       |                                         |              |               |                                                           |
|- at org.apache.thrift.transport.TSaslTransport.readFrame()V (TSaslTransport.java:458)                                                                                |                                         |              |               |                                                           |
|- at org.apache.thrift.transport.TSaslTransport.read([BII)I (TSaslTransport.java:433)                                                                                 |                                         |              |               |                                                           |
|- at org.apache.thrift.transport.TSaslClientTransport.read([BII)I (TSaslClientTransport.java:37)                                                                      |                                         |              |               |                                                           |
|- at org.apache.thrift.transport.TTransport.readAll([BII)I (TTransport.java:86)                                                                                       |                                         |              |               |                                                           |
|- at org.apache.hadoop.hive.thrift.TFilterTransport.readAll([BII)I (TFilterTransport.java:62)                                                                         |                                         |              |               |                                                           |
|- at org.apache.thrift.protocol.TBinaryProtocol.readAll([BII)I (TBinaryProtocol.java:429)                                                                             |                                         |              |               |                                                           |
|- at org.apache.thrift.protocol.TBinaryProtocol.readI32()I (TBinaryProtocol.java:318)                                                                                 |                                         |              |               |                                                           |
|- at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin()Lorg/apache/thrift/protocol/TMessage; (TBinaryProtocol.java:219)                                    |                                         |              |               |                                                           |
|- at org.apache.thrift.TServiceClient.receiveBase(Lorg/apache/thrift/TBase;Ljava/lang/String;)V (TServiceClient.java:77)                                              |                                         |              |               |                                                           |
|- at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_get_database()Lorg/apache/hadoop/hive/metastore/api/Database; (ThriftHiveMetastore.java:770)|                                         |              |               |                                                           |
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

问题根因

程序发生oom的问题找到了，自己hive插件程序（随hiveserver2的sql任务启动）尝试通过hms读取database信息，但这个信息非常大，每个hive sql任务都会触发自己hive插件从而造成多SQL同时执行的时候内存急剧膨胀，发生oom问题。

lisacumt
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
记一次hive的内存溢出(OutOfMemoryError: Java heap space)排查
冷风
12-28 2万+
刚刚从java组转岗找数据组，学习大数据的知识，开发语言也从java转到python新奇之外也遇到了诸多问题，其中最令我头疼的就是在hive上的统计任务总是三天两头地报告OutOfMemory一开始因为有别的同事的任务干扰，我以为是计算资源不够导致的，但后来把任务转移到了另一个集群后，问题仍然存在，让我百思不得其解。 问题的具体描述如下： 统计逻辑使用python pyhs2连接hiv
揭露 FileSystem 引起的线上 JVM 内存溢出问题
vivo互联网技术
04-26 827
本文主要介绍了由FileSystem类引起的一次线上内存泄漏导致内存溢出的问题分析解决全过程。
记一次"内存泄露"排查过程
a15089415104的博客
10-15 969
一次内存泄露排查过程，涉及JVM内存管理、tomcat的session管理
记一次MapReduce的内存溢出
MingTanZhen的博客
07-31 1213
背景： 最近使用MapReduce做离线数据清洗，在map段做简单的数据过滤，有经纬度的发送到reduce端，没经纬的过滤掉。reduce端将数据整理出来，按业务模型拼接成字符串写入HDFS。供hive作为外表进行后续数据处理分析。 问题： 该批数据总共2T大小，MapReduce执行第一次时，不出意料的崩溃了。每次都大概在map阶段执行到61%左右。 排查： 查看日志发现果然内存溢出：java.lang.OutOfMemoryError: GC overhead limit exceeded。
JVM-内存溢出排查
sinat_26781639的博客
03-21 779
背景：线上环境项目出现OMM，系统只能重启使用 日志： java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3236) at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:11...
spark内存溢出怎么解决_内存溢出及解决方案
weixin_39854369的博客
11-22 770
什么是内存溢出 JVM运行过程中，程序不断的申请内存空间用于保存运行时数据，当程序申请的内存空间系统无法满足时，就会抛出内存溢出错误。内存溢出发生的区域以及相应的解决方案都不相同，下面我们逐一分析内存溢出类型及解决方案。OutOfMemoryError与StackOverflowError JVM内存溢出分为两种情况，OutOfMemoryError和StackOverflowError...
Hive使用动态分区向表插入数据报错java heap space或者GC overhead limit exceeded
FlatTiger的博客
11-23 2835
问题描述 今天使用hive动台分区向表插入数据时，一直报错java heap space或者GC overhead limit exceeded。排查了好久，发现以下问题。 1.表使用的是parquet存储格式（或者ORC）。 2.虽然数据量很小，但是分区比较多。 hive在进行多分区操作时，只启动map端任务，不启动reduce，再加上parquet格式的表会为每一个分区创建一个FileWriter，分区太多就会导致内存溢出。 解决方案 1.首先确定开启了动态分区和非严格模式。 set hive.exec
hive常见参数
RJF20210928的博客
05-29 712
注意：因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。set hive.exec.max.dynamic.partitions.pernode=1000 -- 一个 mapreduce job所允许的最大的动态分区的个数。AST：输出查询的抽象语法树。-- 表示同时运行的job的个数。
jvm 参数
justsomebody126的专栏
10-21 1193
内存相关参数 -Xmx1024m：设置JVM最大可用内存为 1024M。 -Xms1024m：设置JVM初始内存为 1024M。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 -Xmn200m: 设置年轻代大小为200M -Xss128k：设置每个线程的堆栈大小。JDK5.0以后每个线程堆栈大小为1M，以前每个线程堆栈大小为256K。更具应用的线程所需内存大小进行调整。在相同物理内存下，减小这个值能生成更多的线程。但是操作系统对一个进程内的线程数还是有限制的，不能无
工作记录笔记
逍遥飞鹤的专栏
04-16 7173
Java相关原理和深入学习：http://wiki.jikexueyuan.com/list/java/ RPC框架：         http://www.cnblogs.com/luxiaoxun/p/5272384.html https://my.oschina.net/huangyong/blog/361751 编程狂人周刊：http://www.tuicool.c
数据分析大数据面试题大杂烩02
GavinKai
03-09 2400
Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序 . partition的目是将记录划分到不同的Reducer上去,以期望能够达到负载均衡,以后的Reducer就会根据partition来读取自己对应的数据 . 接着运行co
数据分析大数据面试题大杂烩01
GavinKai
03-09 1770
互联网:通过埋点实时计算用户浏览频次用优惠券等措施吸引用户,通过历史信息用非智能学习的title方式构造用户画像(抖音,京东) 电信,银行统计营收和针对用户的个人画像:处理大量非实时数据 政府:健康码,扫码之后确诊,找出与确诊对象有关联的人 订单 订单表(除商品以外所有信息),商品详情表,通过搜集用户title进行定制化推荐 点击流数据 通过埋点进行用户点击行为分析 FLINK一般用来做实时 SPARK一般用来做离线 原理胜过代码 List 与set 的区别? List特点:元素有放入顺序,元素可重复 ,
架构师技术栈
hzk844812611的专栏
11-17 796
架构师技术栈 java基础 集合 Collection List List集合基础 ####### 实现了Collection接口 ####### List接口特性∶是有序的，元素是可重复的 ####### 允许元素为rull 常用的子类 ####### Vector ######## 底层结构是数组，初始容量为10，每次增长2倍 ######## 它是线程同步的，已被ArrayList替代 ####### LinkedList ######## 底层结构是双向链表 ######## 实现了Deque接口，
镭速如何高效使用SQLite数据库高速传输结构化数据文件传输
镭速的博客
09-12 547
SQLite数据库因其小巧、跨平台和无需配置的特性，在众多关系型数据库中独树一帜。与传统的服务器/客户端架构数据库，例如MySQL不同，SQLite通常被嵌入到应用程序中作为一个库。它不仅支持创建索引，还严格遵循ACID原则，非常适合存储由程序生成的结构化数据。
linux高级学习10
qq_65818377的博客
09-07 524
线程的杀死不是实时的，是有一定的延迟，其需要达到取消点。这些属性可以通过函数进行改变其数值，用于适应不同的情况。将线程的回收工作分离出去，线程结束时，系统回收资源。start_routine：线程函数的入口地址。retval：用来存储线程退出状态的指针的地址。attr：线程属性结构体地址，通常位NULL。retval：存储线程退出状态的指针。thread：需要回收的线程号。thread：线程标识符地址。等待线程结束，并回收线程资源。arg：传给线程函数的参数。（5）线程的取消和退出。
JVM垃圾回收
小天花藏
09-07 664
JVM程序在运行过程中会不断创建对象，这些对象如果不被回收会一直占用内存，当剩余内存不足以为新对象分配空间时程序将无法运行，因此JVM会在程序运行时会不断地对不再被使用的内存(垃圾)进行回收。而在垃圾回收时会使程序暂停运行(SWT，Stop The World)，如果回收的太过频繁会影响程序的执行效率。因此，选择一个合适的垃圾回收机制至关重要。
垃圾回收
最新发布
weixin_74144099的博客
09-12 664
终结器引用指的是在对象需要被回收时，终结器引用会关联对象并放置在Finalizer类中的引用队列中，在稍后由一条由FinalizerThread线程从队列中获取对象，然后执行对象的finalize方法，在对象第二次被回收时，该对象才真正的被回收。现代优秀的垃圾回收算法，会将上述描述的垃圾回收算法组合进行使用，其中应用最广的就是分代垃圾回收 算法(Generational GC)。可达性算法中描述的对象引用，一般指的是强引用，即是GCRoot对象对普通对象有引用关系，只要这层关系存在，普通对象就不会被回收。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值