一次完整的JVM NativeMemoryTracking 堆外内存泄露分析

NMT实战

---

症状

某个服务（C）在客户环境使用后发现其内存占用不断变大且远超Xmx指定的大小，导致整个系统因缺少内存造成其他服务无法启动。当时查看到其RSS大约为11G，-Xmx=6G而且heap利用率不到50%。

user@hostxxx> prstat -p 2780

PID USERNAME SIZE RSS STATE PRI NICE TIME CPU PROCESS/NLWP

2780 user 11G 11G sleep 59 0 44:16:39 0.0% java/196

user@hostxxx> /opt/jdk1.8.0_40/bin/jstat -gcutil 2780

S0 S1 E O M CCS YGC YGCT FGC FGCT GCT

0.00 100.00 90.60 46.80 98.02 97.10 11323 4049.745 11 225.345 4275.090

分析

服务通过-Xmx=6G指定最大堆分配为6G，但实际RSS已达到11G，开始怀疑堆外内存是否有内存泄露。为了有更好详细的数据，就在本地重现这个问题，并且打开了NMT持续监控。

NMT的Report如下，重点关注每个分类下的commit大小，这个是实际使用的内存大小。

6739: #进程ID

Native Memory Tracking:

Total: reserved=8491110KB, committed=7220750KB

•             Java Heap (reserved=6293504KB, committed=6291456KB) 
  

(mmap: reserved=6293504KB, committed=6291456KB)

•                 Class (reserved=1107429KB, committed=66189KB) 
  

(classes #11979)

(malloc=1509KB #18708)

(mmap: reserved=1105920KB, committed=64680KB)

•                Thread (reserved=159383KB, committed=159383KB) 
  

(thread #156)

(stack: reserved=158720KB, committed=158720KB)

(malloc=482KB #788)

(arena=182KB #310)

•                  Code (reserved=255862KB, committed=41078KB) 
  

(malloc=6262KB #9319)

(mmap: reserved=249600KB, committed=34816KB)

•                    GC (reserved=449225KB, committed=449225KB) 
  

(malloc=166601KB #1714646)

(mmap: reserved=282624KB, committed=282624KB)

•              Compiler (reserved=395KB, committed=395KB) 
  

(malloc=265KB #856)

(arena=131KB #3)

•              Internal (reserved=146041KB, committed=146041KB) 
  

(malloc=132185KB #276370)

(mmap: reserved=13856KB, committed=13856KB)

•                Symbol (reserved=31487KB, committed=31487KB) 
  

(malloc=29209KB #91080)

(arena=2278KB #1)

• Native Memory Tracking (reserved=33212KB, committed=33212KB)

(malloc=168KB #2575)

(tracking overhead=33044KB)

•           Arena Chunk (reserved=2284KB, committed=2284KB)
  

(malloc=2284KB)

•               Unknown (reserved=12288KB, committed=0KB)
  

(mmap: reserved=12288KB, committed=0KB)

Virtual memory map:

…

并且在服务器上通过cron job来定期抓取NMT的report保存下来做分析，而且同时也把其对应的RSS和PMAP都抓取了一份。

COLLECTOR_PID=ps -ef|grep "ProcessName" | grep -v grep | awk '{print $2}'

OUTDIR=/opt/chkmem

HOSTNAME=hostname

prstat -s rss 1 1 > $OUTDIR/${HOSTNAME}coll${COLLECTOR_PID}prstatdate '+%Y%m%d_%H%M%S'.txt

/opt/jdk1.8.0_40/bin/jcmd ${COLLECTOR_PID} VM.native_memory detail > $OUTDIR/${HOSTNAME}coll${COLLECTOR_PID}nmddate '+%Y%m%d_%H%M%S'.txt

pmap -x ${COLLECTOR_PID} > $OUTDIR/${HOSTNAME}coll${COLLECTOR_PID}pmapdate '+%Y%m%d_%H%M%S'.txt

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

每年转战互联网行业的人很多，说白了也是冲着高薪去的，不管你是即将步入这个行业还是想转行，学习是必不可少的。作为一个Java开发，学习成了日常生活的一部分，不学习你就会被这个行业淘汰，这也是这个行业残酷的现实。

如果你对Java感兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份限量版的Java零基础宝典能够对你有所帮助。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份限量版的Java零基础宝典能够对你有所帮助。

[外链图片转存中…(img-uerrm1F1-1713565429546)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！