一次完整的JVM NativeMemoryTracking 堆外内存泄露分析

NMT实战

---

症状

某个服务（C）在客户环境使用后发现其内存占用不断变大且远超Xmx指定的大小，导致整个系统因缺少内存造成其他服务无法启动。当时查看到其RSS大约为11G，-Xmx=6G而且heap利用率不到50%。

user@hostxxx> prstat -p 2780

PID USERNAME SIZE RSS STATE PRI NICE TIME CPU PROCESS/NLWP

2780 user 11G 11G sleep 59 0 44:16:39 0.0% java/196

user@hostxxx> /opt/jdk1.8.0_40/bin/jstat -gcutil 2780

S0 S1 E O M CCS YGC YGCT FGC FGCT GCT

0.00 100.00 90.60 46.80 98.02 97.10 11323 4049.745 11 225.345 4275.090

分析

服务通过-Xmx=6G指定最大堆分配为6G，但实际RSS已达到11G，开始怀疑堆外内存是否有内存泄露。为了有更好详细的数据，就在本地重现这个问题，并且打开了NMT持续监控。

NMT的Report如下，重点关注每个分类下的commit大小，这个是实际使用的内存大小。

6739: #进程ID

Native Memory Tracking:

Total: reserved=8491110KB, committed=7220750KB

•             Java Heap (reserved=6293504KB, committed=6291456KB) 
  

(mmap: reserved=6293504KB, committed=6291456KB)

•                 Class (reserved=1107429KB, committed=66189KB) 
  

(classes #11979)

(malloc=1509KB #18708)

(mmap: reserved=1105920KB, committed=64680KB)

•                Thread (reserved=159383KB, committed=159383KB) 
  

(thread #156)

(stack: reserved=158720KB, committed=158720KB)

(malloc=482KB #788)

(arena=182KB #310)

•                  Code (reserved=255862KB, committed=41078KB) 
  

(malloc=6262KB #9319)

(mmap: reserved=249600KB, committed=34816KB)

•                    GC (reserved=449225KB, committed=449225KB)