记一次线上内存泄漏事故

1、服务不可用

项目部署生产后，服务正常运行一段时间，接口突然全部异常，查看日志：

 

OOM：GC overhead limit exceeded。JVM无法通过GC开辟更多的空间，这里粗略判断应该是内存泄漏导致。

 

2、Heap Dump与恢复服务

  1、查看服务进程ID

  2、heap dump:

  heap dump命令:  jmap -dump:format=b,file=<file-path> <pid>

  jhat分析工具指令:  jhat -J-Xmx1024m <file>

 以下实际操作

 通过访问服务器的7000端口，可以进入jhat监测页面。

  这里堆信息dump完成，重启恢复服务。

3、内存分析

  进入jhat页面http://localhost:7000/，排查OOM主要查看2个点

 1、Show heap histogram  (堆的统计信息)；

2、Show instance counts for all classes (excluding platform) （平台外的所有对象信息）；

在页面上找到这2个统计的入口

可以看出2个类的对象Xobj$AttrXobj与Xobj$ElementXobj存活数量异常多；通过定位发现这两个类主要用于POI构建DOM对象

这里大概能推断出，应该是poi读取的dom对象未释放导致的内存泄漏。

排查代码发现在new XMLSlideShow() 后也需要手动调用close()方法来关闭；

到这里就是整个排查过程了。