背景
- JDK8
- netty框架编写的HTTP服务器
- 有使用Map对象做本地内存缓存
问题发生
- 进程突然无法响应http请求,重启后能正常响应,但是一分钟后又变成了无法响应的状态
问题分析过程
- 进程存在操作系统中,但是无法响应业务请求,这种情况实际上就是JVM内处理业务的线程都处于阻塞状态,根据重启之后短时间能够响应的现象,推断是内存满了,导致JVM一直在进行full gc,所有线程停止所致
- 查看内存使用情况优先使用
jmap -heap pid
,查看得到old gen和eden区的使用率都达到100%,其中,老年代512M,eden 256M - 查看JVM内存及gc状态使用
jstat -gc pid [interval]
,可以看到FGCT(老年代垃圾回收消耗时间)一直增加,证明full gc一直在进行,导致JVM所有线程阻塞 - 查看导致JVM堆内存使用率满了的原因,需要打印JVM的内存快照,
jmap -dump:format-b,file=/path/to/dumpfile.hprof pid
,将dump出来的文件使用MAT打开,查看dominator object
找到jvm中最大的对象进行分析,发现是本地内存缓存过大,占用了85%的堆内存
问题处理
- 修改业务逻辑,限制本地内存缓存对象的数量,问题得到解决
总结
- JAVA系统“假死”通常都是由JVM内存使用量满了导致的full gc所致,常规的分析方法是
jmap -heap
、jstat -gc
、jmap -dump
查看内存使用率和内存快照,对其进行分析找出问题根源