某某某系统堆内存使用率连续3次超过设定阈值98%。
问题背景:
13号晚上,系统突然发了一条上述短信,说是堆内存超过阈值了,我们之前出现过这样的问题,当时我们将堆内存扩大了一倍,在运行一段时间之后,又出现了这样的问题,说明并不是堆内存不够用,而是系统存在堆内存泄漏问题。次日,我们排查了一下这个问题,先将我个人的排查过程记录下来。
排查过程:
首先我们查看了一下监控图表,上面显示的信息是:在很短的一段时间内,系统进行了多次full GC,每次full Gc都是在系统到达阈值,并且报警之后才去执行,但是奇怪的是young GC 也还算正常,并不是特别频繁,那么问题就可以转化为,为什么有很多对象Gc年龄都超过了15进入到了年老代?或者是因为有很多大对象直接进入了年老代(我们的jvm配置中并没有配置直接到年老代的对象大小阈值,因此应该是超过伊甸园区大小的对象会直接到达老年代,我们的年轻代大小为1.3G,eden:survivor 默认8:1 因此对象达到了1.1G以上才会直接到老年代)?
那么我们就要找找为什么那么多对象在年轻代没有回收,一直混到了老年代,我们将堆内存日志在MAT中分析了一下,MAT中显示如下所示:
上图表示在堆内存中,byte数组占用堆大小达到了93M,也是占用最多的对象ÿ