记一次线上内存泄漏问题排查

一 故障描述

管理后台发现部分接口长时间无响应，此问题出现多次，每次都需重启项目就可以解决。查看日志发现多次出现java.lang.OutOfMemoryError: GC overhead limit exceeded，目前项目堆大小为固定2G，后台为内部人员使用，量不大。

二 处理过程

1 经过日志分析是GC问题，根据查资料确切的说于JVM花费太长时间执行GC且只能回收很少的堆内存时抛出的。根据Oracle官方文档，默认情况下，如果Java进程花费98%以上的时间执行GC，并且每次只有不到2%的堆被恢复，则JVM抛出此错误。
2 通过jstat -gc 30614 100查看内存使用状态，根据OC，OU发现老年代基本已经占满，而且FGC次数在此期间增加了两次。根据问题初步思考是内存泄漏引起的

根据命令jmap -heap 30614查看各分区具体占用印证

3 首先通过jmap -histo pid查看内存对象的分布情况，出现错误
30614: Unable to open socket file: target process not responding or HotSpot VM not loaded
The -F option can be used when the target process is not responding
经查资料需要切换至项目执行的用户，我们的是tomcat,于是切换至tomcat用户继续执行则成功。

4 命令jmap -histo 30614| sort -n -r -k 2 | head -10根据对象个数排序取前十个，命令jmap -histo 30614| sort -n -r -k 3 | head 10根据对象大小排序取前十，展示如下，发现GameTextBean异常


5 通过代码发现项目使用ehcache作为缓存管理，而每次缓存此对象使用的试一个List，内部存储的字段全是长文本内容以及其他标志字段，列表长度基本都在上万左右，而且缓存条数为1000条，过期时间设置为1小时，根据业务类型以及实际使用来看并不需要缓存这么多的数据量，于是修改配置，降低为20条，时间为2分钟，在此期间发现其他数据缓存也有不合理的地方因此根据实际重新配置了缓存。重新构建运行一段时间之后线上比较稳定，此问题未再发生。