1、问题发现过程
在程序运行过程中,发现部分功能异常,调取日志报错:java.lang.OutOfMemoryError
2、线上定位过程
怀疑运行内存不足,加大运行内存后通过jstat及-verbose:gc来分析程序内存调用、回收情况。发现老年代内存与程序运行时间成正比例增长,并在full gc情况下无法进行回收,怀疑较大申请并无法进行回收,因为项目使用JNA与C++程序做对接,初步认定为回调方法(CallBack)内存在未释放的指针(Pointer)。
3、本地定位过程
将测试转到本地,并修改代码释放jna申请内存,通过jconsole,jvisualvm进行内存监控、dump抓取,发现在新生代GC正常回收情况下,幸存区内存堆积导致老年代内存持续增长,并且在full gc无法进行老年代内存回收。
通过dump分析,发现内存中存在大量char[]堆(输出日志),无法通过full gc回收,怀疑System.out.println在高并发下synchronized导致等待同步造成字符串堆积,
修改System.out.println为logger输出继续抓取dump。依旧会在logmap中会存在大量char[]堆积。
解析代码后,发现日志map中会堆积大量数据,逻辑代码中存在put新值之前把旧赋值为null,在map中除了WeakHashMap为弱引用外都属于强引用,在put之前无法销毁对象。
修改代码检测内存数据(问题解决):