记一次内存分析优化

场景:
每天一次对大文件入库,定时任务+多线程方式

问题描述:
oldGen内存呈阶梯式增长.

新生代/老年代使用率

tomcat进程内存使用率

问题分析
dump文件中对应类相关对象进行分析,其相关引用的内存只有kb级别.
线程池也已关闭.

-XX:+UseParallelGC
gc日志中有几百次年轻代空间不足引起的GC(Allocation Failure),Full GC有5次, 查找其中1次,oldGen回收后由89%降到4%,内存可以回收.

本地模拟:heap大约4G,young区1.3G,from/to区130M,文件114M,oldGen没有阶梯式增长,而是稳定有规律的增降,未发生内存泄露或溢出.

现象解释
young区1.2G,from/to区120M,而一次加载数据在270M左右,小于需要内存,对象直接移动到oldGen,因此oldGen内存一直阶梯式增长,直至full gc.

解决方案
方法1:
继续使用Parallel,调大young和survivor

1. 方法内不再次使用的变量置空(gc时可回收)
2. 适当调整young区大小,或者调整eden区比例.
   -XX:NewRatio=1 -XX:SurvivorRatio=4

方法2:
使用ParNew+CMS回收器,设置老年代触发GC比例
-XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:+CMSInitiatingOccupancyFraction＝80
方法2效果：
Par Eden sapce max-100%, avg-51%
CMS Old Gen max-63%, avg-42%

相同时间内,
总gc次数减少(208→138),
full gc次数增加(11→15).

ps: 考虑使用G1