现象描述
程序执行缓慢,但未报错退出,从下面输出的日志可以看到,正常1一分钟左右会输出一次进度日志,理论上一分钟之后progress达到1.0,但是在0.92以后就没有输出了
现象分析
一开始没认为是内存问题导致的,因为先入为主,认为程序如果是内存问题导致的应该会报错OOM,而此时的问题是假死,所以认为是CPU使用导致程序缓慢,使用top查看了一下进程,发现CPU并没有跑满。于是查询使用 jhsdb jmap --heap --pid 查看,发现堆使用超过99%,但是很疑惑为什么没有报错OOM,而是表现为了假死
使用jstat 查看垃圾回收情况,发现FULLGC时间持续增长。确认是内存问题导致的,于是查看代码发现代码是通过流式的方式,一行行载入到内存当中。
问题解决
内存问题肯定是调整内存大小。这里其实是错误的估算了MaxHeapSize的使用情况,这里我们调整了最大使用内存。没有报OOM也是因为流式读取的原因,触发FULLGC后,读取少量数据,再触发FULLGC,在读取少量数据,直到最后最小的一行内存也申请不到之后,才会OOM