客户机器cpu占用较高甚至出现cpu打满的情况,造流程启动运行缓慢,状态更新卡死,严重影响用户体验。
首先观察用户机器资源情况,内存剩余40G,jvm内存占用10%不到。
jps -ml
拿到pid之后
jstat -gccause pid
发现频繁FGC,差不多一分种就有一次显示的System.gc()调用。怀疑是这个原因,使用-XX:+DisableExplicitGC参数禁用显示内存回收调用后,发现cpu高的情况并没有改善。而且发现经常在jvm内存占用只有10%的时候就内存分配失败而且fgc了,说明可能有短时内加装大量大对象的可能。
继续分析发现每次fgc只耗时0.2秒,而cpu是一直占用较高,这同样说明cpu高并不是fgc导致的,但是没有头绪。既然不是jvm的fgc导致的,应该就是程序频繁加载大量数据了,慢慢定位。先用
top -H -p pid
观察占用cpu高的线程
这些线程在干嘛?使用jstack命令把调用堆栈写入文件分析
jstack -l pid > a.txt
然后把线程pid转换为16进制后去堆栈文件里查找,28117的16进制是6dd5, 26789的16进制是68ae。默认字母小写。
发现几个占用cpu高(100%)的线程都在执行一个加载操作,把数据库1万多和10万多条数据的的两个表加载到内存之中。
光数据库查询就要4s左右,然后还要都加入内存。怪不得cpu高,卡,fgc了。原因算是找到了。