记录一次线上系统OOM问题的解决过程

最新推荐文章于 2023-05-26 17:53:24 发布

Ming Log

最新推荐文章于 2023-05-26 17:53:24 发布

阅读量419

点赞数 2

文章标签： java 后端 jvm

本文链接：https://blog.csdn.net/qq_42280920/article/details/122188837

版权

前段时间跳槽了，刚入职没3、4个月，我所在的小组主要负责DSP系统，我主攻DSP中的dist-orders服务

先说一下DSP是干嘛的，项目组所在的公司主要是从事医药行业的，在淘宝、天猫、京东…很多渠道都有自家的店铺，他们自己还有一套ERP，主要是进销存那一套，DSP就是负责连接ERP和各个渠道之间传递信息的，什么订单啦、库存啦…

前几周，leader收到线上某某某个机子系统OOM的邮件，leader就随手丢给我，让我去没事的时候去查查

那我直接登堡垒机去服务器上看看，各种乱七八糟命令就开始用，什么top、jstack、jinfo、jstat、jmap…结果发现一个都不行，不是命令不行，是我没权限查看…

不说我只不知道该申请什么样子的权限，就算是知道了，运维也已经重启完了，那还查个屁

最终希望只能放在堆转储文件上，堡垒机是可以下载服务器上的文件，奈何文件太大，6G多，根本下不下来，寻求运维组的同事帮忙，各种发邮件、拉群、最终在我的软磨硬泡下，终于是给到了我

废话不多说，直接上jdk自带的jvisualvm软件进行分析，（jvisualvm在你安装jdk的bin目录下）

交给jvisualvm进行解析分析，我电脑是16G内存，分析6G的堆转储文件，差点没给我电脑送走…
在这里插入图片描述

这里除了导致OOM线程和系统属性之外没什么太重要的信息
点开显示系统属性发现JVM也没设置什么参数（最大堆、最小堆、GC一些参数等等）
我们来看类
在这里插入图片描述

发现char[]和String占了大头，双击char[]，进去看看
在这里插入图片描述
emmm，不知道怎么回事有的地方是乱码，而且暂时也没看到有用的信息

点过来点过去，看了好久，最终决定换个软件

用IBM heapanalyzer试试（下载地址：https://www.ibm.com/support/pages/node/1109955?mhsrc=ibmsearch_a&mhq=heapanalyzer）

是个jar包，直接java -jar -Xmx15g xxx.jar启动（这里的-Xmx多少内存自己定，如果分析过程中OOM就是你给的内存太少），或者你可以随便写个启动的脚本

将堆转储文件载入进来，最终就是这个样子了
在这里插入图片描述

他这里有个疑似泄露的点，是DisOrderItemBO对象，占了2.8G内存，约58.74%

再往后下看ArrayList，大约猜测就是ArrayList装载了太多的DisOrderItemBO

让他以树结构形式展示：
在这里插入图片描述

没跑了，就是ArrayList集合内DisOrderItemBO元素太多，看解析是有1936459个DisOrderItemBO的实例，总共占用了2G多内存

看似得到结果了，实则还是不知道从哪下手，因为DisOrderItemBO用到的地方太多了，根本不知道是哪个地方引发的

于是，我又又又换了一个软件

MemoryAnalyzer（下载地址：https://www.eclipse.org/downloads/download.php?file=/mat/1.12.0/rcp/MemoryAnalyzer-1.12.0.20210602-win32.win32.x86_64.zip）

加载进来就是这个样子了
在这里插入图片描述

这里也有一个疑似内存泄漏的点，点击去查看，列出了详细的信息：
$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-umlsNFqH-1640661825488)(C:\Users\mingl\AppData\Roaming\Typora\typora-user-images\image-20211228104422294.png)]$