车辆批量离线问题排查

小白搬砖日记

已于 2023-09-08 15:38:43 修改

阅读量96

点赞数

分类专栏：线上问题排查文章标签：分布式 java nginx

于 2023-09-08 15:32:15 首次发布

本文链接：https://blog.csdn.net/qq_41382215/article/details/132759535

版权

线上问题排查专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、线上问题

下班后的某天，本来正在激情Timi中，接到领导电话：我们的APP没有办法远控车辆啦，显示车辆不在线，看一下是什么问题导致的，抓紧恢复！只能对不起我的队友们了。

二、问题排查

这种大批量问题（大概5位数用户吧）车辆无法上线大概率就是网关服务问题，大概半年前刚入职遇到过一次排查后发现是某个数据服务（服务A）OOM了。此次盲猜大概也是同一个问题导致的，果然查看docker日志后发现和上次问题一致：

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "http-nio-33001-Acceptor-0"
Exception in thread "http-nio-33001-ClientPoller-1" java.lang.OutOfMemoryError: Java heap space
        at org.apache.tomcat.util.threads.TaskThreadFactory.newThread(TaskThreadFactory.java:48)
        at java.util.concurrent.ThreadPoolExecutor$Worker.<init>(ThreadPoolExecutor.java:619)
        at java.util.concurrent.ThreadPoolExecutor.addWorker(ThreadPoolExecutor.java:932)
        at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1378)
        at org.apache.tomcat.util.threads.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:167)
        at org.apache.tomcat.util.threads.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:145)
        at org.apache.tomcat.util.net.AbstractEndpoint.processSocket(AbstractEndpoint.java:1028)
        at org.apache.tomcat.util.net.NioEndpoint$Poller.processKey(NioEndpoint.java:803)
        at org.apache.tomcat.util.net.NioEndpoint$Poller.run(NioEndpoint.java:779)
        at java.lang.Thread.run(Thread.java:748)

首先重启镜像恢复服务，restart之后大概1分钟平台车辆在线数恢复往常正常水平。问题是解决了，但是要排查一下具体原因；

根据服务OOM时间排查一下nginx日志，确认一下是否为人为某些操作导致（因为之前有注意到过有些页面数据量很大百万级别，但是有导出功能，近期也在安排其他同事做优化处理）

进一步查看慢sql日志，发现这部分接口响应极慢，而且有export操作，根据nginx日志定位到相关接口（此处推荐插件RestfulToolkit-fix可以快速根据接口路由定位Controller代码位置），代码逻辑为简单的导出服务，没有任何大数据量导出的规避措施。查看数据库后发现这个表中的数据多达260w条……