Linux的Load过高问题排查以及解决方案

Linux的Load过高问题排查以及解决方案

场景：

首先，简单说下我们的场景吧，我们的系统是个微服务项目，今天下班的时候，突然手机端一直收到钉钉告警信息，一直在报load指标过高，看了下当是的值已经到9.6了。这里说下我们的性能指标都是配置有监控的。

排查：

当时我这边由于权限问题不能直接使用系统命令，查看Linux日志，只能借助现有的监控数据排查；
从监控看到cpu指数飙高，线程数飙高，内存指数标高，这些都相当于系统Linux数据，前面说过项目是微服务项目，所以有看了下服务的访问量，发现访问量没有太大的波动，结合了前面的线程数暴增的数据，很容易想出来是某些请求占用了线程，使其长时间得不到释放，后面请求迅速堆积，然后线程数上升，cpu飙高，系统load负载过重。有了这样的猜想后，下面就是去印证和定位具体是哪些请求耗时太长了。这个其实就比较好排查了，在细说下我们项目，我们项目是个离线数据通道，做数据流入流出，那这样来说我们可以看流入流出的文件大小就可以定位了。

解决方案：

关闭耗时长的任务队列，空闲时间在单独手动重新执行