kernel:NMI watchdog: BUG: soft lockup - CPU#8 stuck for 23s!

问题描述：

最近服务器总是莫名其妙弹出类似以下的信息：

问题原因：

通过查找资料，得知是因为系统一直处在高负载的状态，出现了内核软死锁（soft lockup）。

参考：https://blog.csdn.net/jiangganwu/article/details/89711354

关于内核死锁（soft lockup）：
所谓soft lockup就是说，这个bug没有让系统彻底死机，但是若干个进程（或者kernel thread）被锁死在了某个状态（一般在内核区域），很多情况下这个是由于内核锁的使用的问题。

解决方案：

1、首先排查是否是程序问题：

① 通过输入top命令，发现多个进程处于高负载状态：

② （以191426进程号为例）根据进程号，进一步查看该进程所在的服务：

③ 从上面截图，我们就可以发现问题了，该进程号一开始还能查到服务的相关信息，后面就查不到服务了。可见，这个服务是存在问题的。此时我们就可以针对该服务进行问题的排查（如对代码进行排查）。

2、确认相关进程、服务不存在问题，则可以参考以下文章设置系统参数：

https://blog.csdn.net/a13568hki/article/details/104016751
https://blog.csdn.net/jiangganwu/article/details/89711354

系统参数设置如下：

#追加到配置文件中
echo 30 > /proc/sys/kernel/watchdog_thresh

#临时生效
sysctl -w kernel.watchdog_thresh=30