报错kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 26s

报错kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 26s

故障背景

近期在服务器跑大量高负载程序，造成cpu soft lockup。如果确认不是软件的问题。

解决方法

#追加到配置文件中

echo 30 > /proc/sys/kernel/watchdog_thresh 

#查看

[root@git-node1 data]# tail -1 /proc/sys/kernel/watchdog_thresh
30

#临时生效

sysctl -w kernel.watchdog_thresh=30

问题分析

Soft lockup名称解释：所谓，soft lockup就是说，这个bug没有让系统彻底死机，但是若干个进程（或者kernel thread）被锁死在了某个状态（一般在内核区域），很多情况下这个是由于内核锁的使用的问题。