运维排查篇 设备单核软中断过高时怎么办？_linux 网络 软中断 超时 单个 cpu 核(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以点击这里获取！

为了快速响应硬件设备的请求，中断会打断进程的正常执行和调度，然后调用内核中的中断处理程序来响应硬件设备的请求

举个例子

你订了一份外卖，但是不确定外卖什么时候送到，也没有别的方法了解外卖的进度，而且配送员送外卖是不等人的，到了你这儿没人取的话，就直接走人了。所以你只能苦苦等着，时不时去门口看看外卖送到没，而不能干其他事情。

不过呢，如果在订外卖的时候，你就跟配送员约定好，让他送到后给你打个电话，那你就不用苦苦等待了，就可以去忙别的事情，直到电话一响，接电话、取外卖就可以了

这里的打电话就是一个中断，没接到电话的时候，你可以去做其他事情（例如进程的正常调度和执行），当外卖到了，你接到了电话（中断产生），这时候你会立刻放下手头上正在做的事，去执行另一个动作——取外卖（执行中断处理程序）

这个例子我们可以发现，中断其实是一种异步的事件处理机制，可以提高系统的并发处理能力

不知道你们发现了没有，中断会打断其他进程的正常运行，并执行中断处理程序，如果中断处理程序运行时间很长会发生什么事呢？

在中断处理程序执行过程中，会临时关闭中断，这就会导致这次中断处理前，其他中断都不能响应，也就意味着中断有可能会丢失。

举个例子

假如你订了两份外卖，并且是由两个不同的配送员来配送，你跟配送员还约定了外卖到打电话的方式。

但是，问题又来了。

当第一份外卖送到时，配送员给你打了个长长的电话，讨论商量发票的处理方式。与此同时，第二个配送员也到了，也想给你打电话。

很明显，因为电话占线（也就是关闭了中断响应），第二个配送员的电话是打不通的。所以，第二个配送员很可能试几次后就走掉了（也就是丢失了一次中断）。

为了解决中断丢失或者中断处理程程序处理时间过长的问题，我们于是便有了软中断

软中断

系统为了解决中断丢失或者中断处理程序执行时间过长的问题，将中断处理分成了两个阶段

• 上半部
• • 上半部用来快速处理中断，它在中断禁止模式（关闭中断响应）下运行，主要处理跟硬件紧密相关的或时间敏感的工作，也就是我们所说的硬中断
• 下半部
• • 下半部用来延迟处理上半部未完成的工作，通常以内核线程的方式运行，也就是我们所说的软中断

上半部（硬中断）会打断CPU正在执行的任务，然后立刻执行中断处理程序。

而下半部以内核线程的方式执行，并且每个 CPU 都对应一个软中断内核线程，名字为“ksoftirqd/CPU 编号”，比如说， 0 号 CPU 对应的软中断内核线程的名字就是 ksoftirqd/0

我们可以通过查看 /proc/softirqs 文件的内容，就可以看到各种类型软中断在不同 CPU 上的累积运行次数

在介绍了中断和软中断的概念后，我们回到案例中

排查

定位到设备是因为软中断过高后，我们要知道是哪种类型的软中断出了问题

上面说到，我们可以去查看 /proc/softirqs 文件的内容，就能看到各种软中断类型和对应的次数

但是我们需要注意的是，/proc/softirqs文件里面软中断类型的次数，是系统运行以来的累积中断次数。对现在遇到的问题并没有多大的意义

所以我们需要看到的是这些中断次数的变化速率才是关键

这里我用到了 watch 命令，这个工具可以观察命令输出的变化情况

watch 命令可以定期运行一个命令来查看输出；如果再加上 -d 参数，还可以高亮出变化的部分，从高亮部分我们就可以直观看出，哪些内容变化得更快

$ watch -d cat /proc/softirqs
                    CPU0       CPU1
          HI:          0          0
       TIMER:    1083906    2368646
      NET_TX:         53          9
      NET_RX:    1550643    1916776
       BLOCK:          0          0
    IRQ_POLL:          0          0
     TASKLET:     333637       3930
       SCHED:     963675    2293171
     HRTIMER:          0          0
         RCU:    1542111    1590625

通过 /proc/softirqs 文件内容的变化情况，我们可以发现， TIMER（定时中断）、NET_RX（网络接收）、SCHED（内核调度）、RCU（RCU 锁）等这几个软中断都在不停变化

其中 NET_RX，也就是网络数据包接收软中断的变化速率最快。而其他几种类型的软中断，是保证 Linux 调度、时钟和临界区保护这些正常工作所必需的，所以它们有一定的变化倒是正常的

接下来，我们从网络接收的软中断入手继续分析排查，既然是网络接收类型的软中断过高，那就很有可能是网卡问题（eth0是外网网卡）

我们先看下网卡的驱动版本，是不是驱动版本问题，这里我用到了 ethtool 命令

$ ethtool -i eth0

从输出结果看到，网卡的驱动版本是正常的

（注：不同环境网卡的驱动版本不是千篇一律的，这里我是根据我本机生产环境上的网卡版本来判断的。还得具体环境具体分析）

驱动版本没有问题，我们接着看下eth0网卡的队列支持单队列还是多队列

$ tc qdisc show dev eth0

从输出的结果我们发现，网卡是支持多队列的，网卡多队列可以将不同的中断次数分发到不同的CPU上，也就是说可以由多块cpu分摊中断，而不是单单一颗cpu来“独自承受”

既然是多队列，但还是产生了单核软中断过高的问题，那么就很有可能是中断只分配到了一颗cpu上

排查到这里，原因基本也就排查出来了。

后面我找了负责这个的同事来处理，发现果真是中断只分配到了cpu4上，才导致了设备 cpu4 上的软中断使用率如此之高。

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以点击这里获取！

了95%以上运维知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以点击这里获取！