运维排查篇设备单核软中断过高时怎么办？_linux 网络软中断超时单个 cpu 核(2)

程序员李菲

于 2024-05-13 02:10:34 发布

阅读量231

点赞数 4

分类专栏：程序员文章标签：运维学习面试

本文链接：https://blog.csdn.net/m0_46608024/article/details/138776068

版权

程序员专栏收录该内容

202 篇文章 1 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以点击这里获取！

注意，复杂多变的生产环境会使得排障手段或者方法往往各不相同，但整体思路还是大同小异的，我觉得我们从这篇文章中，特别是**“运维排查篇”这个专栏里面的文章里主要学习的是如何定位、找出问题，以及对设备异常时的一些排障思路**

问题描述

那天晚上，我正在值夜班，突然收到消息说某个设备有丢包现象，让我排查处理一下

于是我登上设备终端，刚登上设备就发现异常：我感觉到系统响应明显变慢了，简单的 SHELL 命令都明显变慢了，即使是在终端敲几个回车，都得很久才能响应。

我的第一反应是系统应该是出现了性能瓶颈，看下系统资源整体使用情况是个不错的选择

于是我执行了 top 命令，以下是 top 命令输出结果

# top运行后按数字1切换到显示所有CPU
$ top
top - 23:50:58 up 3 days, 22:10,  1 user,  load average: 1.00, 1.03, 1.04
Tasks: 122 total,   1 running,  71 sleeping,   0 stopped,   0 zombie
%Cpu0  :  0.0 us,  0.0 sy,  0.0 ni, 96.7 id,  0.0 wa,  0.0 hi,  3.3 si,  0.0 st
%Cpu1  :  0.0 us,  0.0 sy,  0.0 ni, 95.6 id,  0.0 wa,  0.0 hi,  4.4 si,  0.0 st
%Cpu2  :  0.0 us,  0.0 sy,  0.0 ni, 95.6 id,  0.0 wa,  0.0 hi,  4.4 si,  0.0 st
%Cpu3  :  0.0 us,  0.0 sy,  0.0 ni, 95.6 id,  0.0 wa,  0.0 hi,  4.4 si,  0.0 st
%Cpu4  :  0.0 us,  0.0 sy,  0.0 ni, 95.6 id,  0.0 wa,  0.0 hi,100.0 si,  0.0 st
%Cpu5  :  0.0 us,  0.0 sy,  0.0 ni, 95.6 id,  0.0 wa,  0.0 hi,  4.4 si,  0.0 st
%Cpu6  :  0.0 us,  0.0 sy,  0.0 ni, 95.6 id,  0.0 wa,  0.0 hi,  4.4 si,  0.0 st
。。。。

我们可以看到

平均负载并不高
只有一个进程正在执行
cpu4的软中断使用率已经高达百分之百

除此之外，当时我还观察到cpu使用率最高的进程为 ksoftirqd，这是系统的软中断进程

现在我们就能得出一个结论：该设备单核软中断高达百分百，已经严重影响到了系统的整体性能

现在我们已经找出主要问题了，至于如何产生，我们还需继续排查，在这之前，我先介绍一下什么是软中断

Linux软中断

中断

介绍软中断之前，就不得不先介绍一下中断

什么是中断？

简单点来讲，中断是系统用来响应硬件设备（例如网卡、磁盘键盘等等）请求的一种机制

为了快速响应硬件设备的请求，中断会打断进程的正常执行和调度，然后调用内核中的中断处理程序来响应硬件设备的请求

举个例子

你订了一份外卖，但是不确定外卖什么时候送到，也没有别的方法了解外卖的进度，而且配送员送外卖是不等人的，到了你这儿没人取的话，就直接走人了。所以你只能苦苦等着，时不时去门口看看外卖送到没，而不能干其他事情。

不过呢，如果在订外卖的时候，你就跟配送员约定好，让他送到后给你打个电话，那你就不用苦苦等待了，就可以去忙别的事情，直到电话一响，接电话、取外卖就可以了

这里的打电话就是一个中断，没接到电话的时候，你可以去做其他事情（例如进程的正常调度和执行），当外卖到了，你接到了电话（中断产生），这时候你会立刻放下手头上正在做的事，去执行另一个动作——取外卖（执行中断处理程序）

这个例子我们可以发现，中断其实是一种异步的事件处理机制，可以提高系统的并发处理能力

不知道你们发现了没有，中断会打断其他进程的正常运行，并执行中断处理程序，如果中断处理程序运行时间很长会发生什么事呢？

在中断处理程序执行过程中，会临时关闭中断，这就会导致这次中断处理前，其他中断都不能响应，也就意味着中断有可能会丢失。

举个例子

假如你订了两份外卖，并且是由两个不同的配送员来配送，你跟配送员还约定了外卖到打电话的方式。

但是，问题又来了。

当第一份外卖送到时，配送员给你打了个长长的电话，讨论商量发票的处理方式。与此同时，第二个配送员也到了，也想给你打电话。

很明显，因为电话占线（也就是关闭了中断响应），第二个配送员的电话是打不通的。所以，第二个配送员很可能试几次后就走掉了（也就是丢失了一次中断）。

为了解决中断丢失或者中断处理程程序处理时间过长的问题，我们于是便有了软中断