网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
(为了不影响到公司,本文出现的设备情况以及相关命令都与目前作者所在的公司无关,设备以及相关环境都是作者自己搭建的)
注意,复杂多变的生产环境会使得排障手段或者方法往往各不相同,但整体思路还是大同小异的,我觉得我们从这篇文章中,特别是**“运维排查篇”这个专栏里面的文章里主要学习的是如何定位、找出问题 ,以及对设备异常时的一些排障思路**
问题描述
那天晚上,我正在值夜班,突然收到消息说某个设备有丢包现象,让我排查处理一下
于是我登上设备终端,刚登上设备就发现异常:我感觉到系统响应明显变慢了,简单的 SHELL 命令都明显变慢了,即使是在终端敲几个回车,都得很久才能响应。
我的第一反应是系统应该是出现了性能瓶颈,看下系统资源整体使用情况是个不错的选择
于是我执行了 top 命令,以下是 top 命令输出结果
# top运行后按数字1切换到显示所有CPU
$ top
top - 23:50:58 up 3 days, 22:10, 1 user, load average: 1.00, 1.03, 1.04
Tasks: 122 total, 1 running, 71 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni, 96.7 id, 0.0 wa, 0.0 hi, 3.3 si, 0.0 st
%Cpu1 : 0.0 us, 0.0 sy, 0.0 ni, 95.6 id, 0.0 wa, 0.0 hi, 4.4 si, 0.0 st
%Cpu2 : 0.0 us, 0.0 sy, 0.0 ni, 95.6 id, 0.0 wa, 0.0 hi, 4.4 si, 0.0 st
%Cpu3 : 0.0 us, 0.0 sy, 0.0 ni, 95.6 id, 0.0 wa, 0.0 hi, 4.4 si, 0.0 st
%Cpu4 : 0.0 us, 0.0 sy, 0.0 ni, 95.6 id, 0.0 wa, 0.0 hi,100.0 si, 0.0 st
%Cpu5 : 0.0 us, 0.0 sy, 0.0 ni, 95.6 id, 0.0 wa, 0.0 hi, 4.4 si, 0.0 st
%Cpu6 : 0.0 us, 0.0 sy, 0.0 ni, 95.6 id, 0.0 wa, 0.0 hi, 4.4 si, 0.0 st
。。。。
我们可以看到
- 平均负载并不高
- 只有一个进程正在执行
- cpu4的软中断使用率已经高达百分之百
除此之外,当时我还观察到cpu使用率最高的进程为 ksoftirqd,这是系统的软中断进程
现在我们就能得出一个结论:该设备单核软中断高达百分百,已经严重影响到了系统的整体性能
现在我们已经找出主要问题了,至于如何产生,我们还需继续排查,在这之前,我先介绍一下什么是软中断
Linux软中断
中断
介绍软中断之前,就不得不先介绍一下中断
什么是中断?
简单点来讲,中断是系统用来响应硬件设备(例如网卡、磁盘键盘等等)请求的一种机制
为了快速响应硬件设备的请求,中断会打断进程的正常执行和调度,然后调用内核中的中断处理程序来响应硬件设备的请求
举个例子
你订了一份外卖,但是不确定外卖什么时候送到,也没有别的方法了解外卖的进度,而且配送员送外卖是不等人的,到了你这儿没人取的话,就直接走人了。所以你只能苦苦等着,时不时去门口看看外卖送到没,而不能干其他事情。
不过呢,如果在订外卖的时候,你就跟配送员约定好,让他送到后给你打个电话,那你就不用苦苦等待了,就可以去忙别的事情,直到电话一响,接电话、取外卖就可以了
这里的打电话就是一个中断,没接到电话的时候,你可以去做其他事情(例如进程的正常调度和执行),当外卖到了,你接到了电话(中断产生),这时候你会立刻放下手头上正在做的事,去执行另一个动作——取外卖(执行中断处理程序)
这个例子我们可以发现,中断其实是一种异步的事件处理机制,可以提高系统的并发处理能力
不知道你们发现了没有,中断会打断其他进程的正常运行,并执行中断处理程序,如果中断处理程序运行时间很长会发生什么事呢?
在中断处理程序执行过程中,会临时关闭中断,这就会导致这次中断处理前,其他中断都不能响应,也就意味着中断有可能会丢失。
举个例子
假如你订了两份外卖,并且是由两个不同的配送员来配送,你跟配送员还约定了外卖到打电话的方式。
但是,问题又来了。
当第一份外卖送到时,配送员给你打了个长长的电话,讨论商量发票的处理方式。与此同时,第二个配送员也到了,也想给你打电话。
很明显,因为电话占线(也就是关闭了中断响应),第二个配送员的电话是打不通的。所以,第二个配送员很可能试几次后就走掉了(也就是丢失了一次中断)。
为了解决中断丢失或者中断处理程程序处理时间过长的问题,我们于是便有了软中断
软中断
系统为了解决中断丢失或者中断处理程序执行时间过长的问题,将中断处理分成了两个阶段
- 上半部
-
- 上半部用来快速处理中断,它在中断禁止模式(关闭中断响应)下运行,主要处理跟硬件紧密相关的或时间敏感的工作,也就是我们所说的硬中断
- 下半部
-
- 下半部用来延迟处理上半部未完成的工作,通常以内核线程的方式运行,也就是我们所说的软中断
上半部(硬中断)会打断CPU正在执行的任务,然后立刻执行中断处理程序。
而下半部以内核线程的方式执行,并且每个 CPU 都对应一个软中断内核线程,名字为“ksoftirqd/CPU 编号”,比如说, 0 号 CPU 对应的软中断内核线程的名字就是 ksoftirqd/0
我们可以通过查看 /proc/softirqs 文件的内容,就可以看到各种类型软中断在不同 CPU 上的累积运行次数
在介绍了中断和软中断的概念后,我们回到案例中
排查
定位到设备是因为软中断过高后,我们要知道是哪种类型的软中断出了问题
上面说到,我们可以去查看 /proc/softirqs
文件的内容,就能看到各种软中断类型和对应的次数
但是我们需要注意的是,/proc/softirqs
文件里面软中断类型的次数,是系统运行以来的累积中断次数。对现在遇到的问题并没有多大的意义
所以我们需要看到的是这些中断次数的变化速率才是关键
为了做好运维面试路上的助攻手,特整理了上百道 【运维技术栈面试题集锦】 ,让你面试不慌心不跳,高薪offer怀里抱!
这次整理的面试题,小到shell、MySQL,大到K8s等云原生技术栈,不仅适合运维新人入行面试需要,还适用于想提升进阶跳槽加薪的运维朋友。
本份面试集锦涵盖了
- 174 道运维工程师面试题
- 128道k8s面试题
- 108道shell脚本面试题
- 200道Linux面试题
- 51道docker面试题
- 35道Jenkis面试题
- 78道MongoDB面试题
- 17道ansible面试题
- 60道dubbo面试题
- 53道kafka面试
- 18道mysql面试题
- 40道nginx面试题
- 77道redis面试题
- 28道zookeeper
总计 1000+ 道面试题, 内容 又全含金量又高
- 174道运维工程师面试题
1、什么是运维?
2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?
3、现在给你三百台服务器,你怎么对他们进行管理?
4、简述raid0 raid1raid5二种工作模式的工作原理及特点
5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?
6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?
7、Tomcat和Resin有什么区别,工作中你怎么选择?
8、什么是中间件?什么是jdk?
9、讲述一下Tomcat8005、8009、8080三个端口的含义?
10、什么叫CDN?
11、什么叫网站灰度发布?
12、简述DNS进行域名解析的过程?
13、RabbitMQ是什么东西?
14、讲一下Keepalived的工作原理?
15、讲述一下LVS三种模式的工作过程?
16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?
17、如何重置mysql root密码?
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
尝辄止,不再深入研究,那么很难做到真正的技术提升。**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!