Linux命令拾遗-理解系统负载

ps -eLo pid,tid,stat,comm | grep -E " R|D"

小实验:将系统负载升到100

---

使用vfork函数创建一个子进程，子进程如果不调用exec系统调用，它的状态会一直是D。

$ cat uninterruptible.c

int main() {

vfork();

sleep(600);

return 0;

}

编译成可执行程序

$ gcc -o uninterruptible uninterruptible.c

运行100个程序

$ for i in {1…100}; do ./uninterruptible &; done

等待1分钟，就会发现系统负载升到了快100，如下：

$ uptime

20:24:42 up 29 days,  7:32,  1 user,  load average: 99.94, 74.82, 35.87

可以看到很多D状态的进程

$ ps -eLo pid,tid,stat,pcpu,wchan:32,comm | grep " D"

3774195 3774195 D     0.0 do_fork                          uninterruptible

3774196 3774196 D     0.0 do_fork                          uninterruptible

3774197 3774197 D     0.0 do_fork                          uninterruptible

3774198 3774198 D     0.0 do_fork                          uninterruptible

如上，通过ps命令可以看到线程状态，还有一个wchan字段，它显示的是线程当前被阻塞在什么内核函数上，这能看出一些蛛丝马迹。

另外，通过/proc/sysrq-trigger可以看到D线程阻塞时的代码路径，如下：

写入一个w即可，需要root权限执行

$ echo w > /proc/sysrq-trigger

然后内核会把D状态线程调用栈输出到内核日志，这可以通过dmesg查看

$ dmesg

这里就能很清楚的看到，是由于vfork系统调用引起的负载上升。

之前介绍过bcc工具集里的offcputime工具，它可以用来绘制offcpu火焰图，同样的，诊断高负载问题时，也可以用这个工具，传一个参数，让其只关注D状态线程的offcpu行为即可，如下：

ubuntu安装bcc工具集

$ sudo apt install bpfcc-tools

使用root身份进入bash

$ sudo bash

–state 2用于指定抓取TASK_UNINTERRUPTIBLE即D状态线程的offcpu栈

$ offcputime-bpfcc -K --state 2 -f 60 > d_state_offcpu_stack.out

绘制为offcpu火焰图

$ awk ‘{ print $1, $2 / 1000 }’ d_state_offcpu_stack.out | ./FlameGraph/flamegraph.pl --color=io --countname=ms > d_state_offcpu.svg

往期内容

---

Linux命令拾遗-入门篇
原来awk真是神器啊
Linux文本命令技巧(上)“)
Linux文本命令技巧(下)”)

为了做好运维面试路上的助攻手，特整理了上百道 【运维技术栈面试题集锦】 ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

• 174 道运维工程师面试题
• 128道k8s面试题
• 108道shell脚本面试题
• 200道Linux面试题
• 51道docker面试题
• 35道Jenkis面试题
• 78道MongoDB面试题
• 17道ansible面试题
• 60道dubbo面试题
• 53道kafka面试
• 18道mysql面试题
• 40道nginx面试题
• 77道redis面试题
• 28道zookeeper

总计 1000+ 道面试题， 内容 又全含金量又高

• 174道运维工程师面试题

1、什么是运维?

2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

3、现在给你三百台服务器，你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

7、Tomcat和Resin有什么区别，工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义？

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！