【生产问题排查四】线上如何排查CPU100，Linux运维框架

最新推荐文章于 2024-10-18 13:51:57 发布

m0_60634964

最新推荐文章于 2024-10-18 13:51:57 发布

阅读量169

点赞数 2

分类专栏： 2024年程序员学习文章标签：运维 linux java

本文链接：https://blog.csdn.net/m0_60634964/article/details/137428842

版权

2024年程序员学习专栏收录该内容

264 篇文章 1 订阅

订阅专栏


3. 执行`printf "%x\n 10`命令 ：后续查看线程堆栈信息展示的都是十六进制，为了找到咱们的线程堆栈信息，咱们需要把线程号转成16进制。例如,`printf "%x\n 10`打印：a，那么在jstack中线程号就是`0xa`.**转换获取操作系统线程ID**
4. 执行 `jstack 进程号 | grep 线程ID` 查找某进程下线程ID（jstack堆栈信息中的nid）=`0xa`的线程状态。如果`"VM Thread" os_prio=0 tid=0x00007f871806e000 nid=0xa runnable`，第一个双引号圈起来的就是线程名，如果是`VM Thread`这就是虚拟机GC回收线程了**获取该进程快照并grep到该线程，查看线程状态**

“main” #1 prio=5 os_prio=0 tid=0x00007f8718009800 nid=0xb runnable [0x00007f871fe41000]
java.lang.Thread.State: RUNNABLE
at com.aibaobei.chapter2.eg2.UserDemo.main(UserDemo.java:9)

“VM Thread” os_prio=0 tid=0x00007f871806e000 nid=0xa runnable


5. 执行`jstat -gcutil 进程号 统计间隔毫秒 统计次数（缺省代表一致统计）`，查看某进程GC持续变化情况，如果发现返回中FGC很大且一直增大确认Full GC 也可以使用`jmap -heap 进程ID`查看一下进程的堆内从是不是要溢出了，特别是老年代内从使用情况一般是达到阈值(具体看垃圾回收器和启动时配置的阈值)就会进程Full GC。**【如果是虚拟机线程】统计gc情况，判断是否是full GC过多**

root@8d36124607a0:/# jstat -gcutil 9 1000 10
S0 S1 E O M CCS YGC YGCT FGC FGCT GCT
0.00 0.00 0.00 75.07 59.09 59.60 3259 0.919 6517 7.715 8.635
0.00 0.00 0.00 0.08 59.09 59.60 3306 0.930 6611 7.822 8.752
0.00 0.00 0.00 0.08 59.09 59.60 3351 0.943 6701 7.924 8.867
0.00 0.00 0.00 0.08 59.09 59.60 3397 0.955 6793 8.029 8.984


6. 执行`jmap -dump:format=b,file=filename 进程ID`”，导出某进程下内存heap输出到文件中。可以通过**mat工具**查看内存中有哪些对象比较多。公司封装后，我们用的命令是heap dump**【如果是虚拟机线程】heap dump下虚拟机快照，查看对象树判断**


不同的问题结论排查到同的阶段就会有结论


### 问题定位


针对以上各个步骤，大致排查到某些步骤后就可以大致定位具体原因了


#### 1 内存消耗过大，导致Full GC次数过多


一直排查，执行了步骤**1-5**：


* 【**步骤2明确为虚拟机线程**】多个线程的CPU都超过了100%，通过`jstack`命令可以看到这些线程主要是垃圾回收线程
* 【**步骤5查看GC情况**】通过`jstat`命令监控GC情况，可以看到Full GC次数非常多，并且次数在不断增加。


确定是Full GC, 接下来找到具体原因：


* 【**步骤6查看堆Dump文件**】使用MAT工具分析，如果生成大量的对象，导致内存溢出，查看具体内存对象占用情况。
* 如果对象占用不算高，但是Full GC次数还是比较多，此时可能是代码中手动调用 `System.gc()`导致GC次数过多，这可以通过添加 `-XX:+DisableExplicitGC`来禁用JVM对显示GC的响应。


#### 2 代码中有大量消耗CPU的操作，导致CPU过高，系统运行缓慢


一直排查，执行了步骤**1-4**：


* 【**步骤2明确为非虚拟机线程**】
* 【**步骤4查看线程快照情况**】可直接定位到代码行。问题原因有某些复杂算法，甚至算法BUG，无限循环递归等。


#### 3 由于锁使用不当，导致死锁


一直排查，执行了步骤**1-4**：


* 【**步骤2明确为非虚拟机线程**】
* 【**步骤4查看线程快照情况**】如果有死锁，会直接提示。关键字：`deadlock` 会打印出业务死锁的位置



**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**
![img](https://img-blog.csdnimg.cn/img_convert/0b760c890d2b37f59f34a0b941b5a959.png)
![img](https://img-blog.csdnimg.cn/img_convert/f69bc214bb78628dbf2b5ee64fa4bd7f.png)
![img](https://img-blog.csdnimg.cn/img_convert/1740e9a39b63d39d5196f03733186e6f.png)
![img](https://img-blog.csdnimg.cn/img_convert/78bbc157f5d911f589db60c8d898633e.png)
![img](https://img-blog.csdnimg.cn/img_convert/eca7e957d1b8f13523b4755a7edf6d74.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）**
![img](https://img-blog.csdnimg.cn/img_convert/22ebb4b1958a904b2c2fe2cb91e9cdf2.jpeg)

![](https://img-blog.csdnimg.cn/img_convert/9a8cb5f8c0ec69e6499adead0da6e95b.png)



最全的Linux教程，Linux从入门到精通

======================

1.  **linux从入门到精通(第2版)**

2.  **Linux系统移植**

3.  **Linux驱动开发入门与实战**

4.  **LINUX 系统移植 第2版**

5.  **Linux开源网络全栈详解 从DPDK到OpenFlow**



![华为18级工程师呕心沥血撰写3000页Linux学习笔记教程](https://img-blog.csdnimg.cn/img_convert/59742364bb1338737fe2d315a9e2ec54.png)



第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。



![华为18级工程师呕心沥血撰写3000页Linux学习笔记教程](https://img-blog.csdnimg.cn/img_convert/9d4aefb6a92edea27b825e59aa1f2c54.png)



**本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。**

> 需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论




[**一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！**](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)

**AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**

、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**