阿里云服务器CPU 100%问题

已于 2024-02-14 15:15:34 修改
阅读量1.5k 收藏 22
点赞数 24
文章标签： 阿里云 服务器 云计算
于 2024-02-14 15:14:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37454852/article/details/136113525
版权

原创内容，未经同意，请勿转发，原文地址：
复制到CSDN，图片链接失效，建议直接访问原站：哇塞码农网

1、问题描述

最近趁着阿里云服务器搞活动买了几年的阿里云服务器，2c2g的配置，用于本站（哇塞码农）的部署和运维

之前是部署在bandwagon的服务器上，但价格比较贵，而且也存在不可描述的风险，这里的配置是1c1g

明明阿里云服务器的配置更高，但是部署到阿里云之后反而出问题了，经常部署之后运行两三天服务器cpu利用率就会100%，磁盘读也很高，服务直接不可用，网站也无法正常访问了

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2、排查过程

2.1、工单提问

2.1.1、事后排查工具atop

由于问题出现后便无法远程登录，只能重启。但重启只能临时解决，过段时间后便会再次出现。

于是，我先找到了阿里云的技术支持（题外话，阿里系的客服还是可以的），询问有没有办法事后排查问题原因的办法。阿里云的技术支持推荐使用atop：

您好，您这边可以使用atop工具监控系统资源使用情况：https://help.aliyun.com/zh/ecs/how-to-use-the-linux-system-atop-monitoring-tools?spm=a2c4g.11186623.0.i6 后续可以通过atop日志分析下占用资源的进程

在按照阿里云的atop文档安装完毕后，便只能静静等待问题再次出现了……

注意，若各位遇到类似的情况，不要强制重启服务器，强制重启服务器会导致atop的日志文件丢失！

2.1.2、罪魁祸首kswapd0

终于，在下次问题出现时，根据atop的日志，排查到了罪魁祸首：kswapd0进程！

新图片

来自chatGPT的kswapd0简介：

kswapd0是Linux系统中的一个内核线程，它的作用是在系统内存不足时执行页面交换（swap）操作。当系统的物理内存不足以满足当前运行程序的需求时，Linux内核会将部分不常用的内存页面（页）移到交换空间（swap space）中，以释放物理内存供其他程序使用。kswapd0负责管理这些页面交换的过程，包括选择哪些页面需要被换出、将页面写入交换空间、以及从交换空间中换入页面等操作，以确保系统内存的有效利用和性能稳定。

kswapd0通常在系统空闲时运行，其优先级相对较低，以免影响到正在执行的其他重要任务。在系统负载较低且内存充足时，kswapd0可能处于睡眠状态，只有在内存压力增加时才会被唤醒执行页面交换操作。

在发现是系统进程时，我先是再次找到阿里云的技术支持，询问是否是机器或系统有问题，但是回复是内存太小，java应用比较吃内存，建议我升级内存配置……

我大为震惊，为什么搬瓦工1c1g都没有这个问题，阿里云2c2g却有问题？无奈，不再寄希望于阿里云官方，只能自己排查原因了

2.2、kswapd0病毒疑云

百度kswapd0占用cpu利用率过高，很多中文网站都在说kswapd0病毒的问题，吓得我按他们一些文章查了下，但是并没有发现他们说的问题……

2.3、内存泄漏分析

继续往下排查，难道是迁移后对java应用做了一些改造出现内存泄漏了？

于是又按照排查内存泄漏的思路进行排查，但仍旧一无所获！我的应用并没有明显的内存泄漏情况

full GC情况都很正常，内存泄漏分析工具分析出来的结果也是正常的

下面也列举一下排查gc和内存泄漏的方法，各位如果需要也可以按这个思路查一下：

2.3.1、gc情况查询

使用 jstat 命令查看垃圾回收的统计信息，例如：

docker exec -it <container-id-or-name> jstat -gc <pid>

这些信息包括不同区域（S0、S1、EC、OC等）的容量（C：容量，U：已使用），垃圾回收的次数（YGC：Young GC次数，FGC：Full GC次数，CGC：Compacting GC次数）以及相应的时间和耗时等。

下面是对一些关键字段的解释：

  • S0C 和 S1C：S0和S1区的容量（Capacity）。
  • S0U 和 S1U：S0和S1区的已使用（Used）空间。
  • EC 和 EU：Eden区的容量和已使用空间。
  • OC 和 OU：Old区（老年代）的容量和已使用空间。
  • MC 和 MU：元空间（Metaspace）的容量和已使用空间。
  • CCSC 和 CCSU：压缩类空间的容量和已使用空间。
  • YGCT：Young垃圾回收的总时间（秒）。
  • FGC 和 FGCT：Full垃圾回收的次数和总时间。
  • CGC 和 CGCT：压缩垃圾回收的次数和总时间。
  • GCT：总的垃圾回收时间。

2.3.2、内存泄漏分析

使用 jcmd 和 jmap

连接到运行中的Java进程，并使用 **jcmd 或 jmap 生成堆转储文件

我这里使用了docker，没有用docker请酌情修改：

bashCopy code
docker exec -it <container-id-or-name> jcmd <pid> GC.heap_dump /path/to/dump.hprof

**替换 ** 为您的容器ID或名称， 为Java进程的ID。这将在容器中生成堆转储文件。

之后将dump.hprof文件保存到本地，借助于分析java dump文件的工具分析

我这里用到了Memory Analyzer (Eclipse MAT)，分析后的结果可以参考：

新图片

2.4、内存太小？

折腾了一番之后，并没有发现问题原因。

于是，我回到最初的问题，阿里云技术支持说是内存太小了

并且，kswapd0是处理内存交换的进程，但是我这台阿里云服务器好像没有开启内存交换；而我之前用的搬瓦工是开了内存交换区的

难道是因为内存耗尽，并且没有开交换区，导致服务器kswapd0进程频繁读写磁盘，cpu利用率变高的吗？

想到这，我倒吸一口冷气🥶开干！我玩的就是真实！😡

2.4.1、开启交换区

开启交换区可以参考阿里云文档：

https://help.aliyun.com/zh/ecs/how-do-i-configure-a-swap-partition-on-a-linux-instance-and-resolve-frequently-asked-questions?spm=a2c6h.14164896.0.0.798447c52MTB5u&scm=20140722.S_help@@%E6%96%87%E6%A1%A3@@42534._.ID_help@@%E6%96%87%E6%A1%A3@@42534-RL_swap-LOC_llm-OR_ser-V_3-RE_new2-P0_0

部分参数本文做一些简单的补充说明：

dd if=/dev/zero of=/mnt/swap bs=1M count=4096

这些参数是 Linux 内核的一些系统调整参数，用于配置系统的行为。以下是每个参数的简要说明：

  1. vm.swappiness = 40:
  • 意义：控制内核在内存不足时对交换空间的使用倾向程度。
  • 默认值：60
  • 建议：适用于多数情况，使得系统更加平衡地使用物理内存和交换空间。
  1. kernel.sysrq = 1:
  • 意义：启用 SysRq 键的使用。SysRq 键提供了一组对内核的低级调试和操作的功能。
  • 默认值：0（禁用）
  • 建议：在需要进行系统调试或恢复时启用，但正常运行时最好禁用。
  1. net.ipv4.neigh.default.gc_stale_time = 120:
  • 意义：定义 ARP 高速缓存（neighbor cache）的过期时间（以秒为单位）。
  • 默认值：60
  • 建议：适用于大多数网络环境，可以根据实际情况调整。
  1. net.ipv4.conf.all.rp_filter = 0:
  • 意义：启用/禁用反向路径过滤，用于防范 IP 源地址欺骗攻击。
  • 默认值：1（启用）
  • 建议：根据网络拓扑和需求进行调整。
  1. net.ipv4.conf.default.rp_filter = 0:
  • 同上，对默认网络接口的设置。
  1. net.ipv4.conf.default.arp_announce = 2:
  • 意义：ARP 发送规则，控制系统对 ARP 响应中的源 IP 地址的选择。
  • 默认值：0
  • 建议：2（适用于多地址绑定的情况）。
  1. net.ipv4.conf.lo.arp_announce = 2:
  • 同上，对本地回环接口的设置。
  1. net.ipv4.conf.all.arp_announce = 2:
  • 同上，对所有网络接口的设置。
  1. net.ipv4.tcp_max_tw_buckets = 5000:
  • 意义：定义系统同时保持的 TIME-WAIT 状态的最大数量。
  • 默认值：180000
  • 建议：适用于防止过多 TIME-WAIT 状态的系统。
  1. net.ipv4.tcp_syncookies = 1:
  • 意义：启用 TCP syncookies，用于防范 SYN 攻击。
  • 默认值：0（禁用）
  • 建议：1（启用）
  1. net.ipv4.tcp_synack_retries = 2:
  • 意义：定义发送 SYN-ACK 包后等待 ACK 的次数。
  • 默认值：5**
  • 建议：适用于防范 TCP 连接建立问题。
  1. net.ipv4.tcp_slow_start_after_idle = 0:
  • 意义：禁用 TCP 的慢启动算法。默认值：1
    建议：0（禁用）

这些参数的具体设置需要根据系统的实际需求和网络环境来调整。在进行调整时，请确保了解每个参数的含义，以及如何适应你的系统配置。

2.4.2、开启交换区后

开启交换区后，系统终于恢复正常了，不再每隔几天就挂掉了，谢天谢地😇

新图片

3、最后

希望本文的内容对你有所帮助

如果可以，麻烦关注一下本站 https://wscoder.com/

您的支持，是我的最大动力

笨比master
关注
记一次阿里云服务器CPU长期100%发现被被种挖矿程序解决的过程（挖矿入侵应急响应）
墨痕诉清风的博客
11-18 2565
记一次阿里云服务器被被种挖矿程序解决的过程。
阿里云ECS服务器的CPU如果经常100%跑满该怎么检查？
m0_55512894的博客
02-25 1111
一、背景和现象 初创公司，架构lanmp，web前端和后端分开服务器，业务驱动主要是nginx和apache，nginx主要是处理静态文件和反向代理，前后端、搜索引擎、缓存、队列等附加的服务都是用docker容器部署。因为比较初级，上传文件和采集文件都是直接写在硬盘上，涉及到的目录共享，就在其中一台服务器存储并且nfs共享。我们暂且分为ECS1（apache1）、ECS2（apache2）、ECS3（nginx）...
阿里云服务器cpu使用率一直100%，疑似中了病毒脚本
下雨了亦留此地的博客
10-13 731
参考文章 cpu使用率一直100% TCP 之 SYN_SENT状态 linux下查询进程对应文件 亲测有效 其它
阿里云ESC服务器CPU一直处于100%该如何排查？
热爱编程、热爱生活、热爱探索
09-10 1276
使用 docker 容器化部署整个项目，然后服务器的CPU一直处于100%，此时就出现了问题：此时如果重新开启一个窗口去连接，或者访问宝塔面板、Navicat连接MySQL就连接不上了，问题很严重。
太扎心！排查阿里云 ECS 的 CPU 居然达100%
这个时代，作为程序员可能要学习小程序
09-10 311
作者：一夕如环 出处：cnblogs.com/hodge01/p/8658538.html 一、背景和现象初创公司，架构lanmp，web前端和后端分开服务器，业务驱动主要是ngin...
阿里云服务器CPU100%问题
weixin_50569525的博客
06-28 1434
在阿里云服务器中安装了redis后，隔了几天突然发现CPU进程，总是100%，用top命令查看发现没有进程占满，应该是top命令被修改了。 然后安装一个htop： yum -y install epel-release yum -y install htop 安装crontab: //vixie-cron软件包是cron的主程序； [root@CentOS ~]# yum -y install vixie-cron //rontabs软件包是用来安装、卸装、或列举用来驱动 cron 守护进程的表格的程序 [
阿里云 mysql 100_【故障公告】阿里云 RDS 数据库服务器 CPU 100% 造成全站故障
weixin_35112865的博客
02-05 455
【故障公告】阿里云 RDS 数据库服务器 CPU 100% 造成全站故障发布时间：2019-09-04 23:15,浏览次数：238, 标签：RDSCPUgithub 故障公告链接：https://github.com/cnblogs/coder-service/issues/106后续故障公告：升级阿里云 RDS SQL Server 实例故障经过非常非常抱歉，今晚 19:34 ~ 21:16 ...
阿里云服务器养只大虫子：Redis漏洞挖矿造成CPU100%的解决办法
Sail__的专栏
01-17 3888
之前在9月份的时候，我的阿里云服务器出现过一次被挖矿的情况，也是cpu爆满，后来发现是因为mysql的漏洞。 当时抓着mysql一顿处理，新建用户，强密码，设权限，nologin，可算是正常了。 这几天又再次出现了被挖矿的情况，今天算是解决了，舒服，下面说下情况。 表现：服务器上的web应用一场的慢，ssh登陆进去top -c查看如下： COMMAN处的[UWcUml]占用cpu100...
2021最新 阿里云ECS的CPU100%排查
longqizhanshen的博客
07-03 3612
一、背景和现象 初创公司，架构lanmp，web前端和后端分开服务器，业务驱动主要是nginx和apache，nginx主要是处理静态文件和反向代理，前后端、搜索引擎、缓存、队列等附加的服务都是用docker容器部署。因为比较初级，上传文件和采集文件都是直接写在硬盘上，涉及到的目录共享，就在其中一台服务器存储并且nfs共享。我们暂且分为ECS1（apache1）、ECS2（apache2）、ECS3（nginx）。某天网站业务中断，但是没有报错。一直在等待响应，默认响应超时是一分钟，所以很基础高可用没有起
阿里云AliHids进程跑满100%CPU的解决办法
u010667782的博客
06-21 1028
背景现象： AliHids占用100%CPU，重启之后暂时解决，第二天早上4点左右开始，该进程又开始跑满CPU。 解决办法： 删除该服务，Linux执行以下命令： wget http://update.aegis.aliyun.com/download/uninstall.sh chmod 755 uninstall.sh ./uninstall.sh Windows系统，下载这个bat文件执行一下。 AliHids是阿里云服务器安全防护服务，该服务还有AliYunDun和AliYunDunUpdate两个
阿里云服务器一次维护操作（cpu占用率100%，有被恶心到）
吉祥街的个人沉淀
03-20 1015
与这个情况类似，但又有不同 记录一次服务器cpu占用高的解决经历 top命令查看，无法找到占用cpu的进程， 安装htop 1、下载最新的htop-.tar.gz； 2、解压 tar -xvf htop-.tar.gz； 3、cd 到解压目录； 4、执行./configure; 如果执行报错 configure: error: You may want to use --disable-unicode or install libncursesw. ， 表明缺少lib 包， 安装lib包：yum i
2024，了解云原生技术栈收藏这一篇就够了（附学习笔记）
2301_79054215的博客
04-26 596
本人现在工作中负责云原生服务管理平台的研发（主要管理各类云原生基础设施，平台服务和第三方托管应用），但即便如此，常被问起云原生是什么时，我也很难简洁的向人表述清楚，导致自我也经常问一遍，云原生究竟是什么，我又在做什么。
解决腾讯云Ubuntu服务器突然CPU100%占用+ssh连不上+网站打不开+实例重启很慢
Rudon滨海渔村的博客
02-15 3003
解决思路 1.ssh连到vps通过top查看cpu占用进程，kill掉 2.本机ssh失败的话，试下腾讯云在线工具：腾讯云控制台>实例>右边的“登录”按钮>IP+账密 3.还是失败？试下腾讯云实例普通重启（不勾选强制重启） 4.还是一个鸟样？试下腾讯云实例的强制重启 5.再不行，客服投诉 参考 腾讯云Linux系统vnc浏览器登录方式 - 云+社区 - 腾讯云 b)在云服务器列表的操作列，点击【登录】按钮即可通过 VNC 连接至 Linux 云服务器https://clo
服务器CPU满载100%怎么处理
最新发布
m0_70754056的博客
05-17 1016
CC是通过IP频繁的发起访问，可以通过命令或在查看日志查看到一些IP，就可以在IIS中设置屏蔽该IP对Web站点的访问，从而缓解CC攻击的压力。随着网络信息化的发展，服务器给企业服务商们带来非常多的便利，但与此同时在服务器的管理和维护上也令众多服务商们头疼不已，尤其当服务器在长时间的运行状态上，卡顿是最常见的问题，CPU满载是卡顿最常见的原因之一，那么遇到服务器CPU满载100%怎么办？2、程序占用导致的CPU满载，可以升级更高的硬件配置来解决，或者也是可以另购一台机器，将业务分摊到两台机器上，进行使用。
(centos7)阿里云 ECS中毒后CPU一直占用100%的解决过程
Gogym的博客
05-15 6602
这两天发现部署在阿里云上的ECS服务器的CPU一直占用100%，一开始以为只是偶然的，没在意。 后面发现CPU一直满载，这不应该呀。于是赶紧看看是怎么回事。 使用 top 命令查看cpu使用情况： 发现有一个 vTtHH1 的进程占用 200%的cpu，这是什么鬼，貌似哥不曾相识啊。 于是乎，通过命令 ：cd /proc/32676 -> ll 查看这到底是什么玩意，...
服务器被攻击导致CPU100%的解决
过于丰富，无法简介
09-07 5855
排除服务器上是否有定时任务、顽固脚本等问题 top指令查看cpu占用情况： `` 尝试使用kill指令杀死对应进程,杀完之后发现对应服务依旧会重启： kill -9 pid 查看服务器进程数量，进程数量偏高确实存在问题： netstat -anp |grep tcp |wc -l 查看系统中存在的定时任务,定时任务与占用CPU最高的服务名称相同尝试关闭定时任务 crontab -l 修改定时任务的文件，删除定时任务保存。保存后发现还是会向服务中添加定时任务 crontab -e 直接停止定时任务进程
阿里云服务器挖矿病毒解决方法
慌途L
04-01 4552
公司一直用的阿里云服务器进行生产环境的部署，但是最近某一台服务器上的CPU使用率一直高达95%以上，经过排查项目和代码、定时脚本等，都未发现问题根源，但是有一个文件的占用很高 排查：查看CPU占用率 在服务器上使用命令：top -c 查看进程运行的信息列表 再按下大写的：P 使进程按照CPU使用率排序 类似下图（这里只做演示，非实际情况）： 然后可以看到 /usr/local/lib/.libs 占用cpu过高 再接着就是杀进程（这里要排除不是自己的项目所涉及到的） 但是每次杀完之后，CPU就降了下去
阿里云服务器系统磁盘总读BPS突增引发网站502BadGateway错误处理实践
聚搜云_上海聚搜信息技术有限公司
12-10 1251
总的来说，处理阿里云服务器系统磁盘总读BPS突然增长很高引发的网站502错误，需要从问题定位，系统优化，网站优化，配置优化等多个角度入手，通过各种方法降低磁盘的读取次数，保障网站的正常运行。首先可以对服务器进行清理，删除无用的临时文件和日志文件，这些都可能占据大量的磁盘空间，并且增加磁盘的读取次数。其次可以对数据库进行优化，例如优化SQL查询，避免全表扫描，减少不必要的磁盘IO。服务器系统优化后，我们可以对网站进行优化。首先，我们可以开启Gzip压缩，减少传输的数据量，从而降低磁盘的读取次数。
ECS服务器为什么会CPU负载过高？有什么防护措施吗？
聚搜云_上海聚搜信息技术有限公司
07-26 495
例如，程序中存在死循环、无限递归或者大量线程阻塞等问题，都可能导致CPU资源被持续占用，从而导致负载过高。此外，如果应用程序设计不合理，没有充分利用多线程或并行计算的能力，也可能导致CPU资源的浪费。我们可以通过监控CPU使用率、优化应用程序和服务、加强安全防护等措施来预防和应对CPU负载过高的情况。另外，加强服务器的安全防护是非常重要的。其次，合理调整应用程序或服务的工作负载，优化代码逻辑和算法，避免不必要的资源浪费。首先，我们可以通过监控系统的CPU使用率来及时发现负载过高的情况，并进行分析定位。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值