kubelet的cpu过高问题排查

本文详细描述了一次排查kubelet CPU使用率反复过高的问题过程,从问题现象到已知信息,逐步进行问题排查。通过监控和火焰图分析,发现问题可能与kubelet的fs.GetDirUsage函数及dubbo-monitor产生的图表文件有关。同时,文章提出了疑问,探讨了kubelet CPU时高时低的原因,并讨论了解决方案,包括调整kubelet配置和使用LocalVolume。
摘要由CSDN通过智能技术生成

问题现象

kubernetes集群收到一条,kubelet的cpu使用率较高的告警,过会就恢复了。然后又告警,这样的情况反反复复发生。

已知信息

  1. kubebernetes 1.17.2
  2. kubelet 1.17.2
  3. cpu使用率过高的情况并非持续的,这里可以初步怀疑,cpu的过高可能是被某个函数定时触发。

问题排查

先来一波常规套路,登录上服务器,执行如下操作:

## 找到进程的pid
ps -ef|grep kubelet

## 查看该进程的状态
top -p xxx

## 每隔1秒查看进程状态,总共10次的数据
pidstat 1 10

最终得到如下结果数据:

image.png
发现kubelet的cpu使用情况主要使用在用户态。那我们就看看这个kubelet到底是什么情况?

参考网上的诊断文档(https://www.cnblogs.com/zerchin/p/kubernetes.html)
我进行了如下操作:

## 查看详情
strace -cp 7799

image.png

发现futex这个函数占用的时间比较多,同时还发

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值