k8s出现问题导致cpu使用率过高

今天突然发现k8s的dashboard很卡,进到master节点,用top命令查看,发现如下信息:

  • cpu使用率很高,主要是si(软中断)占用了80%
  • iptables命令是占用cpu最高的

于是用iptables -L命令查看iptables规则,发现提示另一个app锁住了iptables。
于是用iptables -L -w命令等待一段时间后,发现疯狂刷iptables规则,于是得出结论:

  • 有一个程序在一直往iptables里写东西

    由于安装k8s集群的时候清空了iptables规则,也没有注意到底哪一步设置了iptables规则,所以毫无头绪,只好把k8s重新部署一遍(顺便升级到1.10.0)

重新部署后发现问题所在:

  • 在node节点部署kubelet时,配置了systemd unit文件,里面有添加iptables规则,且设置了如果启动失败每5秒尝试重启一次。
  • 于是当kubelet启动失败时,它就重启一次,然后加几条iptables规则,于是就一直写下去
  • 我第一次部署的时候估计在master节点安装了kubelet,但是启动没有成功,当时也没在意,导致问题出现
  • 重新部署后该问题解决
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值