记一次K8S node not ready 问题定位

昨天晚上,针对K8S环境做了一次压测,50路并发实施,早上起来看监控,发现昨晚8点之后,系统好像都宕掉了,一看master节点和一个node节点状态变成了not ready,主要定位手段如下:

1. 查看master kubelet状态

systemctl status kubelet 状态正常

2. 查看master kube-proxy状态

systemctl status kube-proxy  状态正常

3. 查看master kube-apiserver状态

systemctl status kube-apiserver  状态正常

4. 查看master kube-scheduler状态

systemctl status kube-scheduler  状态正常

5. 查看master etcd状态

systemctl status etcd  状态正常

6. 查看flannel状态

在kubernetes-dashboard上看到flannel挂掉了,查看日志如下

Failed create pod sandbox: rpc error: code = Unknown desc = failed to start sandbox container for pod "kube-flannel-ds-amd64-sc7sr": Error response from daemon: OCI runtime create failed: container_linux.go:348: starting container process caused "process_linux.go:301: running exec setns process for init caused \"signal: broken pipe\"": unknown

<
ks node 处于 NotReady 状态通常表示该节点无法正常工作,无法接受新的Pod调。这可能是由于节点的网络连接问题资源不足、kubelet未正确运行、容器运行时问题等引起的。要解决此问题,可以尝试以下步骤1. 检查节点的网络连接:确保节点能够与群中的其他节点和控制平面进行通信。可以使用 ping 命令或其他网络工具进行测试。 2. 检查节点资源:确保节点具有足够的资源(CPU、内存、磁盘)来运行Pod。可以使用 kubectl describe node <node-name> 命令查看节点资源信息。 3. 检查 kubelet 运行状态:通过运行 systemctl status kubelet 命令(在使用 systemd 的系统上)或 service kubelet status 命令(在使用 init.d 的系统上)来检查 kubelet 服务是否正常运行。如果 kubelet 未运行,请尝试启动它。 4. 检查容器运行时:如果节点上使用的是 Docker 运行时,请确保 Docker 服务正常运行。可以通过运行 systemctl status docker 命令来检查 Docker 服务状态。如果出现问题,可以尝试重启 Docker 服务。 5. 检查容器运行时配置:某些情况下,容器运行时的配置可能有问题,导致节点处于 NotReady 状态。请检查容器运行时的配置文件,并确保其正确设置。 如果以上步骤都没有解决问题,可以查看节点的日志文件(如 kubelet 日志、容器运行时日志)来获取更多详细信息,以帮助进一步排查和解决问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值