记录一次k8s节点故障的解决记录

最新推荐文章于 2024-03-17 01:53:55 发布
最新推荐文章于 2024-03-17 01:53:55 发布
阅读量2.1k 收藏 3
点赞数 1
分类专栏： k8s 文章标签： linux eureka java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IPVPN/article/details/122518059
版权

现象1：一直有一个节点未准备

[root@master ~]# kubectl get nodes 
NAME STATUS ROLES AGE VERSION 
master Ready master 60m v1.17.0 
node1 NotReady <none> 30m v1.17.0 
node2 Ready <none> 29m v1.17.0

现象2：有一个flannel显示ImagePullBackOff

[root@master ~]# kubectl get pods -n kube-system 
NAME READY STATUS RESTARTS AGE 
coredns-9d85f5447-r2dx6 1/1 Running 0 64m 
coredns-9d85f5447-zskjc 1/1 Running 0 64m 
etcd-master 1/1 Running 0 64m 
kube-apiserver-master 1/1 Running 0 64m 
kube-controller-manager-master 1/1 Running 0 64m 
kube-flannel-ds-7bknh 1/1 Running 0 33m 
kube-flannel-ds-9xwsr 0/1 Init:ImagePullBackOff 1 35m 
kube-flannel-ds-tspl2 1/1 Running 0 44m 
kube-proxy-ggd7p 1/1 Running 1 35m 
kube-proxy-m8ljk 1/1 Running 0 64m 
kube-proxy-xrt7c 1/1 Running 0 33m 
kube-scheduler-master 1/1 Running 0 64m

现象3：查看kube-flannel-ds-9xwsr 发现是pull镜像超时

[root@master ~]# kubectl describe pod -n kube-system kube-flannel-ds-9xwsr 
Name: kube-flannel-ds-9xwsr 
Namespace: kube-system 
Priority: 2000001000 . . 
Events: 
Type Reason Age From Message 
---- ------ ---- ---- ------- 
Normal Scheduled 46m default-scheduler Successfully assigned kube-system/kube-flannel-ds-9xwsr to node1 
Normal Pulling 46m kubelet, node1 Pulling image "rancher/mirrored-flannelcni-flannel-cni-plugin:v1.0.0" 
Normal Pulled 46m kubelet, node1 Successfully pulled image "rancher/mirrored-flannelcni-flannel-cni-plugin:v1.0.0" 
Normal Created 46m kubelet, node1 Created container install-cni-plugin Normal Started 46m kubelet, node1 Started container install-cni-plugin 
Normal Pulling 46m kubelet, node1 Pulling image "rancher/mirrored-flannelcni-flannel:v0.16.1" 
Normal SandboxChanged 17m kubelet, node1 Pod sandbox changed, it will be killed and re-created. 
Normal Started 17m kubelet, node1 Started container install-cni-plugin Normal Created 17m kubelet, node1 Created container install-cni-plugin 
Normal Pulled 17m kubelet, node1 Container image "rancher/mirrored-flannelcni-flannel-cni-plugin:v1.0.0" already present on machine 
Normal Pulling 10m (x4 over 17m) kubelet, node1 Pulling image "rancher/mirrored-flannelcni-flannel:v0.16.1" 
Warning Failed 9m23s (x4 over 15m) kubelet, node1 Error: ErrImagePull 
Warning Failed 9m11s (x5 over 15m) kubelet, node1 Error: ImagePullBackOff 
Warning Failed 6m24s (x5 over 15m) kubelet, node1 Failed to pull image "rancher/mirrored-flannelcni-flannel:v0.16.1": rpc error: code = Unknown desc = context canceled 
Normal BackOff 112s (x23 over 15m) kubelet, node1 Back-off pulling image "rancher/mirrored-flannelcni-flannel:v0.16.1"

解决过程：

在故障节点尝试的操作：

1、重启故障节点（未能解决）

2、尝试启动停止的容器，发现启动不了

3、重启daemon和docker，未能解决

4、停止运行中的容器，并删除未启动的容器，故障解决

具体操作过程如下所示

#查看容器运行状态（此处是为了方便和重启后做对比，此处有6个容器）

[root@node1 ~]# docker ps -a 
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 
b8a649455c1c 7d54289267dc "/usr/local/bin/kube…" 2 minutes ago Up 2 minutes k8s_kube-proxy_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_2 
46ba6b578ebf registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 2 minutes ago Up 2 minutes k8s_POD_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_2 
12326131af76 cd5235cd7dc2 "cp -f /flannel /opt…" 9 minutes ago Exited (0) 2 minutes ago k8s_install-cni-plugin_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_1 
2f7b7ceec68e 7d54289267dc "/usr/local/bin/kube…" 10 minutes ago Exited (2) 2 minutes ago k8s_kube-proxy_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_1 
268dc494222a registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 10 minutes ago Up 9 minutes k8s_POD_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_1 
b1ac093e353f registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 10 minutes ago Exited (0) 2 minutes ago k8s_POD_kube-proxy-ggd7p_kube-system_1a7d6907

 #重新加载daemon 和重启docker服务

#重新加载daemon 
[root@node1 ~]# systemctl daemon-reload 
#重启docker服务 [root@node1 ~]# systemctl restart docker 
#再次查看容器运行状态，发现多了2个Exited状态的容器和1个Created状态的容器总计有9个容器
[root@node1 ~]# docker ps -a 
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 
6a742f121b59 cd5235cd7dc2 "cp -f /flannel /opt…" 10 seconds ago Exited (0) 9 seconds ago k8s_install-cni-plugin_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_0 
36e69e7a3dcd 7d54289267dc "/usr/local/bin/kube…" 10 seconds ago Up 9 seconds k8s_kube-proxy_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_3 
95b0547dbf88 registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 10 seconds ago Up 10 seconds k8s_POD_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_3 
cd90ee8a56cf registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 10 seconds ago Up 9 seconds k8s_POD_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_3 
b1237af848cf registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 11 seconds ago Created k8s_POD_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_2 
b8a649455c1c 7d54289267dc "/usr/local/bin/kube…" 16 minutes ago Exited (2) 11 seconds ago k8s_kube-proxy_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_2 
46ba6b578ebf registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 16 minutes ago Exited (0) 11 seconds ago k8s_POD_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_2 
268dc494222a registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 23 minutes ago Exited (0) 11 seconds ago k8s_POD_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_1 
b1ac093e353f registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 23 minutes ago Exited (0) 16 minutes ago k8s_POD_kube-proxy-ggd7p_kube-system_1a7d690

#过了一段时间之后发现，刚刚新增的3个容器消失了，有变回了6个

[root@node1 ~]# docker ps -a 
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 
6a742f121b59 cd5235cd7dc2 "cp -f /flannel /opt…" 50 seconds ago Exited (0) 49 seconds ago k8s_install-cni-plugin_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_0 
36e69e7a3dcd 7d54289267dc "/usr/local/bin/kube…" 50 seconds ago Up 49 seconds k8s_kube-proxy_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_3 
95b0547dbf88 registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 50 seconds ago Up 49 seconds k8s_POD_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_3 
cd90ee8a56cf registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 50 seconds ago Up 49 seconds k8s_POD_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_3 
b8a649455c1c 7d54289267dc "/usr/local/bin/kube…" 16 minutes ago Exited (2) 51 seconds ago k8s_kube-proxy_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_2 
46ba6b578ebf registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 16 minutes ago Exited (0) 51 seconds ago k8s_POD_kube-proxy-ggd7p_kube-system_1a7d690

##停止运行中的容器 

[root@node1 ~]# docker stop 36e69e7a3dcd 95b0547dbf88 cd90ee8a56cf 
36e69e7a3dcd 
95b0547dbf88 
cd90ee8a56cf

#删除所有容器，发现有4个容器无法删除提示在运行 

[root@node1 ~]# docker container rm $(docker ps -qa) 
11aaee411eb8 
e2efad2fb393 
a7ad16a4f86e 
36e69e7a3dcd 
95b0547dbf88 
cd90ee8a56cf 
Error response from daemon: You cannot remove a running container 79d354753c5d143c1b2bd95d1aa52ca48fa861e530da967c86b6537e52895647. Stop the container before attempting removal or force remove 
Error response from daemon: You cannot remove a running container 74f74b6b43e5dc02110aec24d38489412c4833e18e4ee860d8019bfcdae4aad8. Stop the container before attempting removal or force remove 
Error response from daemon: You cannot remove a running container 30f4881c1809d107a2bf717c45a780a9b04ae8cc9f40278723a74686ef3f72f2. Stop the container before attempting removal or force remove 
Error response from daemon: You cannot remove a running container 9a82cbc9374c73288bc0e3bc8205c3c1d298b4409483c38a8d2edcf7682100ec. Stop the container before attempting removal or force remove

#再次查看，发现确实有4个容器在运行，而且是全新运行的容器

[root@node1 ~]# docker ps -a 
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 
79d354753c5d 7d54289267dc "/usr/local/bin/kube…" 26 seconds ago Up 26 seconds k8s_kube-proxy_kube-proxy-ggd7p_kube-system_1a7d6907-415b-40cf-ae6a-9297ffad8e3e_4 
74f74b6b43e5 404fc3ab6749 "/opt/bin/flanneld -…" 39 seconds ago Up 38 seconds k8s_kube-flannel_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_1 
30f4881c1809 registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 41 seconds ago Up 40 seconds k8s_POD_kube-flannel-ds-9xwsr_kube-system_45e1f94a-28e2-4f8b-89bc-a0cec89f3352_4 
9a82cbc9374c registry.aliyuncs.com/google_containers/pause:3.1 "/pause" 42 seconds ago Up 41 seconds k8s_POD_kube-proxy-ggd7p_kube-system_1a7d6907-415b-4

#回到Master节点查看，发现故障节点已经恢复，且准备完毕

[root@master ~]# kubectl get nodes 
NAME STATUS ROLES AGE VERSION 
master Ready master 96m v1.17.0 
node1 Ready <none> 67m v1.17.0 
node2 Ready <none> 65m v1.17.0

#kube-flannel-ds-9xwsr 故障的flannel也恢复了 

[root@master ~]# kubectl get pods -n kube-system 
NAME READY STATUS RESTARTS AGE 
coredns-9d85f5447-r2dx6 1/1 Running 0 96m 
coredns-9d85f5447-zskjc 1/1 Running 0 96m 
etcd-master 1/1 Running 0 96m 
kube-apiserver-master 1/1 Running 0 96m 
kube-controller-manager-master 1/1 Running 0 96m 
kube-flannel-ds-7bknh 1/1 Running 0 65m 
kube-flannel-ds-9xwsr 1/1 Running 1 67m 
kube-flannel-ds-tspl2 1/1 Running 0 76m 
kube-proxy-ggd7p 1/1 Running 4 67m 
kube-proxy-m8ljk 1/1 Running 0 96m 
kube-proxy-xrt7c 1/1 Running 0 65m 
kube-scheduler-master 1/1 Running 0 96m

探索者2号
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
K8S故障排查指南：部分节点无法启动Pod资源-Pod处于ContainerCreating状态
江晓龙的博客
05-23 7673
K8S部分节点无法启动Pod资源-Pod处于ContainerCreating状态 1.Pod长时间处于ContainerCreating状态的原因 在日常运维中可能会遇到Pod资源长时间处于ContainerCreateing正在创建的状态，Pod维持这种状态在1-2分钟内还可以接受，如果在10分钟以上甚至更长，那么可能就是出问题了，遇到Pod资源处于非Running状态时，首先需要使用kubectl describe命令查看Pod的详情信息，从中获取报错信息。 Pod长时间处于ContainerCrea
k8s节点部署网络插件flannel.yaml
07-26
k8s节点部署网络插件flannel.yaml
打破 Dockershim 移除焦虑，且看Rancher 如何应对
Rancher
05-06 1330
王海龙， SUSE Rancher 中国社区技术经理，负责 Rancher 中国技术社区的维护和运营。拥有 8 年的云计算领域经验，经历了 OpenStack 到 Kubernetes 的技术变革，无论底层操作系统 Linux，还是虚拟化 KVM 或是 Docker 容器技术都有丰富的运维和实践经验。 前言 早在 2020 年 12 月，Kubernetes 就宣布将要弃用 Dockershim。在 Kubernetes 中，Dockershim 是一个适配器组件，Dockershim 适配器允许 Ku.
K8s 集群高可用master节点ETCD挂掉如何恢复?
最新发布
山河已无恙
03-17 1337
很常见的集群运维场景，整理分享博文内容为 K8s 集群高可用master节点故障如何恢复的过程理解不足小伙伴帮忙指正不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了。——村上春树。
解决 k8s flannel网络 一直 Init:ImagePullBackOff和coredns状态为Pending
廖圣平
08-26 2659
安装好k8s之后 一直都是NoReady的状态 watch kubectl get pod -n kube-system -o wide 查看pod 是因为 kube-flannel-ds-zw4h8 init 失败了 检查日志 kubectl describe pod kube-flannel-ds-zw4h8 --namespace=kube-system 大概长这样 Normal Scheduled 33m default-scheduler.
centos7部署rancher2.5详细图文教程
蘑菇猎手的专栏
12-30 4285
v2.6版本和v2.5版本差别很大，这种差异感类似于elk的7及以下版本与和8版本的区别。 看了下2.6它的文档，没有再找到单节点的相关文档，只剩下推荐rancher本身部署在一个专用的k8s集群上，以保证rancher的高可用。由于服务器资源有限，不考虑将rancher部署到专用k8s上。
Kubernetes：3步排查K8S Deployment故障
热门推荐
琦彦
02-29 1万+
Kubernetes中部署一个应用程序 Deployment故障排查思路 Deployment故障排查思路 1. pod是pending状态 cluster full ? ResourceQuota? PVC pending? pod 是否调度到Node？Scheduler? Kubelet? 2. pod不是running状态 kubectl logs 分析？还可以判断...
k8s pod异常与故障排查及问题思路
砚墨
06-09 6548
通常情况下pod发生问题时首先收集一下错误 kubectl get pod <pod-name> -o yaml 查看 Pod 的配置是否正确 kubectl describe pod <pod-name> 查看 Pod 的事件 kubectl logs <pod-name> [-c <container-name>] 查看容器日志 Pod Pending 状态 如果一个 Pod 处于 Pending 状态，表示 Pod 没有被调度到节点上。通常这是因为某种
超长可视化指南！带你理清K8S部署的故障排查思路，让bug无处遁形
gman344的博客
02-07 279
本文将帮助你厘清在Kubernetes中调试 deployment的思路。下图是完整的故障排查思路，如果你想获得更清晰的图片，请在公众号后台（RancherLabs）回复“troubleshooting”。 当你希望在Kubernetes中部署一个应用程序，你通常需要定义三个组件： Deployment——这是创建名为Pods的应用程序副本的方法 Serivce——内部负载均衡器，将流量路由到Pods Ingress——可以描述流量如何从集群外部流向Service 接下来，我们通过...
k8s业务故障集锦
weixin_42323738的博客
07-06 373
通过观察问题主机的参数，发现net.netfilter.nf_conntrack_tcp_timeout_established的阈值为300，即5分钟后tcp_established的信息将不在记录，从而被nf_conntrack回收。2）当建立的tcp链接，在等待8分钟之后，再发送数据，却迟迟没有收到数据库的返回包，导致java服务端一直在进行包的重传，重传多次，也没有收到数据库的回包。1）数据库在于java服务端建立了tcp链接之后，在立即发送数据包的情况下，可以收到从java服务端发送来的数据包。
【k8s医生】k8s集群故障排查 – 关于kubelet 的NotReady故障
Friendsofthewind的博客
11-13 888
无论是模拟环境，还是生产环境；kubelet 的NotReady故障是最常见的问题之一，所以掌握其排查方法很重要，而且要学会灵活变通的应用。若是遇到此类问题，主要从，资源不足也会导致此类问题；服务异常停止等等。还有，我遇到不是问题的问题。在新部署的k8s集群，出现NotReady，检查来检查去没有发现问题，什么原因？是虚机环境，集群之间通信慢，等它几分钟后，自动恢复了。尤其是新手，。
创建K8s节点的虚拟机
01-05
创建K8s节点的虚拟机
k8s主节点环境巡检脚本
08-28
针对于k8s的主节点！巡检！各个服务状态等等！还有系统版本，是不是与外网进行互通，非常实用！喜欢的可以试试 ！
K8s安装部署文档说明记录
06-29
K8s安装部署文档说明记录，适用于初学者安装调试部署参考材料
k8s基础知识-日常记录
08-04
k8s基础知识-日常记录
flannel ImagePullBackOff
mayi_xiaochaun的博客
03-03 1157
按照搭建Kubernetes时官网给的命令 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml master节点flannel 拉取镜像失败 查看详细信息： kubectl describe pod kube-flannel-ds-xtfvq -n kube-system 打印如下： 解决方案1：node节点 pull成功，..
Mac下安装minikube在拉取镜像时失败ImagePullBackOff
架构师修炼道路
02-09 938
Mac下安装minikube在拉取镜像时失败ImagePullBackOff
Kubernetes之k3s: 使用docker作为容器来运行ros2节点 （Agent篇）
maxmilianxing的博客
01-28 1342
在amd64和arm64的笔记本或者虚拟机中，k3s的Server和Agent，根据官网的介绍和配置都是很容易搭建的。而且server和master的flannel-backend的模式需要保持一致，而且k3s默认的flannel-backend的模式是vxlan，所以在Nvidia Orin搭建k3s集群就需要特别注意网络配置。参数，ros2在不同设备的容器之间通信需要使用host的网络，就如在不同设备直接运行docker中的ros2容器，我们需要添加。简单的搭建k3s的Server已经简单的介绍了。
K8s：Kubernetes 故障排除方法论
山河已无恙
07-29 885
博文内容为节译整理文中提到的工具大部分是商业软件，不是开源的，作为了解理解不足小伙伴帮忙指正对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
k8s 节点notready的可能原因和解决办法
07-17
解决方法可以包括检查网络配置、确保节点可以与控制平面通信、排除网络故障等。 2. 资源不足：节点上的资源（如CPU、内存）不足，导致节点无法正常工作。可以通过增加节点的资源（例如增加内存或CPU）或者调整调度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值