生产k8s集群pod异常重启处于Terminating状态

开发在阿里云edas执行发布后，prod-rig-portal应用的pod一直处理Terminating状态

在容器服务-kubernetes查看prod-rig-portal应用的pod也是处于Terminating状态


在阿里云后台容器服务-kubernetes进行删除，删除后会一直重建此pod

在node节点进行查看也是处于Terminating状态

使用命令强制删除
[root@k8s .kube]# kubectl delete pods prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cft5lk
pod “prod-rig-portal-d7f604d8-eecd-41b8-89ca-20ed76053ec2-5cb6cft5lk” deleted
[root@iZbp18swm1hqewjwhm0eh8Z .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-20ed76053ec2-5cb6cpk7rr 0/1 Running 3 7m42s
prod-rig-portal-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578rmddr 1/1 Running 1 130d

删除过后还是会出现
[root@k8s .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-20ed76053ec2-5cb6cpk7rr 0/1 Running 3 7m43s
prod-rig-portal-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-20ed76053ec2-68578rmddr 1/1 Running 1 130d

查看deployment控制器prod-rig-portal为正常，但pod依旧为Terminating状态
[root@k8s ~]# kubectl get deployment|grep prod-rig-portal
prod-rig-portal-20ed76053ec2                      3/3                3                     3           318d

最后直接回滚到上一版本解决此问题，查看历史记录
[root@k8s .kube]# kubectl rollout history deployment prod-rig-portal-20ed76053ec2
deployment.extensions/prod-rig-portal-eecd-41b8-89ca-20ed76053ec2
REVISION CHANGE-CAUSE
1 <none> 第1次发布的版本
2 <none> 第2次发布的版本
3 <none> 第3次发布的版本
4 <none> 第4次发布的版本
5 <none> 第5次发布的版本
6 <none> 第6次发布的版本
7 <none> 第7次发布的版本
10 <none> 第8次发布的版本
11 <none> 第9次发布的版本，默认不指定版本数回滚到的就是次版本，为上一版本
12 <none> 第10次发布的版本，次为当前运行的版本

#直接回滚到上一版本
kubectl rollout undo deployment prod-rig-porta-20ed76053ec22

#回滚后检查，恢复正常
[root@k8s .kube]# kubectl get pod|grep prod-rig-portal
prod-rig-portal-d7f604d8-20ed76053ec2-68578g2d47 1/1 Running 1 130d
prod-rig-portal-d7f604d8-20ed76053ec2-68578nxhpz 1/1 Running 1 130d
prod-rig-portal-d7f604d8-20ed76053ec2-68578rmddr 1/1 Running 1 130d

#阿里云容器服务-kubernetes平台检查
YYQ运维技术博客_运维的工作学习之路
https://www.yeyouqing.top
https://yeyouqing.top
yeyouqing.top
www.yeyouqing.top