k8s运维 pod、node、namespace、pv处于terminating的原因及处理方法

1. 概述

node、pod、ns、pv由于一些原因在生产中处于terminating的状态，常规方法无法删除，一下总结了一些原因以及删除方法

2. node处于Terminating状态原因及处理方法

node节点不可达的情况下，kubectl delete po XXX 仅仅是控制组件标记删除，由于节点不可达，不能通过kubelet通知API该容器已终止，所以该节点未从API收到删除的消息，因此POD一直处于Terminating状态。可通过以下举例方式强制删除：

kubectl delete pod/kube-flannel-ds-amd64-kwztb -n kube-system --grace-period=0 --force
kubectl delete pod/nginx-ingress-controller-77db54fc46-rdw89  -n ingress-nginx --grace-period=0 --force

注意：pod所引用的资源不可用，例如挂载的nfs不可达，导致pod删除不了，要先使nfs可达后才能删除

3. ns处于terminating状态, 删除方法

NAMESPACE=monitoring
kubectl proxy & kubectl get namespace $NAMESPACE -o json | jq '.spec = {"finalizers":[]}' >temp.json
curl -k -H "Content-Type: application/json" -X PUT --data-binary @temp.json 127.0.0.1:8001/api/v1/namespaces/$NAMESPACE/finalize

4. pod处于Terminating状态原因

查看报错日志，是因为master与node节点的kubelet之前失联导致的，重新对应节点的kubelet之后，异常pod即可关闭

5. 删除pv

kubectl describe pvc PVC_NAME | grep Finalizers
kubectl get pv | tail -n+2 | awk '{print $1}' | xargs -I{} kubectl patch pv {} -p '{"metadata":{"finalizers": null}}'