程序操作kubernetes资源时, 没有等旧的资源删除完毕就立即创建了同名的新资源, 导致出现了一些错误.
具体表现为kubernetes命令行删除StatefulSet时报错, timed out waiting for "mysql" to be synced, 删除多次卡住, 然后报这个超时错误.
查看这个StatefulSet:
root@kub3:~# kubectl -n admin-d2069c get statefulset mysql -o yaml
...
spec:
podManagementPolicy: OrderedReady
replicas: 0
revisionHistoryLimit: 10
selector:
matchLabels:
app: mysql
appname: mysql
name: mysql
serviceName: mysql
template:
metadata:
creationTimestamp: null
labels:
app: mysql
appname: mysql
name: mysql
name: mysql
...
replicas为0, 但是查看其下有两个状态为terminating的pod:
statefulsets/mysql 0 2 19h
po/mysql-0 0/1 Terminating 0 19h
po/mysql-1 0/1 Terminating 0 19h
然后使用如下命令再次进行删除操作:
kubectl -n admin-d2069c delete statefulset mysql --cascade=false
成功.
出现这种情况的原因是, 删除StatefulSet时会级联删除其下pod资源, 然而yaml定义中的replica为0导致了混乱, 使用--cascade=false禁用级联删除则成功, 然后单独删除其下的两个pod.
删除pod时也要注意, 因为正常情况下, StatefulSet负责管理其下的pod而不需要人为干预。所以这里要使用强制删除:
若使用1.5或者更高版本的kubectl强制删除Pod,请执行以下命令:
kubectl delete pods <pod> --grace-period=0 --force
如果您使用1.4或者更低版本的kubectl,需要省略--force选项:
kubectl delete pods <pod> --grace-period=0