kubelet启动失败_kubernetes StatefulSet pod启动失败原因分析

问题背景：

kubernetes集群上kafka集群有一个节点失败，查看状态是zk的pod没有启动，解决kafka启动需要首先解决zk的pod启动失败的问题

zk pod启动报如下错误

Warning FailedMount 35s (x6 over 50s) kubelet, dev-worker04 MountVolume.WaitForAttach failed for volume "pvc-d544702451d911e9" : volumeattachments.storage.k8s.io"csic784162ad5075551f2cb597007d511f2cd5601e9502419cf64d6be2b7eaa47d3" is forbidden: User "system:node:dev-worker04" cannot get volumeattachments.storage.k8s.io at the cluster scope: no path found to object

1.问题的表象是volume没有找到，导致端挂载失败，pod无法启动

2.describe pod信息查看调度是正常的

Normal Scheduled 1m default-scheduler Successfully assigned common/kafkazk-1 to dev-worker04

3.查看对应的node节点，服务器状态没有异常情况

4.首先尝试了重启zk pod发现依然有类似的报错

5.查看pv和pvc没有发现错误信息

6.到对应的node节点查看kubelt的信息

systemctl status kubelet -l

查看到有错误信息

kubelet_volumes.go:140] Orphaned pod "d29f26dc-77bb-11e9-971b-0050568417a2" found, but volume paths are still present on disk : There were a total of 3 errors similar to this. Turn up verbosity to see them

就是说pod重启了，但是卷没有成功的卸载导致新启动的pod找不到卷挂载

7.由于是开发环境，暂时使用暴力方法处理，删除/var/lib/kubelet/pods下的对应pod "d29f26dc-77bb-11e9-971b-0050568417a2"

8.删除失败的pod，StatefulSet会重新拉起pod，观察1m左右，zk pod启动成功

9.同样的方法重启kafka pod

10.再次观察pod信息，都是running状态了，对应节点的kubelet也没有报错信息了

11.生产环境是不能使用如此粗暴的方式处理，不知道读者有什么好的建议