k8s集群的部分pod卡在ContainerCreating状态

1.版本信息
k8s版本：v1.18.3

docker版本：19.03.8

2.前提&场景描述
k8s集群的node节点正常，分布于该节点的pod部分正常Running，部分卡在ContainerCreating，无法正常运行

3.排查步骤

1.查看pod状态

kubectl describe pod -n xxxx   【pod名称】

可以看到如下日志

Unable to attach or mount volumes: unmounted volumes=[datadir-volume]

2.查看glusterd服务状态

systemctl status glusterd

可以看到服务是正常的

3.查看glusterfs 提供的卷是否正常

使用mount命令进行挂载，得到Mount failed. Check the log file  for more details.

尝试挂载其他卷，是正常的，可以推断出是部分卷出了问题 

4.查看卷状态

gluster volume status [volume name]

可以看到Online为N，说明卷是没有正常联线到glusterfs集群的

5.重启指定glusterfs卷并查看状态

gluster volume stop [volume name]

gluster volume start [volume name]

gluster volume status [volume name]

可以看到卷状态的Online已经转变为Y

6.重启容器并查看状态 

kubectl  delete pod -n xxxx [pod name] --force

kubectl get pod -n xxxx