1.版本信息
k8s版本:v1.18.3
docker版本:19.03.8
2.前提&场景描述
k8s集群的node节点正常,分布于该节点的pod部分正常Running,部分卡在ContainerCreating,无法正常运行
3.排查步骤
1.查看pod状态
kubectl describe pod -n xxxx 【pod名称】
可以看到如下日志
Unable to attach or mount volumes: unmounted volumes=[datadir-volume]
2.查看glusterd服务状态
systemctl status glusterd
可以看到服务是正常的
3.查看glusterfs 提供的卷是否正常
使用mount命令进行挂载,得到Mount failed. Check the log file for more details.
尝试挂载其他卷,是正常的,可以推断出是部分卷出了问题
4.查看卷状态
gluster volume status [volume name]
可以看到Online为N,说明卷是没有正常联线到glusterfs集群的
5.重启指定glusterfs卷并查看状态
gluster volume stop [volume name]
gluster volume start [volume name]
gluster volume status [volume name]
可以看到卷状态的Online已经转变为Y
6.重启容器并查看状态
kubectl delete pod -n xxxx [pod name] --force
kubectl get pod -n xxxx