k8s calico故障处理

有一个节点的calico pod describe出现以下错误

error determining status: rpc error: code = Unknown desc = Error response from daemon: readlink /var/lib/docker/overlay2: invalid argument

calicoctl node status 报错：

感觉是磁盘问题导致calico 起不来，于是想到了磁盘清理，因为这是高危险动作，于是先设置不可调度，并驱逐节点pod，

kubectl cordon 192.168.11.54

kubectl drain 192.168.11.54 --ignore-daemonsets

清理前查看下文件夹数量

cd /var/lib/docker

[root@node4 docker]# ll overlay2 |wc -l

566

执行清理：

docker system prune --all

Total reclaimed space: 12.52GB

总共16G，干掉了12.5G 爽

这是一个高危动作吗，我敢执行是因为我已经驱逐了pod

清理完后查看：

[root@node4 docker]# ll overlay2/ |wc -l

81

设置节点可调度

kubectl uncordon 192.168.11.54

calicoctl node status

居然搞定了