k8s服务故障，出现大量的Evicted状态的pod

最新推荐文章于 2024-05-03 17:52:08 发布

dacidong

最新推荐文章于 2024-05-03 17:52:08 发布

阅读量1.6k

点赞数 1

分类专栏：容器系统文章标签： docker

本文链接：https://blog.csdn.net/xiaoma19961101/article/details/120703651

版权

系统同时被 2 个专栏收录

30 篇文章 1 订阅

订阅专栏

容器

8 篇文章 1 订阅

订阅专栏

博客讲述了在Kubernetes(k8s)服务中遇到的一个问题，即由于磁盘空间满导致8000多个Pod处于Evicted状态。作者通过检查节点状态发现了磁盘压力，并清理了磁盘空间。接着，使用kubectl命令批量删除了Evicted状态的Pod，解决了问题。最后，系统恢复正常，所有Pod状态变为正常。

摘要由CSDN通过智能技术生成

k8s服务故障，出现大量的Evicted状态的pod

kubectl get pod -A 发现出现Evicted 状态的pod高达8000多个。

在这里插入图片描述

一、随机查看一个处于Evicted状态pod的描述：

kubectl describe pod -n monitor csp-monitor-api-5d4c5dbb8f-zpw5w

Status：	 	   	     Failed
Reason:					 Rvicted
Message:				 Pod The node had condition: [Diskpressure].

二、查看磁盘果然发现满了，首先清理一波磁盘空间

[root@csp1 ~]# df -h
Filesystem  Size  Used Avail Use% Mounted on
devtmpfs     12G     0   12G   0% /dev
tmpfs        12G     0   12G   0% /dev/shm
tmpfs        12G  1.2G   11G  10% /run
tmpfs        12G     0   12G   0% /sys/fs/cgroup
/dev/vda3    71G   71G     0 100% /
/dev/vdb1    50G   34G   17G  67% /var/lib/docker
/dev/vda1  1014M  240M  775M  24% /boot

三、然后批量删除Evicted状态的pod：

kubectl get pods --all-namespaces -o json | jq '.items[] | select(.status.reason!=null) | select(.status.reason | contains("Evicted")) | "kubectl delete pods \(.metadata.name) -n \(.metadata.namespace)"' | xargs -n 1 bash -c

出现错误：