K8S节点出现Evicted状态“被驱逐”

已于 2025-04-22 10:21:23 修改
阅读量503 收藏 1
点赞数 8
文章标签： kubernetes 容器 云原生
于 2025-04-22 10:10:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66011019/article/details/147409495
版权

 在Kubernetes集群中，Pod状态为“被驱逐（evicted）”表示Pod无法在当前节点上继续运行，已被集群从节点上移除。

问题分析：

节点磁盘空间不足 ，使用df -h查看磁盘使用情况

 可以看到根目录 / 已100%满，导致pod被驱逐

查看占用空间最大的目录，可以看到/var占用了20G

[root@k8s-master apply]# du -sh /* 2>/dev/null | sort -hr
20G     /var
4.2G    /usr
3.9G    /root
491M    /opt
295M    /home
193M    /boot
172M    /etc
150M    /run
124M    /kubectl-argo-rollouts-linux-amd64
28K     /monitor
16K     /lost+found
4.0K    /srv
4.0K    /mnt
4.0K    /media
4.0K    /id_rsa.pub
4.0K    /afs
0       /tmp
0       /sys
0       /sbin
0       /proc
0       /lib64
0       /lib
0       /dev
0       /bin

清理/var 目录

进入/var逐层分析，检测var下的子目录大小

[root@k8s-master apply]# cd /var
[root@k8s-master var]# du -sh * 2>/dev/null | sort -hr
19G     lib
676M    log
332M    cache
36K     spool
20K     tmp
12K     kerberos
12K     db
8.0K    empty
4.0K    yp
4.0K    preserve
4.0K    opt
4.0K    nis
4.0K    local-path-provisioner
4.0K    local
4.0K    games
4.0K    ftp
4.0K    crash
4.0K    adm
0       run
0       mail
0       lock

清理Docker数据

 删除所有未使用的容器、镜像、卷和缓存

[root@k8s-master var]# docker system prune -a -f

[root@k8s-master var]# docker ps 
CONTAINER ID   IMAGE                                                           COMMAND                  CREATED        STATUS        PORTS                               NAMES
07f99d0b452f   hub.17usoft.com/gsairgroup/tool-portal:b684c29d                 "docker-entrypoint.s…"   17 hours ago   Up 17 hours   3000/tcp, 8080/tcp                  nervous_euler
1107187c9e61   apolloconfig/apollo-adminservice                                "/apollo-adminservic…"   25 hours ago   Up 25 hours   0.0.0.0:8090->8090/tcp              apollo-adminservice
f75ec993e063   apolloconfig/apollo-portal                                      "/apollo-portal/scri…"   25 hours ago   Up 25 hours   0.0.0.0:8070->8070/tcp              apollo-portal
a3cc9a54bc6d   apolloconfig/apollo-configservice                               "/apollo-configservi…"   25 hours ago   Up 25 hours   0.0.0.0:8080->8080/tcp              apollo-configservice
feca1915a4c7   mysql:8.0                                                       "docker-entrypoint.s…"   25 hours ago   Up 25 hours   0.0.0.0:3306->3306/tcp, 33060/tcp   apollo-mysql
07a829c9ae88   hub.17usoft.com/gsairgroup/timeline-service:master-fe94ee5      "/bin/sh"                34 hours ago   Up 34 hours   8080/tcp, 9090/tcp                  wonderful_lichterman
00483430d7d3   5e785d005ccc                                                    "/usr/bin/kube-contr…"   39 hours ago   Up 39 hours                                       k8s_calico-kube-controllers_calico-kube-controllers-697d846cf4-wplzw_kube-system_7b3c76be-3dc8-466c-b2b9-21b5f6bf3c50_0
9f883bb71d98   8d147537fb7d                                                    "/coredns -conf /etc…"   39 hours ago   Up 39 hours                                       k8s_coredns_coredns-7d89d9b6b8-585rc_kube-system_9ced5570-6a86-4397-8f1a-ae080e21c38f_0
fa3084652e29   8d147537fb7d                                                    "/coredns -conf /etc…"   39 hours ago   Up 39 hours                                       k8s_coredns_coredns-7d89d9b6b8-clvgn_kube-system_8a1a76b2-7ce1-4e8b-8345-1c874b8bc198_0
2863213c1950   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 39 hours ago   Up 39 hours                                       k8s_POD_coredns-7d89d9b6b8-clvgn_kube-system_8a1a76b2-7ce1-4e8b-8345-1c874b8bc198_0
0c0faa9863bb   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 39 hours ago   Up 39 hours                                       k8s_POD_coredns-7d89d9b6b8-585rc_kube-system_9ced5570-6a86-4397-8f1a-ae080e21c38f_0
19088b072072   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 39 hours ago   Up 39 hours                                       k8s_POD_calico-kube-controllers-697d846cf4-wplzw_kube-system_7b3c76be-3dc8-466c-b2b9-21b5f6bf3c50_026c4f07db245   08616d26b8e7                                                    "start_runit"            39 hours ago   Up 39 hours                                       k8s_calico-node_calico-node-gq2wj_kube-system_1a026e1d-9424-4884-93d3-b74a8bedb74b_0
3350890701b5   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 39 hours ago   Up 39 hours                                       k8s_POD_calico-node-gq2wj_kube-system_1a026e1d-9424-4884-93d3-b74a8bedb74b_0
1ee7c444baf0   77c8bfac1781                                                    "/usr/local/bin/kube…"   40 hours ago   Up 40 hours                                       k8s_kube-proxy_kube-proxy-dtqdn_kube-system_94f28854-13c6-4483-8f16-26651d0ad9f7_0
d7cf20062e40   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 40 hours ago   Up 40 hours                                       k8s_POD_kube-proxy-dtqdn_kube-system_94f28854-13c6-4483-8f16-26651d0ad9f7_0
ad961ccfa202   fce326961ae2                                                    "etcd --advertise-cl…"   40 hours ago   Up 40 hours                                       k8s_etcd_etcd-k8s-master_kube-system_5709e96ef17ce9e30e67cf45d0377549_2
95247db9a58e   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 40 hours ago   Up 40 hours                                       k8s_POD_etcd-k8s-master_kube-system_5709e96ef17ce9e30e67cf45d0377549_0
04d1716d923b   d4893b67e97f                                                    "kube-scheduler --au…"   40 hours ago   Up 40 hours                                       k8s_kube-scheduler_kube-scheduler-k8s-master_kube-system_56e5f657c0f5842192c9009d22729ac6_22
414292bdca76   c7ab721dfdae                                                    "kube-controller-man…"   40 hours ago   Up 40 hours                                       k8s_kube-controller-manager_kube-controller-manager-k8s-master_kube-system_7319ae284ccecb49c0164089eaf03446_22
953c9b59080a   2b5e9c96248f                                                    "kube-apiserver --ad…"   40 hours ago   Up 40 hours                                       k8s_kube-apiserver_kube-apiserver-k8s-master_kube-system_1156d3f2edec396a386c715bc506a05e_3
92df1a9b0841   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 40 hours ago   Up 40 hours                                       k8s_POD_kube-scheduler-k8s-master_kube-system_56e5f657c0f5842192c9009d22729ac6_0
91d3e9d0bc25   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 40 hours ago   Up 40 hours                                       k8s_POD_kube-apiserver-k8s-master_kube-system_1156d3f2edec396a386c715bc506a05e_0
9e56d1c18ce0   registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.5   "/pause"                 40 hours ago   Up 40 hours                                       k8s_POD_kube-controller-manager-k8s-master_kube-system_7319ae284ccecb49c0164089eaf03446_0
d051c56fa19d   2eaf94c71682                                                    "/usr/bin/docker-ent…"   2 weeks ago    Up 40 hours   0.0.0.0:9000->9000/tcp              minio
0cfd3f86b76e   moby/buildkit:buildx-stable-1                                   "buildkitd"              3 weeks ago    Up 40 hours                                       buildx_buildkit_default
[root@k8s-master var]# docker images
REPOSITORY                                                                    TAG               IMAGE ID       CREATED        SIZE
hub.17usoft.com/gsairgroup/tool-portal                                        b684c29d          c48fc7daaf38   17 hours ago   815MB
mysql                                                                         8.0               c6f7ec307380   3 days ago     772MB
moby/buildkit                                                                 buildx-stable-1   3c2d38015344   3 weeks ago    209MB
quay.io/minio/minio                                                           latest            2eaf94c71682   5 weeks ago    182MB
apolloconfig/apollo-portal                                                    latest            cc502c758c3b   2 months ago   291MB
apolloconfig/apollo-adminservice                                              latest            0fc2047c9a04   2 months ago   307MB
apolloconfig/apollo-configservice                                             latest            185f23e7f2d6   2 months ago   311MB
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/kube-controllers    v3.25.0           5e785d005ccc   2 years ago    71.6MB
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/node                v3.25.0           08616d26b8e7   2 years ago    245MB
registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver            v1.22.17          2b5e9c96248f   2 years ago    128MB
registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager   v1.22.17          c7ab721dfdae   2 years ago    122MB
registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler            v1.22.17          d4893b67e97f   2 years ago    52.7MB
registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy                v1.22.17          77c8bfac1781   2 years ago    104MB
registry.cn-hangzhou.aliyuncs.com/google_containers/etcd                      3.5.6-0           fce326961ae2   2 years ago    299MB
hub.17usoft.com/gsairgroup/timeline-service                                   master-fe94ee5    db53ed5a2383   2 years ago    48.8MB
registry.cn-hangzhou.aliyuncs.com/google_containers/coredns                   v1.8.4            8d147537fb7d   3 years ago    47.6MB
registry.cn-hangzhou.aliyuncs.com/google_containers/pause                     3.5               ed210e3e4a5b   4 years ago    683kB

可以看到 根目录的使用降下来了

容忍 DiskPressure 污点 

 在此添加容忍配置

应用新配置可以看到pod正常运行

 

Kubernetes Pod状态为“被驱逐(evicted)”的解决方法
2301_79326254的博客
08-13 2416
这种情况可能由多种原因引起，比如节点资源不足、Pod超出了所分配的资源限制、镜像拉取失败等。通过扩展集群、调整资源需求和限制以及检查镜像相关问题，可以有效避免Pod被驱逐的情况发生。b. 调整Pod资源需求：如果Pod的资源需求偏高，可以尝试调整Pod的资源请求和限制。c. 使用资源配额：在命名空间级别启用资源配额，限制Pod使用的资源量，以防止超出节点资源的限制。b. 调整节点资源限制：如果集群中的节点资源限制较低，可以考虑增加节点规格或扩展集群来提供更多资源。的镜像，并设置了资源请求和限制。
Kubernetes Pod状态为“Evicted“的处理方法
DevGOOD的博客
09-15 923
当Kubernetes Pod的状态为"Evicted"时，我们可以通过查看Pod状态和事件来了解驱逐的原因。在上述示例中，我们创建了一个名为"my-pod"的Pod。调整Pod优先级：如果使用了Pod优先级和抢占策略，并且Pod被驱逐是由于优先级较低而腾出资源给更高优先级的Pod，可以考虑调整优先级的设置。调整资源请求：如果Pod被驱逐是由于资源不足引起的，可以考虑调整Pod的资源请求。调整集群资源：如果集群中的节点资源总体不足，可以考虑增加节点或者调整节点的资源配额，以提供更多的资源给Pod。
k8s--pod的状态为evicted
海鸥
02-20 7983
使用kubectl get pods, 发现很多pod的状态为evicted。 原因 eviction，即驱赶的意思，意思是当节点出现异常时，kubernetes将有相应的机制驱赶该节点上的Pod。 多见于资源不足时导致的驱赶。 解决方案 排查资源和异常原因，防止新的驱赶产生。 使用如下命令删除旧驱赶的遗留 kubectl get pods | grep Evicted | awk ‘{print...
K8S Pod状态为“被驱逐(evicted)”的解决方法
酒酿小圆子呀～
03-29 6827
在Kubernetes中，pod是最小的调度单元。当Pod无法在所分配的节点上正常运行时，它可能会被驱逐(evicted)。这种情况可能是由多种原因引起，比如节点资源不足、Pod超出了所分配的资源限制、镜像拉取失败等。
pod Evicted状态
qq_41292133的博客
07-18 3567
pod Evicted；pod被驱逐；grafana
遇到问题--k8s--pod的状态为evicted
Rocky
06-25 3152
在重启K8S集群的某一节点docker之后，使用命令获取pod状态的时候发现，大多数的pod状态为evicted。 原因 eviction，即驱赶的意思，意思是当节点出现异常时，kubernetes将有相应的机制驱赶该节点上的Pod。 多见于资源不足时导致的驱赶。 报错 因此查看kubelet日志发现有报错显示为Pod The node has condition: [DiskPressure] 因为前期没有规划好docker的目录以及根目录的空间，所以才会导致这样，没办法，只能手动清除docker缓存
k8s中存在很多为Evicted状态的Pod
热门推荐
qq_38942551的博客
09-17 1万+
背景 在查看k8s的环境的时候，突然发现存在n多个pod状态为Evicted。差不多得有几百个。 解决 同事愉快的丢了个链接给我，让我自己看一波：What will happen to evicted pods in kubernetes? 查看了一下pod的信息。结果发现是磁盘满了。 kubectl describe pod {pode_name} -n {namespace} 但是得手动删除Evicted状态的pod kubectl get pods --all-namespaces -o json
skywalking-agent使用emptyDir导致磁盘空间不足
wanger5354的博客
09-09 1759
公众号：运维开发故事 作者：姜总 背景 今天发现好多pod的状态都是Evicted，然后我没有监控的权限，本来想看看grafana上监控图是否出现了特殊情况，无奈没权限看。 因为我发现pod出现大量的Evicted状态的时候，查看pod所在的node节点，距离当时发生Evicted的时间已经是7小时之久了。因此可能会存在一种原因：发生了Evicted的时候的确磁盘已经超过默认的kubelet的资源预留参数了。但是问题发生后，触发了阈值，已经回收了磁盘空间，导致我看的时候磁盘空间已经恢复。 在每个 Kub.
Kubernetes排错(五)-探究Pod被驱逐的原因及解决方法
sre救赎之路
09-25 1291
k8s evicted是Kubernetes中的一个组件，主要用于处理Pod驱逐的情况。在Kubernetes中，当Node节点资源不够用时，为了保证整个集群的运行稳定，会按照一定的优先级和策略将其中的Pod驱逐出去。这时就需要一个组件来处理这些被驱逐的Pod，让它们有机会重新被调度到其他可用的Node节点上。而这个组件就是k8s evicted。
K8S状态为evicted
LSB19930706的博客
02-22 917
报错：xx is Evicted on xx主机 查询找出Evicted状态节点 kubectl get pods | grep Evicted 删除节点,自动重启 kubectl delete pod $podName 也可以通过脚本定时执行 kubectl get pods | grep Evicted | awk '{print $1}' | xargs kubectl delete pod xargs 是给命令传递参数的一个过滤器，可以将管道或标准输入的数据转换成参数 原因
Pod状态为“被驱逐(evicted)”的解决思路
最新发布
海鸥
01-06 830
Pod状态为“被驱逐(evicted)”的解决思路
【kubernets】由Evicted状态的Pod探讨k8s中pod的驱逐策略
margu_168的博客
01-29 1631
某天突然发现自己的测试环境中有Evicted状态的pod，于是需要排查原因。从上面可以看到当前节点上有一个处于Evicted状态的Pod，名为，其对应的QoS Classs为Burstable，而此时节点上pod的QoS Classs还有BestEffort。同时通过describe发现该Evicted状态的pod是由于造成的。查看/var/log/messages日志中kubelet的相关日志发现是由于磁盘使用量达到97%（超过默认驱逐阈值85%）导致pod被驱逐。而事实上也如此，通过df。
清理处于Evicted状态的Pod（使用编程方式）
2301_79330511的博客
09-17 315
为了确保集群的健康和资源的有效利用，我们需要清理这些处于Evicted状态的Pod。通过使用Kubernetes的客户端库，我们可以轻松地与集群进行交互，并编写代码来自动清理这些无法正常运行的Pod。要运行上述代码，确保你已经正确安装了Kubernetes Python客户端库，并且具备与集群的连接权限。运行代码后，它将删除所有处于Evicted状态的Pod，并在控制台上显示相应的日志消息。确保你已经安装了相应的客户端库，并且配置了与集群的连接。然后，代码遍历每个Pod，检查其状态是否为Evicted。
k8s删除状态为 “Evicted“或者“Failed“ 的 Pod
m0_63004677的博客
01-24 1434
Evicted 状态表示 Pod 由于某些原因被系统驱逐（evicted）或终止，因为磁盘压力并且指定改pod在某个主机，会导致出现很多Evicted的pod无法删除。可以使用该命令去删除。
k8s节点状态Evicted被驱逐
cxclll的博客
06-23 1782
使用k8s搭建服务集群，发现有服务正常启动之后，过一会就被驱逐了 可以看到，容器被驱逐之后无限重启，一直都是失败，直到最后切换了节点才成功。被驱逐的节点，都是一台服务器172.16.0.32，我们看一下详情 上图是一个被驱逐节点的事件，红框标出来的意思是节点资源不足。问题很明确了，我们去看一下这台服务器的监控信息 发现这台服务器的磁盘使用率很高，k8s有种机制，当服务器磁盘使用超过85%之后就不允许节点再次创建了，所以节点创建之后就被驱逐了，目前这个云盘是40G，我们直接扩容一下。
k8s的容器pod的状态为evicted如何处理？
weixin_43784341的博客
03-06 4458
发现很多pod的状态为evicted。 eviction，即驱赶的意思，意思是当节点出现异常时，kubernetes将有相应的机制驱赶该节点上的Pod。 多见于资源不足时导致的驱赶。 排查资源和异常原因，防止新的驱赶产生。 使用如下命令删除旧驱赶的遗留 kubectl get pods -n kube-public | grep Evicted | awk ‘{print $1}’ | xargs kubectl delete pod -n kube-public cat /data/alarm/del_e
k8s系列-记录一次k8s驱逐残留问题 Evicted （docker磁盘占用超过85 或 tcp socket数量过多）-deshan ilog - - tke容器管理
yuezhilangniao的博客
09-27 2655
起因 1 有个node节点异常（tke集群里面一台机器 pod数量超标导致） kubectl get pod -n ilog NAME READY STATUS RESTARTS AGE ilogdc-deployment-75757cc87d-msfzl 1/1 Running 0 2d19h ilogres-deployment-77b4646786-gh2w5
[问题已处理]-k8s出现Evicted状态
爷来辣的博客
07-02 1112
导语：记录一下因为没有修改docker的路径 导致k8s出现Evicted pod状态如图 查看原因如下 需要扩容目录 或者迁移doker的目录。因为自己一开始扩容磁盘后忘记修改docker的目录了 不过还好不是正式环境。 ...
k8s pod Evicted状态问题解决
zb199738的博客
04-30 783
kubectl get po -n kube-system -o wide #查看pod运行状态信息 可以看到有两个状态为驱赶，一般是磁盘空间不足了， 清理slave磁盘空间后，状态正常
k8s Evicted
09-12
综上所述，k8s Evicted是指在Kubernetes集群中，当节点面临资源压力时，Kubelet会根据配置的阈值参数选择性地将一些Pod驱逐出去，以释放资源给其他Pod使用。节点重启后，如果发现大多数Pod的状态为evicted，那么可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

元气满满的热码式

感谢您的支持！我会继续努力发布

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值