K8S故障处理指南：pod驱逐问题处理

最新推荐文章于 2024-04-15 17:32:34 发布
最新推荐文章于 2024-04-15 17:32:34 发布
阅读量785 收藏 8
点赞数 10
分类专栏： 运维 K8S 信创 文章标签： kubernetes 容器 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37680131/article/details/137184828
版权
本文详细介绍了K8S集群中pod出现Evicted状态的原因，包括内存和磁盘驱逐场景，提供了处理思路和参数调整方法，旨在帮助读者解决资源驱逐问题，确保业务稳定运行。同时，文章提及了通过Prometheus监控提前检测驱逐问题，并分享了节点压力驱逐的配置策略。
摘要由CSDN通过智能技术生成

更多技术博客，请关注微信公众号：运维之美

在K8S集群故障处理过程中，你可能遇到过pod的各种状态，Evicted状态代表你的K8S环境遇到了资源驱逐的问题，本节通过对驱逐问题的解决，参数的调整，问题的处理思路，希望给你解决此类问题提供帮助。

一、pod驱逐问题

pod出现状态为Evicted时，表示出现了驱逐。pod驱逐出现的原因一般为资源不足，内存或磁盘空间不足，kubect describe node 根据集群事件或者系统日志来判断处于哪种驱逐场景
在这里插入图片描述

  • 内存驱逐

在这里插入图片描述
关键字：MemPressure

操作系统日志,kubelet厂商驱逐pod来回收内存
在这里插入图片描述

  • 磁盘驱逐

根据pod日志查看也可以
在这里插入图片描述
关键字：DiskPressure

最低0.47元/天 解锁文章
运维之美@
关注
专栏目录
DiskPressure(磁盘压力)
每天都要开心呀(#^.^#)
09-11 1375
kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。
Kubernetes(K8S) 入门进阶实战完整教程
JustinMars的博客
03-15 3025
Kubernetes详细教程 1. Kubernetes介绍 1.1 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 优点：简单，不需要其它技术的参与 缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响 虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境 优点：程序环境不会相互产生影响，提供了一定程度的安全性 缺点：增加了操作系统，浪费了部分资源 容器化部署：
【Redis】记录一次K8S存储故障导致Redis集群拓扑异常的修复过程
浩瀚宇宙的一粒尘埃
09-25 601
集群部署在K8S环境内，存储使用的localpv，有一台K8S主机节点磁盘故障，导致在该节点上的redis节点均出现故障，主要表现为持久化失败、集群拓扑异常，持久化失败可以临时关闭RDB和AOF持久化、等挂载好新的硬盘后，重新创建pvc进行恢复，经过观察，这些redis节点恢复后，operator并不能完成集群自愈，需要手动干预，主要表现为：集群拓扑异常：故障的节点没有被清理掉、新的节点没有以正常的角色加入到集群中。
K8S-遇到问题-解决日记
mingqing的博客
08-17 2477
K8S-遇到问题-解决日记
K8S故障处理指南：网络问题排查思路
虫虫的博客
02-20 2593
K8S故障处理指南：网络问题排查思路
k8s系列-记录一次k8s驱逐残留问题 Evicted （docker磁盘占用超过85 或 tcp socket数量过多）-deshan ilog - - tke容器管理
yuezhilangniao的博客
09-27 2528
起因 1 有个node节点异常（tke集群里面一台机器 pod数量超标导致） kubectl get pod -n ilog NAME READY STATUS RESTARTS AGE ilogdc-deployment-75757cc87d-msfzl 1/1 Running 0 2d19h ilogres-deployment-77b4646786-gh2w5
Kubernates(k8s)工作负载之Pods
纸上得来终觉浅，绝知此事要躬行
04-29 1779
文档地址：https://kubernetes.io/zh/docs/concepts/workloads/ 工作负载 工作负载是在 Kubernetes 上运行的应用程序。 无论你的负载是单一组件还是由多个一同工作的组件构成，在 Kubernetes 中你 可以在一组Pods中运行它。 在 Kubernetes 中，Pod 代表的是集群上处于运行状态的一组容器。 Kubernetes Pods 有确定的生命周期。 例如，当某 Pod 在你的集群中运行时，Pod 运行所在的节点出现致命错...
K8s基本概念
King_DJF的博客
02-06 1869
文章目录1. Kubernetes简介1.1 是什么1.2 用途2. Kubernetes组件结构与基本概念2.1 结构2.2 核心组件2.2.1 K8s API server2.2.2 Controller Manager2.2.3 Scheduler调度器2.2.4 kubelet2.2.5 kubernetes Service Proxy2.3 基本概念3. 资源对象定义基本与常用命令3.1...
Kubernetes(k8s) 架构设计
纸上得来终觉浅，绝知此事要躬行
04-29 640
目录 节点 管理 节点自注册 手动节点管理 节点状态 地址 状况 容量与可分配 信息 节点控制器 节点容量 节点拓扑 节点体面关闭 接下来 控制面到节点通信 节点到控制面 控制面到节点 API 服务器到 kubelet apiserver 到节点、Pod 和服务 SSH 隧道 Konnectivity 服务 控制器 控制器模式 通过 API 服务器来控制 直接控制 期望状态与当前状态 设计 运行控制器的方式 接下来 云控制器管理器的基础概念 设计
rancher-Kubernetes节点DiskPressure
Mr_zzr的博客
09-29 3482
解决 Kubernetes 中节点经常性 DiskPressure(磁盘压力) 的问题 文章目录解决 Kubernetes 中节点经常性 DiskPressure(磁盘压力) 的问题一、问题描述二、问题分析① Kubernetes 依靠什么组件对节点磁盘进行监控② Kubelet 监控节点的哪些文件系统③ Kubelet 根据什么指标对 Pod 执行驱逐的④ Kubelet 根据指标达到什么条件才会执行 Pod 驱逐⑤ Kubernetes 触发 DiskPressure 告警时造成的影响⑥ 什么原因导致经
Kubernetes DiskPress触发测试
Things change, roll with them.
08-23 748
Kubernetes DiskPress触发测试
Kubernetes驱逐节点上的Pod
ᠮᠤᠷᠢᠨ ᠬᠤᠭᠤᠷ
11-03 2193
驱逐后该node节点将不参与被调度，Pod无法被调度到该节点上，该节点可以进行"关机/重启"等操作，对集群无感 #驱逐节点上的所有Pod(包括Daemonset的容器) kubectl drain <node name> --ignore-daemonsets #驱逐节点上的所有Pod(不包括Daemonset的容器) kubectl drain <node name> --ignore-daemonsets=flase ----------------------
一. k8s简介
最新发布
不予
04-15 1043
在 Kubernetes 中，Pod是最小的可部署的单位，它是一个或多个容器的集合，它们共享同一个网络命名空间和存储卷。Pod是Kubernetes中的基本概念，所有的容器化应用都运行在Pod中。共享网络命名空间：Pod中的所有容器共享同一个网络命名空间，它们可以使用相同的IP地址和端口号，从而可以轻松地相互通信。共享存储卷：Pod中的所有容器共享同一个存储卷，它们可以访问存储卷中的相同数据。这使得在多个容器之间共享数据变得非常容易。
k8s驱逐篇(2)-kubelet节点压力驱逐
良凯尔的博客
07-31 1536
kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 ......
k8s驱逐篇(3)-kubelet节点压力驱逐-源码分析篇
良凯尔的博客
08-13 2518
kubelet节点压力驱逐-概述。kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 ...
Kubernetes 单机侧的驱逐策略总结
云原生实验室
07-18 1005
❝本文转自 Edwardesire 的博客，原文：https://edwardesire.com/posts/process-eviction-under-k8s/，版权归原作者所有。欢迎投稿，投稿请添加微信好友：cloud-native-yang进程驱逐：当机器存在资源压力时，可能是由于有恶意程序在消耗系统资源，或者是 overcommit 导致。系统通过控制机器上的进...
kubernetes调整Node节点快速驱逐pod的时间
BIGmustang的博客
09-09 1313
kubernetes调整Node节点快速驱逐pod的时间 kubernetes调整Node节点快速驱逐pod的时间_node节点 pod故障时间迁移调整 在使用kubernetes的使用，不知道你有没有遇到或者关注到当你的Node节点挂掉，也就是kubelet无法提供工作的时候，你的pod是否自动的调度到其他的节点上去，而调度到节点上的时间有没有注意大概花了多长时间，我相信如果你仔细关注这件事，你对kubernetes项目也很熟练了，由于官方给了相关的参数，但是真正怎么用，怎么来实现这个问题，还需要我们自己
记录一次由kubernetes驱逐策略造成的业务故障
wr511705473的博客
02-21 167
浅析k8s驱逐策略
2、k8s命令（pod相关（驱逐、强制删除）、让Master当Node用、修改nodeport端口范围、修改k8sDNS、运行nslookup容器）
lihongbao80的专栏
01-27 9900
驱逐pod相关 1、驱逐节点上的pod kubectl drain node02 --delete-local-data --ignore-daemonsets --force 2、将node置为SchedulingDisabled不可调度状态，后续的新创建pod容器时scheduler调度不会考虑该node，旧的pod容器不会受影响，仍可以对外提供正常服务。(特殊情况：pod容器如果跟node绑定的话，容器下次更新就不会回到原宿主机，该情况如何处理呢？可能设置成不可调度状态就不太合适。调度器 预调度策略
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

运维之美@

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值