【Kubernetes】Pod 驱逐

已于 2024-08-10 23:50:42 修改
阅读量1.6k 收藏 17
点赞数 30
分类专栏： # Kubernetes 文章标签： kubernetes 容器 云原生 Pod 驱逐
于 2024-03-30 18:37:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/be_racle/article/details/137177722
版权

《Pod 详解》系列，共包含以下几篇文章：

😊 如果您觉得这篇文章有用 ✔️ 的话，请给博主一个一键三连 🚀🚀🚀 吧 （点赞 🧡、关注 💛、收藏 💚）！！！您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容！！！

K8s 中的 Pod 驱逐

Kubernetes Pod 被驱逐是什么意思？它们被终止，通常是因为没有足够的资源。但为什么会发生这种情况呢？

驱逐 是指分配给节点的 Pod 被要求终止的过程。Kubernetes 中最常见的情况之一是 抢占（Preemption），即为了在资源有限的节点上调度新 Pod，需要终止另一个 Pod，将资源留给第一个 Pod。

此外，Kubernetes 还会不断检查资源，并在需要时驱逐 Pod，这一过程被称为 节点压力驱逐（Node-pressure eviction）。

每天，数以千计的 Pod 被驱逐出它们的家园。它们困顿而迷茫，不得不放弃以前的生活方式。他们中的一些人甚至变成了无节点人。当前社会对 CPU 和内存提出了更高的要求，这也是问题的一部分。

在本文中，您将发现：

  • Pod 被驱逐的原因：抢占和节点压力
  • 抢占式驱逐
  • Pod 调度
  • Pod 优先级
  • 优先级示例
  • 节点压力驱逐
  • 服务质量等级
  • 其他类型的驱逐
  • API 发起的驱逐
  • 基于污点的驱逐
  • Node 级别排空（drain）
  • Prometheus 中的 Pod 驱逐监控

1.Pod 被驱逐的原因：抢占和节点压力

在 Kubernetes 中发生 Pod 驱逐的原因有多种。最重要的是：

  • 抢占（Preemption）
  • 节点压力驱逐（Node-pressure eviction）

2.抢占式驱逐

抢占是这样一个过程：如果一个新的 Pod 需要被调度，但是没有任何合适的节点拥有足够的资源，那么 kube-scheduler 将通过驱逐终止一些优先级较低的 Pod 来检查新的 Pod 是否可以成为那个节点的一部分。

我们先了解一下 Kubernetes 调度是如何工作的。

2.1 Pod 调度

Kubernetes 调度是将 Pod 分配到节点的过程。默认情况下，有一个名为 kube-scheduler 的 Kubernetes 实体负责调度，它将在控制平面中运行。Pod 在找到匹配的节点之前将处于待处理状态。将 Pod 分配到节点的过程如下：

  • 过滤
  • 计分

2.1.1 过滤

在筛选步骤中，kube-scheduler 将选择当前 Pod 可能放置的所有节点。这里会考虑到污点和容忍度等特征。完成后，它将列出适合该 Pod 的节点列表。

2.1.2 计分

在评分步骤中，kube-scheduler 将获取上一步的结果列表并为每个节点分配一个分数。这样，候选节点从最适合到最不适合排序。如果两个节点的分数相同，kube-scheduler 会随机对它们进行排序。
在这里插入图片描述
但是，如果没有适合 Pod 运行的节点怎么办？在这种情况下，Kubernetes 将启动抢占过程，尝试驱逐优先级较低的 Pod，以便分配新的 Pod。

2.2 Pod 优先级

在抢占过程中如何防止特定 Pod 被驱逐？很有可能，一个特定的 Pod 对你来说很重要，永远不应该被终止。这就是 Kubernetes 具有 Priority Classes 的原因。

优先级类是一个 Kubernetes 对象，它允许我们将数字优先级值映射到特定的 Pod。那些具有更高价值的 Pod 被归类为更重要并且不太可能被驱逐。

您可以使用以下方式查询当前的优先级：

$ kubectl get priorityclasses
$ kubectl get pc

NAME                      VALUE        GLOBAL-DEFAULT   AGE
system-cluster-critical   2000000000   false            2d
system-node-critical      2000001000   false            2d

2.3 优先级示例

让我们使用 Lovenstein 先生的 Berry Club 漫画做一个实际的例子。

在这里插入图片描述
假设，有三个 Pod 分别代表 蓝莓、树莓 和 草莓：

NAME         READY   STATUS             RESTARTS   AGE
blueberry    1/1     Running            0          4h41m
raspberry    1/1     Running            0          58m
strawberry   1/1     Running            0          5h22m

并且有两个优先等级：trueberry 和 falseberry。第一个将具有更高的值，表示更高的优先级。

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: trueberry
value: 1000000
globalDefault: false
description: "This fruit is a true berry"

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: falseberry
value: 5000
globalDefault: false
description: "This fruit is a false berry"
  • 蓝莓将具有 trueberry 优先级（值 = 1000000）
  • 树莓和草莓都将具有 falseberry 优先级（值 = 5000）

这意味着在抢占的情况下，树莓和草莓更有可能被驱逐，为更高优先级的 Pod 腾出空间。

然后通过将此添加到 Pod 定义来将优先级类分配给 Pod：

priorityClassName: trueberry

现在让我们尝试再添加三种水果，但要稍加改动。所有新水果都将包含更高的优先级，称为 trueberry。

由于三个新水果有节点无法满足的内存或 CPU 要求，kubelet 驱逐所有优先级低于新水果的 Pod。Blueberry 保持运行，因为它具有更高的优先级。
在这里插入图片描述

NAME         READY   STATUS             RESTARTS   AGE
banana       0/1     ContainerCreating  0          2s
blueberry    1/1     Running            0          4h42m
raspberry    0/1     Terminating        0          59m
strawberry   0/1     Terminating        0          5h23m
tomato       0/1     ContainerCreating  0          2s
watermelon   0/1     ContainerCreating  0          2s

这是最终结果：

NAME         READY   STATUS             RESTARTS   AGE
banana       1/1     Running            0          3s
blueberry    1/1     Running            0          4h43m
tomato       1/1     Running            0          3s
watermelon   1/1     Running            0          3s

3.节点压力驱逐

除了抢占，Kubernetes 还会不断检查节点资源，如磁盘压力、CPU 或内存不足 (OOM)。

如果节点中的资源（如 CPU 或内存）消耗达到某个阈值，kubelet 将开始驱逐 Pod 以释放资源。将考虑 服务质量 (QoS) 来确定驱逐顺序。

3.1 服务质量等级

在 Kubernetes 中，Pod 被赋予三个 QoS 类别中的一个，这三个类别定义了 Pod 在资源不足的情况下被驱逐的可能性，从可能性较低到可能性较高不等：

  • Guaranteed（保证）
  • Burstable（稳定）
  • BestEffort（尽力）

这些 QoS 等级是如何分配给 Pod 的？这是基于对 CPU和内存的限制和请求。提醒一句：

  • Limits：容器可以使用的最大资源量。
  • Requests：容器运行所需的最小资源量。

在这里插入图片描述

3.1.1 Guaranteed

如果满足以下条件，Pod 将分配有保证的 QoS 等级：

  • Pod 中的所有容器都为 CPU 和内存设置了限制和请求。
  • Pod 中的所有容器都具有相同的 CPU Limit 和 CPU Request 值。
  • Pod 中所有容器都具有相同的 memory Limit 和 memory Request 值

Guaranteed Pod 在正常情况下不会被驱逐。

3.1.2 Burstable

如果满足以下条件，Pod 将分配有可突发的 QoS 等级：

  • 它没有 Guaranteed QoS 等级。
  • 已为 Pod 中的容器设置了 Limits 或 Requests 。

Burstable Pod 可以被驱逐，但比下一个类别更不可能。

3.1.3 BestEffort

如果出现以下情况，Pod 将分配有 BestEffort 的 QoS 等级：

  • Pod 中的任何容器都没有设置限制和请求。

在发生节点压力过程的情况下，BestEffort Pod 被驱逐的可能性最大。

重要提示：Limits 和 Requests 中可能还有其他资源，如 ephemeral-storage，但它们不用于 QoS Class 计算。

在这里插入图片描述
如前所述，QoS 类将被考虑用于节点压力驱逐。这是内部发生的过程。kubelet 按照以下顺序对要驱逐的 Pod 进行排序：

  • 1️⃣ BestEffort 或 Burstable 使用量超过 requests 的 Pod
  • 2️⃣ Burstable 使用量低于 requests 的 Pod 或者 Guaranteed Pod

Kubernetes 将优先从第 1 组中驱逐 Pod，然后才会尝试在第 2 组驱逐。

上面的一些要点：

  • 如果您在容器中添加非常低的请求，它们的 Pod 可能会被分配到组 1，这意味着它更有可能被驱逐。
  • 你无法判断哪个特定的 Pod 将被驱逐，只是 Kubernetes 会尝试在第 2 组之前驱逐第 1 组中的 Pod。
  • Guaranteed Pod 通常不会被驱逐：kubelet 不会为了安排其他 Pod 而驱逐它们。但是如果某些系统服务需要更多资源，kubelet 将在必要时终止Guaranteed Pod。

4.其他类型的驱逐

本文重点介绍抢占和节点压力驱逐，但 Pod 也可以通过其他方式驱逐。例子包括：

4.1 API 发起的驱逐（API-initiated eviction）

可以使用 Kubernetes Eviction API 请求按需驱逐一个节点中的 Pod。

https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.25/#create-eviction-pod-v1-core
请记住，Eviction API 不同于 Delete Pod，前者是 CREATE 动作，请求会创建 pods/eviction 子资源，后者是 DELETE 动作请求。

4.2 基于污点的驱逐（Taint-based eviction）

利用 Kubernetes Taints and Tolerations，你可以指导如何将 Pod 分配到节点。但是，如果在现有节点上应用 NoExecute taint，所有不能容忍 NoExecute taint 的 Pod 都会被立即驱逐。

Taints 是节点上的特殊标签，它们可以阻止 Pods 被调度到该节点。Tolerations 是 Pods 上的特殊标签，它们允许 Pods 容忍并调度到具有相应 Taints 的节点上。

4.3 节点耗尽（Node drain）

有时节点变得不可用或者不想再在这些节点上工作时。kubectl cordon 命令会阻止在其上安排新的 Pod，运行 kubectl drain nodename 也可以一次完全清空所有当前节点上 Pod。节点中的所有 Pod 都将被驱逐，遵守其正常终止限期。

5.Prometheus 中的 Pod 驱逐监控

可以使用 Prometheus 通过执行以下操作轻松监控 Pod 驱逐：

kube_pod_status_reason{reason="Evicted"} > 0

在这里插入图片描述
这将显示集群中所有被驱逐的 Pod。您还可以将其与 kube_pod_status_phase{phase="Failed"} 搭配使用，以便对 Pod 出现故障后被驱逐的 Pod 发出警报。

6.结论

在 抢占（preemption）期间，Kubernetes 将尝试通过驱逐优先级较低的 Pod 释放资源，来安排新的 Pod 。使用优先级类别（Priority Classes），可以控制哪些 Pod 在抢占时更有可能继续运行，因为它们被驱逐的可能性较小。

在 执行 期间，Kubernetes 将检查节点压力并在需要时驱逐 Pod。使用 QoS Classes，可以控制在节点压力的情况下哪些 Pod 更有可能被驱逐。

内存和 CPU 是节点中的重要资源，您需要配置 Pod、容器和节点以使用适量的内存和 CPU。如果您合理地管理这些资源，不仅可以降低成本，还可以确保重要流程无论如何都能继续运行。

G皮T
关注
专栏目录
K8S集群中驱逐节点
小橙子的笔记屋
08-22 394
K8S集群驱逐节点
【Kubernetes】Kubernetes Pod 驱逐策略详解与优化实践
wjianwei666的专栏
01-10 479
通过设置系统和Kubernetes组件的保留资源、调整硬阈值和最小资源回收、优化节点状态更新频率等参数，可以更好地适应集群的实际情况。通过对Pod的QoS类别和优先级的理解，可以更精确地控制驱逐的顺序，保障重要服务的稳定运行。可用磁盘inodes不足（nodefs.inodesFree）： 仅对Linux节点生效，可用inodes低于阈值时触发，默认阈值为总inodes的5%。最终，通过实施上述最佳实践，可以有效地管理节点资源，确保Pod的合理调度，提高整个Kubernetes集群的可靠性和性能。
K8S学习指南(48)-k8s的pod驱逐
俞兆鹏的博客
12-30 1574
Pod的驱逐是指Kubernetes系统自动终止运行中的Pod，并将其重新调度到其他节点的过程。当节点发生故障或不可用时，Kubernetes会将该节点上运行的Pod驱逐，以确保应用的高可用性。当节点资源（如CPU、内存）不足以满足Pod的需求时，调度器可能会决定驱逐某些Pod，以释放资源并为其他Pod腾出空间。在驱逐发生时，Kubernetes调度器会尽量保持系统的稳定性，确保驱逐的Pod在其他节点上得到合理的重新调度。
k8s驱逐机制汇总
zxyuliwuzhognzx11的博客
08-12 2516
k8s驱逐机制汇总，分析了4种驱逐
Kubernetes Pod 驱逐详解
云原生实验室
07-02 1264
原文链接：Kubernetes Pod 驱逐详解 在 Kubernetes 中，Pod 使用的资源最重要的是 CPU、内存和磁盘 IO，这些资源可以被分为可压缩资源（CPU）和不可压缩资源（内存，磁盘 IO）。可压缩资源不可能导致 Pod 被驱逐，因为当 Pod 的 CPU 使用量很多时，系统可以通过重新分配权重来限制 Pod 的 CPU 使用。而对于不可压缩资源来说，如果资源不足，也就无法继...
K8s Pod驱逐和系统资源预留-Day 06
qq_42515722的博客
08-07 939
驱逐信号是特定资源在特定时间点的当前状态。kubelet 使用驱逐信号，通过将信号与驱逐条件进行比较来做出驱逐决定， 驱逐条件是节点上应该可用资源的最小量。软驱逐条件出发后并不会立即驱逐pod，而是会等待宽限期（默认30s）结束，在条件持续到宽限期还没有恢复，kubelet再强制杀死pod并触发驱逐。可以自定义宽限期。硬驱逐条件没有宽限期。当达到硬驱逐条件时， kubelet 会立即杀死 pod，而不会正常终止以回收紧缺的资源。
K8S Pod状态为“被驱逐(evicted)”的解决方法
最新发布
酒酿小圆子呀～
03-29 5049
在Kubernetes中，pod是最小的调度单元。当Pod无法在所分配的节点上正常运行时，它可能会被驱逐(evicted)。这种情况可能是由多种原因引起，比如节点资源不足、Pod超出了所分配的资源限制、镜像拉取失败等。
kubernetes Pod驱逐机制
energysober的博客
07-20 9714
在kubernetes里，pod的驱逐机制分为kubelet驱逐（被动驱逐）和主动驱逐两种。 kubelet驱逐 在node节点的资源紧缺的条件下，kubelet为了保证node节点的稳定性，回触发主动驱逐pod的机制，流程如下 注意：流程图根据个人理解所画，如有错误之处，烦请指出。 如果kubelet无法通过节点级别的资源回收获取足够的资源，就会开始驱逐用户的Pod，kubelet会按照下面的...
kubernetes Pod驱逐迁移
weixin_46837396的博客
02-13 225
kubernetes Pod驱逐迁移 在使用k8s集群过程中，可能会遇到节点异常或需要节点升级的情况，但又不能影响节点中服务的正常运行，就要涉及到对pod信息迁移和node节点维护。 维护主要分为两部分：pod驱逐、节点维护 node节点维护 查看k8s集群node节点情况 [root@prod-k8s-master001 ~]# kubectl get node NAME STATUS ROLES AGE VERSION 172.
Kubernetes Pod 驱逐策略详解与优化实践
TechEnthusiast的博客
12-24 217
在Kubernetes集群中，合理配置和优化Pod的驱逐策略至关重要，这有助于提高集群的稳定性和资源利用率。通过设置系统和Kubernetes组件的保留资源、调整硬阈值和最小资源回收、优化节点状态更新频率等参数，可以更好地适应集群的实际情况。此外，在配置时应根据具体场景调整阈值和参数，确保驱逐操作是基于实际需要而非过度敏感地触发。通过对Pod的QoS类别和优先级的理解，可以更精确地控制驱逐的顺序，保障重要服务的稳定运行。
Kubernetes Pod状态异常九大场景盘点
uuqaz的博客
04-12 1109
Kubernetes Pod 作为 Kubernetes 核心资源对象，不仅 Service、Controller、Workload 都是围绕它展开工作。作为最小调度单元的它，还担任着传统 IT 环境主机的职责，包含了调度，网络，存储，安全等能力。 正是因为 Pod 具有复杂的生命周期和依赖，绝大多数 Kubernetes 问题最终都会在 Pod 上表现出来。因此，我们介绍在实际工作实践中会遇到的 9 种典型场景，以及如何使用 Kubernetes 监控来处理这些场景，快速定位发现问题。 容器是用户
一文轻松说透 K8S Pod 各种驱逐场景
力哥讲技术
05-04 881
如果您合理地管理这些资源，不仅可以降低成本，还可以确保重要流程无论如何都能继续运行。所有新水果都将包含更高的优先级，称为。第一个将具有更高的值，表示更高的优先级。k8s中的pod被终止，通常是没有足够资源的结果。这样，候选节点从最适合到最不适合排序。如果两个节点的分数相同，这意味着在抢占的情况下，树莓和草莓更有可能被驱逐，为更高优先级的。在抢占时更有可能继续运行，因为它们被驱逐的可能性较小。如果您在容器中添加非常低的请求，它们的。可以被驱逐，但比下一个类别更不可能。对现有节点应用污点，所有不能容忍它的。
细说Kubernetes Pod的驱逐
因上努力，果上随缘。但行好事，莫问前程。
02-15 717
正如你所看到的，驱逐只是Kubernetes的另一个功能，它允许你控制有限的资源：在这种情况下，Pod将使用的节点。在抢占期间，Kubernetes将试图通过驱逐优先级较低的Pod来释放资源，以安排一个新的Pod。通过优先级类，你可以控制哪些Pod更有可能在抢占后继续运行，因为它们被驱逐的可能性较小。在执行过程中，Kubernetes将检查节点压力，并在需要时驱逐Pod。通过QoS类，你可以控制哪些Pod在节点压力的情况下更有可能被驱逐。
Kubernetes Pod的驱逐
小胡子
03-16 1198
Kubernetes Pod的驱逐
k8s驱逐篇(1)-k8s QoS与pod驱逐
良凯尔的博客
07-10 3302
Kubernetes会根据pod的QoS级别来决定pod的调度、抢占调度和驱逐优先级，而且pod的QoS级别也影响oomkiller对杀死进程的选择。
k8s 维护node与驱逐pod
ApexPredator的博客
05-26 4142
k8s 维护node与驱逐pod
kubernetes-pod的驱逐策略
apple_56973763的博客
11-09 2057
kubernetes提供了pod eviction,在某些情况下node出现NotReady，资源不足的时候，需要将node上面的pod驱逐至其他节点，用于保障业务的正常运行，但是驱逐的行为并不是“立即”执行，给了一段的缓冲时间，超过这个时间才会将pod驱逐。Kube-controller-manager会周期性的检查所有node的状态，当node处于NotReady状态一定时间后将node上面的pod进行驱逐。NotReady 状态node超过该时间后，执行驱逐，默认 5 min。
Kubernetes：优化宕机Pod自动迁移的策略
如果节点持续异常，Kubernetes会为该节点添加一个污点(Taint)，这个污点会触发Pod的驱逐。同时，Pod在创建时可以通过设置`tolerationSeconds`参数来定义它能够容忍节点处于NotReady状态的最长时间。 2. **Pod容忍...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值