如何在业务低峰期优先删除利用率低的 Kubernetes Pod 实例

最新推荐文章于 2024-10-09 22:10:15 发布
最新推荐文章于 2024-10-09 22:10:15 发布
阅读量353 收藏
点赞数
文章标签： kubernetes java 贪心算法 容器 云原生
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3MTI2NzkxMA==&mid=2247530892&idx=2&sn=eaa65dc043df98816b0e0c762af783e8&chksm=eb7a3819f9b57d0551491071b554546c786bbff1fd056246cb496cb0f5a546843d7891a119f8&scene=126&sessionid=0
版权

公众号关注 「奇妙的 Linux 世界」

设为「星标」，每天带你玩转 Linux ！

45aeac64a6d591a9fbc74a9d521136ac.png

需求场景

同一应用的不同 Pod 可能其利用率是不同的。

在对应用执行缩容操作时， 可能希望移除利用率较低的 Pod。

为了避免频繁更新 Pod，应用应该在执行缩容操作之前更新一次 controller.kubernetes.io/pod-deletion-cost 注解值 （将注解值设置为一个与其 Pod 利用率对应的值）。如果应用自身控制器缩容操作时（例如 Spark 部署的驱动 Pod），这种机制是可以起作用的。

controller.kubernetes.io/pod-deletion-cost

通过使用 controller.kubernetes.io/pod-deletion-cost 注解，用户可以对 ReplicaSet 缩容时要先删除哪些 Pod 设置偏好。

  • • 类别：注解

  • • 特性状态： Kubernetes v1.22 [beta]

  • • 例子：controller.kubernetes.io/pod-deletion-cost: "10"

  • • 用于：Pod

  • • 该注解用于设置 Pod 删除成本允许用户影响 ReplicaSet 缩减顺序。注解解析为 int32 类型。

此注解要设置到 Pod 上，取值范围为 [-2147483647, 2147483647]。所代表的是删除同一 ReplicaSet 中其他 Pod 相比较而言的开销。删除开销较小的 Pod 比删除开销较高的 Pod 更容易被删除。

Pod 如果未设置此注解，则隐含的设置值为 0。负值也是可接受的。如果注解值非法，API 服务器会拒绝对应的 Pod。

此功能特性处于 Beta 阶段，默认被启用。你可以通过为 kube-apiserver 和 kube-controller-manager 设置特性门控 PodDeletionCost 来禁用此功能。

说明：

  • • 此机制实施时仅是尽力而为，并不能对 Pod 的删除顺序作出任何保证；

  • • 用户应避免频繁更新注解值，例如根据某观测度量值来更新此注解值是应该避免的。这样做会在 API 服务器上产生大量的 Pod 更新操作。

实操演练

编写一个副本数为3的nginx-deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  # tells deployment to run 3 pods matching the template
  replicas: 3 
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

部署后，效果如下：

$ kubectl apply -f nginx-deployment.yaml 
deployment.apps/nginx-deployment created

$  kubectl get pod -owide
NAME                                READY   STATUS    RESTARTS   AGE   IP              NODE     NOMINATED NODE   READINESS GATES
nginx-deployment-66b6c48dd5-97rjj   1/1     Running   0          11s   10.244.219.78   master   <none>           <none>
nginx-deployment-66b6c48dd5-fcckz   1/1     Running   0          11s   10.244.219.77   master   <none>           <none>
nginx-deployment-66b6c48dd5-rsq8j   1/1     Running   0          11s   10.244.219.79   master   <none>           <none>

修改pod注解，使用 controller.kubernetes.io/pod-deletion-cost 注解

nginx-deployment-66b6c48dd5-97rjj 删除成本设置为100

nginx-deployment-66b6c48dd5-fcckz删除成本设置为60

nginx-deployment-66b6c48dd5-rsq8j删除成本设置为20

# `nginx-deployment-66b6c48dd5-97rjj `删除成本设置为100
kubectl annotate pod nginx-deployment-66b6c48dd5-97rjj controller.kubernetes.io/pod-deletion-cost=100 --overwrite

# `nginx-deployment-66b6c48dd5-fcckz`删除成本设置为60
kubectl annotate pod nginx-deployment-66b6c48dd5-fcckz controller.kubernetes.io/pod-deletion-cost=60 --overwrite

# `nginx-deployment-66b6c48dd5-rsq8j`删除成本设置为20
kubectl annotate pod nginx-deployment-66b6c48dd5-rsq8j controller.kubernetes.io/pod-deletion-cost=20 --overwrite

查看所有pod的controller.kubernetes.io/pod-deletion-cost注解，发现 controller.kubernetes.io/pod-deletion-cost 注解已经被添加

$ kubectl get pods -l app=nginx -o custom-columns=POD_NAME:.metadata.name,POD_DELETION_COST:.metadata.annotations.'controller\.kubernetes\.io/pod-deletion-cost'
POD_NAME                            POD_DELETION_COST
nginx-deployment-66b6c48dd5-97rjj   100
nginx-deployment-66b6c48dd5-fcckz   60
nginx-deployment-66b6c48dd5-rsq8j   20

使用kubectl scale命令缩容nginx-deployment，发现controller.kubernetes.io/pod-deletion-cost数值低的pod优先被删除

$ kubectl scale deployment nginx-deployment --replicas=2
deployment.apps/nginx-deployment scaled

# 发现`controller.kubernetes.io/pod-deletion-cost`数值低的pod优先被删除
$  kubectl get pod -owide
NAME                                READY   STATUS    RESTARTS   AGE   IP              NODE     NOMINATED NODE   READINESS GATES
nginx-deployment-66b6c48dd5-97rjj   1/1     Running   0          12m   10.244.219.78   master   <none>           <none>
nginx-deployment-66b6c48dd5-fcckz   1/1     Running   0          12m   10.244.219.77   master   <none>           <none>

上面我们的nginx-deployment-66b6c48dd5-rsq8j删除成本设置为20，数值最低，所以优先被删除。

拓展：kubectl scale缩容时删除pod的规则

缩容时默认删除pod的逻辑代码如下，有兴趣的同学可以看一下：

https://github.com/kubernetes/kubernetes/blob/release-1.11/pkg/controller/controller_utils.go#L737

func (s ActivePods) Less(i, j int) bool {
    // 1. Unassigned < assigned
    // If only one of the pods is unassigned, the unassigned one is smaller
    if s[i].Spec.NodeName != s[j].Spec.NodeName && (len(s[i].Spec.NodeName) == 0 || len(s[j].Spec.NodeName) == 0) {
        return len(s[i].Spec.NodeName) == 0
    }
    // 2. PodPending < PodUnknown < PodRunning
    m := map[v1.PodPhase]int{v1.PodPending: 0, v1.PodUnknown: 1, v1.PodRunning: 2}
    if m[s[i].Status.Phase] != m[s[j].Status.Phase] {
        return m[s[i].Status.Phase] < m[s[j].Status.Phase]
    }
    // 3. Not ready < ready
    // If only one of the pods is not ready, the not ready one is smaller
    if podutil.IsPodReady(s[i]) != podutil.IsPodReady(s[j]) {
        return !podutil.IsPodReady(s[i])
    }
    // TODO: take availability into account when we push minReadySeconds information from deployment into pods,
    //       see https://github.com/kubernetes/kubernetes/issues/22065
    // 4. Been ready for empty time < less time < more time
    // If both pods are ready, the latest ready one is smaller
    if podutil.IsPodReady(s[i]) && podutil.IsPodReady(s[j]) && !podReadyTime(s[i]).Equal(podReadyTime(s[j])) {
        return afterOrZero(podReadyTime(s[i]), podReadyTime(s[j]))
    }
    // 5. Pods with containers with higher restart counts < lower restart counts
    if maxContainerRestarts(s[i]) != maxContainerRestarts(s[j]) {
        return maxContainerRestarts(s[i]) > maxContainerRestarts(s[j])
    }
    // 6. Empty creation time pods < newer pods < older pods
    if !s[i].CreationTimestamp.Equal(&s[j].CreationTimestamp) {
        return afterOrZero(&s[i].CreationTimestamp, &s[j].CreationTimestamp)
    }
    return false
}

总结一下：

  1. 1. 如果pod没分配到节点，先被删除

  2. 2. 如果pod的状态是 Pending>PodUnknown>PodRunning，则Pending优先被删除，PodUnknown次之，PodRunning最后被删除。

  3. 3. 不是Ready状态的Pod先被删除。

  4. 4. 如果Pod都是Ready状态，则最后一个变成Ready状态的Pod先被删除（Ready时间最短的）。

  5. 5. 重启次数大的Pod先被删除。

  6. 6. 创建时间最新的Pod先被删除。

总结

controller.kubernetes.io/pod-deletion-cost 是一个用于 Kubernetes Pod 的注解（Annotation）。这个注解通常用于管理控制器（Controller）对于 Pod 删除的优先级和策略。以下是有关如何使用 controller.kubernetes.io/pod-deletion-cost 注解的一些信息：

  1. 1. 控制器中的 Pod 删除顺序：Kubernetes 控制器（如 Deployment、StatefulSet 等）通常会维护一组 Pod，它们共同形成一个应用程序或服务的一部分。在某些情况下，你可能希望定义哪些 Pod 比其他 Pod 更容易删除。这可以通过 controller.kubernetes.io/pod-deletion-cost 注解来实现。

  2. 2. 定义 Pod 删除的相对优先级：通过为 Pod 添加 controller.kubernetes.io/pod-deletion-cost 注解，你可以为每个 Pod 指定一个数字值，表示其删除的成本。较低成本的 Pod 将被控制器优先删除，以便在需要缩容时释放资源。这可以有助于控制器在缩容时选择删除哪些 Pod。例如，你可以设置：controller.kubernetes.io/pod-deletion-cost: "50"对于一个 Pod，而对于另一个 Pod，你可以设置：controller.kubernetes.io/pod-deletion-cost: "100"在这种情况下，具有成本为 50 的 Pod 会在成本为 100 的 Pod 之前被删除，以便控制器更倾向于删除成本较低的 Pod。

  3. 3. 控制器的自定义删除策略：一些自定义控制器可能会使用这个注解来实现自定义的 Pod 删除策略。这取决于控制器的设计和需求。

请注意，controller.kubernetes.io/pod-deletion-cost 注解的实际效果取决于控制器的实现和支持。并非所有控制器都支持这个注解，而且它的行为可能因控制器而异。如果你使用的是自定义控制器，可能需要查看相关文档或代码以了解如何正确配置和使用这个注解。

本文转载自：「云原生百宝箱」，原文：https://url.hi-linux.com/vpCoh，版权归原作者所有。欢迎投稿，投稿邮箱: editor@hi-linux.com。

e4afa2b4eca25fed68ee518a7ec3cd92.gif

最近，我们建立了一个技术交流微信群。目前群里已加入了不少行业内的大神，有兴趣的同学可以加入和我们一起交流技术，在 「奇妙的 Linux 世界」 公众号直接回复 「加群」 邀请你入群。

3c949d956768b00795e45f2d83aec725.png

你可能还喜欢

点击下方图片即可阅读

e3c53006d7209f2a647b8bd5cc29d3b8.png

图解几种常见 Kubernetes Pod 驱逐场景

7f850088dd85df4fefd709965e4cfff1.png
点击上方图片，『美团|饿了么』外卖红包天天免费领

a6400c909cccab7118e919dc4f7a7d8f.png

更多有趣的互联网新鲜事，关注「奇妙的互联网」视频号全了解！

运维之美
关注
十九、k8s如何优先删除利用率低的Pod
爱吃西红柿的博客
02-07 417
查看所有pod的controller.kubernetes.io/pod-deletion-cost注解，发现 controller.kubernetes.io/pod-deletion-cost 注解已经被添加。使用kubectl scale命令缩容nginx-deployment，发现controller.kubernetes.io/pod-deletion-cost数值低的pod优先被删除。同一应用的不通Pod可能其利用率是不同的。在对应用执行缩容时，希望移除利用率较低 的Pod.
kubernetes
FK_凡柯的博客
06-05 491
本章节主要介绍应用程序在服务器上部署方式演变以及kubernetes的概念、组件和工作原理。
Kubernetes技术与架构-9
wys的专栏
10-02 588
本文主要描述kubernetes相关的技术与架构
kubernetes 官方文档整理，k8s入门教程笔记整理---7、工作负载
qq_43610489的博客
02-19 1070
维护一组Pod副本稳定集合，用来保证pod数量、pod相同和可用性。包括选择算符、副本数、pod模板。pod的metadata.ownerReferences连接了replicaSet是一个pod模板，当需要删除Pod时，按如下顺序剔除。首先剔除悬决(Pending)、其次按照删除开销注解(controller.kubernetes.io/pod-deletion-cost)先删数值小的，优先删除所处节点上副本个数较多的Pod、创建时间较近的。
k8s之ReplicaSet回收pod的优先级
fourierr的博客
06-10 1597
1、未被调度到节点的pod优先被删除 2、pod状态pending优先于unknown优先于running被删除 3、pod condition ready为false优先被删除 4、pod注解pod-deletion-cost值较低的优先被删除 5、同一个节点上的较多的pod，优先被删除 6、如果pod都是ready，则ready时间较短的实例优先被删除，但ready时间差距较小也会认为是ready时间相同，若相同则此时会比较UID，UID小的优先被删除，可以理解为随机删除
【OpenKruise v0.9.0】新增 Pod 重启、删除防护等重磅功能
阿里云开发者
06-09 434
简介：OpenKruise 是阿里云开源的云原生应用自动化管理套件，也是当前托管在 Cloud Native Computing Foundation (CNCF) 下的 Sandbox 项目。它来自阿里巴巴多年来容器化、云原生的技术沉淀，是阿里内部生产环境大规模应用的基于 Kubernetes 之上的标准扩展组件，也是紧贴上游社区标准、适应互联网规模化场景的技术理念与最佳实践。作者 | 王思宇（酒祝）Photo Creidt@ 王思宇（酒祝）背景​OpenKruise 是阿里云开源的云原生应用自动化管理套
kubernetes Pod、Service详细操作（四）
小趴菜不能喝的博客
07-18 1031
每个Pod中都可以包含一个或者多个容器，这些容器可以分为两类用户程序所在的容器，数量可多可少Pause容器，这是每个Pod都会有的一个根容器根容器的作用可以以它为依据，评估整个Pod的健康状态可以在根容器上设置IP地址，其它容器都以此（Pod IP），以实现Pod内部的网路通信apiVersion: v1 #必选，版本号，例如v1kind: Pod 　 #必选，资源类型，例如 Podmetadata: 　 #必选，元数据name: string #必选，Pod名称。
【腾讯云原生降本增效大讲堂】Kubernetes集群利用率提升实践
m0_46700908的博客
08-09 6801
K8s集群利用率优化实践了解一下！
kubernetes 降本增效标准指南| 容器化计算资源利用率现象剖析
吉小白的博客
03-30 1063
作者：詹雪娇，腾讯云容器产品经理，目前主要负责腾讯云集群运维中心的产品工作。 张鹏，腾讯云容器产品工程师，拥有多年云原生项目开发落地经验。目前主要负责腾讯云TKE集群和运维中心开发工作。 引言 降本增效从云计算发展至今一直都是企业上云最核心的关注点，无论是在线业务还是大数据、AI业务，都非常依赖算力的消耗，成本问题都是企业上云进行决策的核心因素。 从云计算本身来看，单纯把业务从 IDC 搬迁上云不修改任何业务架构，提高计算资源利用率需要非常大的运维成本和人力成本投入到改造业务适配弹性伸缩和业务可调度性中。随
Kubernetes详细教程
weixin_45909293的博客
03-22 1508
Kubernetes详细教程 1. Kubernetes介绍 1.1 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 优点：简单，不需要其它技术的参与 缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响 虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境 优点：程序环境不会相互产生影响，提供了一定程度的安全性 缺点：增加了操作系统，浪费了部分资源 容器化部署：
k8s的pod的管理
最新发布
x1878337584的博客
10-09 1215
列出所有命名空间中的所有Pod列出指定命名空间中的所有Pod显示指定Pod的详细信息，包括状态、事件等显示指定Pod的日志实时显示指定Pod的日志指定Pod中执行命令，例如进入Pod的终端根据指定的YAML文件创建Pod删除指定的Pod将指定Pod的配置导出为YAML文件列出当前命名空间中的所有Pod这个命令会列出指定命名空间中的所有Pod显示Pod的网络配置信息，包括IP地址和所在的Node。
云原生内容分享(十九)：涂鸦的云原生资源优化实践
之乎者也·的博客
02-09 867
基于自定义指标的 HPA，自定义指标可以是消息队列长度、增长速率、接口耗时、qps 等，数据源可以是 trace、prometheus、metrics-server 等，然后编写自定义的 scaler 来对接这些不同的数据源。公司基于 loki 建设了服务的日志系统，通过 loki-querier 组件进行分布式的日志查询。它的特点是无查询是基本无资源消耗，当有查询尤其是大查询时，会瞬间需要大量资源，因此很自然的希望借助 K8s 的 HPA 进行弹性扩缩容。
k8s 缩容时待删除pod的选择
当赤道留住雪花
06-21 1276
Deployment是k8s中最常用的一种工作负载，用于管理无状态的服务pod，对于无状态服务来说，每个pod自然是平等的，那么在进行缩容操作时pod的选择是随机的吗，还是基于某些规则？
k8s缩容pod停止顺序
须尽欢的博客
03-09 439
顺序如下： 1. Unassigned < assigned 2. PodPending < PodUnknown < PodRunning 3. Not ready < ready 4. Been ready for empty time < less time < more time 5. Pods with containers with higher restart counts < lower restart counts 6. Emp
k8s指南-工作负载(3)
xiaoyi52的专栏
08-30 749
Kubernetes是一个可移植的，可扩展的开源平台，用于管理容器化的工作负载和服务，为声明式配置和自动化带来了巨大便利。它拥有着巨大而快速增长的生态系统，其相关的服务和工具得到了广泛的应用。............
抢先看！Kubernetes v1.21 新特性一览
CSDN云计算
04-01 1255
作者 | 倪朋飞来源 |漫谈云原生头图 | 下载于视觉中国Kubernetes v1.21 下个月就要发布了（v1.21.0 将于 4 月 8 日发布），本文梳理该版本带来的新特性，以便...
生产环境想要对某个Pod排错、数据恢复、故障复盘有什么办法？
囧么肥事
03-03 263
生产环境想要对某个Pod排错、数据恢复、故障复盘有什么办法？ 缩放 RepliaSet 有哪些算法策略？
Kubernetes v1.21 新特性预览
Docker的专栏
03-31 680
Kubernetes v1.21 下个月就要发布了（v1.21.0 将于 4 月 8 日发布），本文梳理该版本带来的新特性，以便你为下个月的升级做好准备。PodSecurityPolicy...
OpenKruise v0.9.0 版本发布：新增 Pod 重启、删除防护等重磅功能
阿里巴巴云原生的博客
06-02 288
作者 | 王思宇（酒祝） Photo Creidt@ 王思宇（酒祝） 背景 ​ OpenKruise 是阿里云开源的云原生应用自动化管理套件，也是当前托管在 Cloud Native Computing Foundation (CNCF) 下的 Sandbox 项目。它来自阿里巴巴多年来容器化、云原生的技术沉淀，是阿里内部生产环境大规模应用的基于 Kubernetes 之上的标准扩展组件，也是紧贴上游社区标准、适应互联网规模化场景的技术理念与最佳实践。 ​ OpenKruise 在 2021 年 5 月 .
低峰期电力利用：创新电池供电装置解析
资源摘要信息:"电子功用-可利用低峰期电力充电的电池供应装置" 本文件探讨了一种能够在电力低峰期为电池进行充电的供应装置。这种装置的设计灵感来源于对电网负荷管理的需求，即在用电需求低的时候存储能量，而在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值