源码逐层分析k8s中的 Cgroup

最新推荐文章于 2024-05-11 11:24:28 发布
最新推荐文章于 2024-05-11 11:24:28 发布
阅读量1.2k 收藏 6
点赞数 1
分类专栏： CLOUD NATIVE # Kubernetes 文章标签： kubernetes docker 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengyinwu/article/details/120881182
版权

文章目录

源码逐层分析Kubernetes 中的 Cgroup

我们知道 Linux cgroup为 Docker 和 Kubernetes 等容器技术奠定了资源限制的基础。

Kubernetes是一种管理和编排大量容器的工具。并且在配置或部署 Pod 时，用户可以通过资源的请求和限制将资源分配给单个容器。当 pod 出现故障并且状态为“OOMKilled”时。背后隐藏着怎样的逻辑？哪个 Kubernetes 组件实际上在这里生效？

答案是Kubelet，它运行在Kubernetes集群的工作节点上，管理pod的生命周期，连接到CRI、CNI、CSI等运行时接口，通过cgroup按照配置向pod提供资源，并在使用超过时删除或OOMKilled pod。

Cgroup 简介

Cgroups 是 Control Groups 的缩写，由 Linux内核提供。用于限制、记录和隔离进程组使用的物理资源（CPU、内存、i/o）。
Cgroups可以根据不同的资源类型，分别形成由多个子Cgroups组成的树状结构，从上到下统一控制整个资源使用情况。
在这里插入图片描述
其中，CPU子系统使用cgroups虚拟文件系统的伪文件中独立存在的各个参数来限制进程访问CPU。
在这里插入图片描述

K8s中的Cgroups

为了避免容器之间的资源竞争或Kubernetes对主机的影响，kubelet组件将依赖cgroups来限制容器的资源使用。因为cgroups可以限制多个进程资源，而kubelet只能使用有限的资源，如CPU、内存、pid和hugetlb。

kubelet启动时，它会根据需要创建一个4层的cgroup树。

  • Node(root) cgroup
  • QoS cgroup
  • Pod cgroup
  • Container cgroup
    在这里插入图片描述
    kubelet中的所有cgroup操作都是由其内部的containerManager模块实现的，该模块通过cgroup(从下到上)对资源使用进行逐层限制

container-> pod-> qos -> node(root)

并将每一层抽象为一个资源管理模型，提供一个稳定的运行环境。

让我们自下而上地揭开k8s中cgroup实现的神秘面纱。如果您感兴趣，可以稍后深入研究源代码。

容器级别的Cgroup

容器级别cgroup通常是限制Pod资源最简单的方法，它通过配置在容器Pod启动时传递给容器运行时的资源请求和限制来工作。实际调度的场景如下：

  • 如果容器超出其内存限制，则可能终止该容器。如果它是可重新启动的，kubelet将重新启动它，就像处理任何其他类型的运行时故障一样。

  • 如果容器超出了它的内存请求，那么每当节点耗尽内存时，它的Pod很可能会被逐出。

  • 容器可能被允许，也可能不被允许在较长时间内超过其CPU限制。但是，它不会因为CPU占用过多而被杀死。

实现并不复杂。在generateContainerConfig中生成一个ContainerConfig，并在通过CRI生成容器时传递它。

generateContainerConfig源码实现：https://github.com/kubernetes/kubernetes/blob/f0b7ad3ee06c5168fef5fa4f01fe445ece595f89/pkg/kubelet/kuberuntime/kuberuntime_container.go#L297

运行时有两个驱动程序，一个是systemd，另一个是cgroupfs。

cgroupfs更简单。例如，为了限制内存和共享CPU，它会将PID写入相应的cgroup任务文件，然后将相应的资源写入相应的内存cgroup文件和CPU cgroup文件。

该系统本身提供了一种cgroup管理方法。所有的cgroup编写操作都必须通过systemd接口完成，手动修改cgroup文件是不可行的。

cgroupfs是Kubernetes默认的驱动程序。因此，如果选择systemd，则需要将kubelet和运行时配置为systemd驱动。

Pod级别的Cgroup

pod可以配置多个容器，最常见的是一个业务容器加上多个sidecar容器，如fluentd。然而，它的资源设置并不是简单地添加所有容器的资源限制和请求，因为有些资源是在容器之间共享的，每个pod都有一定的开销资源，比如由sandbox容器或docker containerd-shim(在1.22中删除)使用的资源。另外，pod在指定内存类型的卷时也会占用内存资源。那么如何方便对每个pod进行资源核算，并将使用的资源合理纳入管理?

Kubernetes引入了pod cgroup，它授予每个pod自己的cgroup。它创建了一个pod<pod。每个pod的UID> cgroup为- cgroups-per-qos(自1.6以来默认为true)。

那么Kubelet如何计算Pod所需的资源呢?

  • 计算所有pod容器的CPU请求/限制和内存限制，并将CPU请求/限制转换为cpuhares和cpuQuota。
pod<UID>/cpu.shares = sum(pod.spec.containers.resources.requests[cpu])
pod<UID>/cpu.cfs_quota_us = sum(pod.spec.containers.resources.limits[cpu])
pod<UID>/memory.limit_in_bytes = sum(pod.spec.containers.resources.limits[memory])
  • 只有pod cgroup的cpu。如果其中一个容器只指定请求而不指定限制，则将设置共享值，而不设置其限制值。
pod<UID>/cpu.shares = sum(pod.spec.containers.resources.requests[cpu])
  • 只设置cpu。当无容器指定请求值或限制值时共享，即pod在资源空闲时使用所有节点资源，在资源受限时不获取任何资源，符合低优先级原则
pod<UID>/cpu.shares = 2

如果有兴趣，可以在ResourceConfigForPod源码中阅读详细的计算。

ResourceConfigForPod源码：https://github.com/kubernetes/kubernetes/blob/cde45fb161c5a4bfa7cfe45dfd814f6cc95433f7/pkg/kubelet/cm/helpers_linux.go#L116

QoS级别的Cgroup

创建QoS级别cgroup时，同时使用与Pod级别cgroup相同的- cgroups-per-qos参数。三种资源计费方法分别对应不同的QoS级别。

  • Guaranteed(保证型)::由请求设置的值等于由限制设置的值。
  • Burstable(突增型):请求设置的值小于限制设置的值，但是!= 0。
  • BestEffort(尽力而为型):请求和限制设置的值都是0。

优先级是Guaranteed > Burstable > BestEffort

此时，可以将每个QoS cgroup视为一个资源池，内部pod可以在其中共享资源，并根据其优先级合理地获取资源。
在这里插入图片描述
保证型Pod Qos将直接在RootCgroup/kubepods中创建，因为内部Pod已经设置了请求和限制本身，不需要cgroup。

但是，Burstable Pod QoS是在RootCgroup/kubepods/Burstable中创建的，beststeffort Pod QoS是在RootCgroup/kubepods/beststeffort中创建的。由于不是所有的pod和容器都指定了资源限制，我们需要Burstable和bestfortcgroup来避免在极端情况下无限占用资源，并在这个cgroup中创建相应的pod。

Kubelet寻求提高资源效率，默认情况下没有对Qos设置资源限制，以便Burstable和BestEffort pod可以在需要时使用足够的空闲资源。但是，当有保证的pod需要资源时，低优先级pod也需要及时释放资源。

那么如何?

对于CPU等可压缩资源，可以通过CPU CFS共享进行控制，按比例将资源分配给每个QoS pod，确保在CPU资源有限的情况下，每个pod都能获得自己申请的资源。

下面列出了CPU和内存限制的计算。
Burstable cgroup

ROOT/burstable/cpu.shares = max(sum(Burstable pods cpu requests）, 2)
ROOT/burstable/memory.limit_in_bytes = burstableLimit := allocatable — (qosMemoryRequests[v1.PodQOSGuaranteed] * percentReserve / 100

BestEffort cgroup

ROOT/besteffort/cpu.shares = 2
ROOT/besteffort/memory.limit_in_bytes = bestEffortLimit := burstableLimit — (qosMemoryRequests[v1.PodQOSBurstable] * percentReserve / 100)

启动这些cgroup后，kubelet将调用UpdateCgroups方法定期更新这三个组的cgroup资源限制，以尽可能快地响应更改。

启动started cgroup源码：https://github.com/kubernetes/kubernetes/blob/4d78db54a58e250b049c4fe17ac484e5c3ec662d/pkg/kubelet/cm/qos_container_manager_linux.go#L82

UpdateCgroups方法源码：https://github.com/kubernetes/kubernetes/blob/4d78db54a58e250b049c4fe17ac484e5c3ec662d/pkg/kubelet/cm/qos_container_manager_linux.go#L306

节点Node级别的Cgroup

对于节点级资源，Kubernetes根据使用对象将节点资源分为三类。

  • 业务流程使用的资源，即pod使用的资源。
  • Kubernetes组件使用的资源，如kubelet和docker。
  • 系统组件使用的资源，如logind、journald和其他进程。
    一般来说，第二组和第三组的资源利用是相对稳定的，而第一组的资源利用需要加以限制，以确保系统在极端条件下保持稳定的服务。
    Kubelet containerManager将在Starting func的根cgroup下创建一个名为kubepods的子cgroup。然后将(createNodeAllocatableCgroups)中的可分配资源写入kubepods中对应的cgroup文件，例如kubepods/cpu.share。此外，节点的所有pod cgroup都会存储在这个根cgroup下，从而限制节点的所有pod资源。

Starting func源码 : https://github.com/kubernetes/kubernetes/blob/2face135c730282320d7d7c9873e190e483bce6f/pkg/kubelet/cm/container_manager_linux.go#L608

createNodeAllocatableCgroups源码：https://github.com/kubernetes/kubernetes/blob/2face135c730282320d7d7c9873e190e483bce6f/pkg/kubelet/cm/node_container_manager_linux.go#L44

探索Cgroup文件

当我们迷失在如此多的概念中时，实践可以提高我们的理解。让我们通过将cgroup信息写入实时操作

我使用了kind工具，它可以通过本地docker构建一个Kubernetes集群。

首先，创建集群。

kind工具部署kubernetes集群：https://kind.sigs.k8s.io/docs/user/quick-start/
在这里插入图片描述

其次，使用创建的上下文。
kubectl cluster-info — context kind-cgroup-test
在这里插入图片描述
然后启动一个test pod

kubectl run test — image=busybox — limits "memory=100Mi" — command — /bin/sh -c "while true; do sleep 2; done"

并打印当前pod资源。

kubectl get pods test -o=jsonpath=’{.spec.containers[0].resources}’{}%

现在，登录到集群并找到当前docker进程。
在这里插入图片描述
然后执行docker exec -t -i 968f6927a1b6 /bin/bash
找出运行pod的进程。

ps aux | grep ‘/bin/sh’1606 ? Ss 0:00 /bin/sh -c while true; do sleep 2; done

然后，直接检查cgroup文件
cat /proc/1606/cgroup
在这里插入图片描述
这里我们可以看到真正的cgroup文件所在的路径，格式与上面提到的pod<pod. uid >相同。例如，与内存相关的文件

5:memory:/docker/968f6927a1b6777bbc42b9b5e13ff772dd15cb1d4ff048b582756e3d0f015703/kubepods/besteffort/pod*

现在注意memory.limit文件

ls -al /sys/fs/cgroup/memory/kubepods/burstable/pod05206322-d0f1–4ad9–90a6–7f59a9801fe3/

在这里插入图片描述
检查内存时显示值与设定值(100Mi)一致。limit_in_bytes文件。

cat /sys/fs/cgroup/memory/kubepods/burstable/pod05206322-d0f1–4ad9–90a6–7f59a9801fe3/memory.limit_in_bytes104857600

当我们在没有这些限制的情况下重新测试时，该值会变得更大，这是kubelet的默认值。

结语

cgroup技术为Containters奠定了基础，Kubernetes充分利用了该技术的优势。Kubernetes通过合理的资源分配和利用，保证了业务(Pod)和自身的可用性。此外，在源代码中通过Channel实现事件调度需要技巧，很值得学习。

[1]
参考地址: https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/#troubleshooting

[2]
参考地址: https://kubernetes.io/docs/setup/production-environment/container-runtimes/

[3]
参考地址: https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/configure-cgroup-driver/

原文地址：【云原生CTO】公众号

寻花之梦~~
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【博客497】k8s cgroup原理完整剖析
qq_43684922的博客
09-17 1895
在 Kubernetes 中设置的 cpu requests 最终会被 cgroup 设置为 cpu.shares 属性的值， cpu limits 会被带宽控制组设置为 cpu.cfs_period_us 和 cpu.cfs_quota_us 属性的值。与内存一样，cpu requests 主要用于在调度时通知调度器节点上至少需要多少个 cpu shares 才可以被调度。
k8s笔记27--快速了解 k8s pod和cgroup的关系
脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到
03-24 1426
随着云计算、云原生技术的成熟和广泛应用，K8S已经成为容器编排的事实标准，学习了解容器、K8S技术对于新时代的IT从业者显得极其重要了。之前在文章docker笔记13–面试必知的容器核心技术中介绍了容器相关的核心技术，包括容器的隔离技术和限制技术，搞明白这些内容可以说理解了容器技术的底层原理。k8s作为当前最流行的开源的容器编排引擎，用来对容器化应用进行自动化部署、 扩缩和管理，它以pod为基础构成了各种有价值的工作负载。
Kubernetes 文档 / 概念 / Kubernetes 架构 / 关于 cgroup v2
最新发布
houzhizhen的专栏
05-11 461
API 中单个统一的层次结构设计更安全的子树委派给容器更新的功能特性， 例如压力阻塞信息（Pressure Stall Information，PSI）跨多个资源的增强资源分配管理和隔离统一核算不同类型的内存分配（网络内存、内核内存等）考虑非即时资源变化，例如页面缓存回写。
查看k8s使用的Cgroup Driver
wangshiqi666的博客
06-23 1291
k8s查看Cgroup Driver
k8s 基于 cgroup 限制资源使用量（capacity enforcement）：模型设计与代码实现
小胡子
01-28 1207
k8s 基于 cgroup 限制资源使用量（capacity enforcement）：模型设计与代码实现
Kubernetes学习-概念2
wangqiaowq的博客
11-17 534
cgroup v2 是 LinuxcgroupAPI 的下一个版本。cgroup v2 提供了一个具有增强资源管理能力的统一控制系统。
ansible安装k8s,1.25
02-12
而Kubernetes（简称k8s）则是一个领先的容器编排系统，用于自动化容器化应用程序的部署、扩展和管理。本教程将详细介绍如何使用Ansible来安装和配置Kubernetes集群，版本为1.25。 首先，我们需要确保所有服务器节点...
kmem问题造成K8S中pod内存溢出
01-20
在Kubernetes(K8S)集群中，当遇到“kmem问题造成K8S中pod内存溢出”的情况，这通常意味着内核内存(kernel memory)的使用超过了预期限制，导致了Pod无法正常运行或者性能下降。内核内存是操作系统用于内部数据结构和...
YARN 与 K8s 的容器化资 源混部实践
11-10
YARN 与 K8s 的容器化资源混部实践 YARN 与 K8s 的容器化资源混部实践是当前大数据应用业务规模扩展、数据指数增长、数据中心规模扩大、成本增加的解决方案。该方案旨在解决资源使用不均衡、在线资源冗余、离线资源...
9.5 k8s pod监控分析1
08-04
在 Kubernetes (k8s) 环境中，Pod 监控是确保集群稳定性和高效运行的关键环节。本文将深入探讨 Kubernetes Pod 监控的核心指标，以及如何通过 kubelet 和 cAdvisor 收集这些指标。从 Kubernetes 1.12 版本开始，监控...
Linux/Android cgroup架构分析研究总结
02-08
Linux/Android cgroup架构是操作系统中用于管理进程资源限制的关键机制。cgroup，全称为control groups，它允许管理员或系统设定一组进程的资源使用限制，包括CPU、内存、磁盘I/O、网络带宽等。在Linux内核中，...
关于k8s的隔离namespace与cgroup
qq_43340814的博客
08-24 2824
容器技术中一个非常重要的概念，容器是一个单进程模型。 用户的应用进程就是容器里面PID=1的进程，其他后续创建的进程都是这个进程的子进程，意味着你没法运行两个不同的应用，除非找到一个公共的PID=1的程序来充当两个不同程序的父进程。 关于两者关系 namesapce主要是隔离作用，cgroups主要是资源限制，联合文件主要用于镜像分层存储和管理，runC是运行时，遵循了oci接口，一般来说基于libcontainer。网络主要是docker单机网络和多主机通信模式。 namespace 是用来做资源隔离,
【kubernetes/k8s源码分析】 kubelet pod cgroup 源码分析
zhonglinzhang
06-20 3111
创建 pod 时，为其设置资源限额 cgroup syncPod -->kl.containerManager.NewPodContainerManager -->pcm.Exists(pod) --> kl.containerManager.UpdateQOSCgroups() 1.NewPodConta...
k8s学习记录5_容器Cgroup和Namespace特性简介
u010173306的专栏
03-28 1458
Cgroup是Control group控制组的意思，主要做资源控制，将一组进程放在一个控制组里，通过给这个控制组分配指定的可用资源，达到控制这一组进程资源的目的。 Namespace Namespace又称为命名空间，将对象分割成完全独立且不重叠的组。（有待完善） Cgroup Cgroup是control group，又称为控制组，它主要是做资源控制。原理是将一组进程放在放...
【转载】K8S 问题排查：cgroup 内存泄露问题
我的博客
10-26 7313
【转载】K8S 问题排查：cgroup 内存泄露问题 原文：http://www.xuyasong.com/?p=2049 前言 这篇文章的全称应该叫：[在某些内核版本上，cgroup 的 kmem account 特性有内存泄露问题]，如果你遇到过 pod 的 cannot allocated memory 报错，node 内核日志的 SLUB: Unable to allocate memory on node -1 报错，那么恭喜你中招了。 这个问题在 pingcap 文章 和腾讯云的官方修复都发
几个你需要关注的 Kubernetes 迁移 Cgroup V2 注意事项
easylife206的专栏
02-19 986
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！随着Kubernetes 1.25关于cgroup v2 特性的正式发布（GA）, kubelet容器资源管理能力得到加强。本文针对K8s迁移cgroup v2做了如下的checklist，主要分为：cgroup v2是什么，对于K8s意味着什么以及如何迁移等相关内容。“简介”Pod资源管理Kubernetes通过...
cgroups以及在K8s中的应用 - CPU
每天都要开心呀(#^.^#)
06-28 896
Cgroups 是 Control Groups 的缩写，由 Linux内核提供。用于限制、记录和隔离进程组使用的物理资源（CPU、内存、i/o）。
云原生时代下 K8s CGroup/CRI 的优劣势
RAB
10-26 722
云原生时代下 K8s CGroup/CRI 的优劣势。
cgroup使用举例和linux内核源码详解
dongzhiyan_hjp
07-11 4445
cgroup的原理其实并不复杂，用法也比较简单。但是涉及的内核数据结构真的复杂，错综复杂的数据结构感觉才是cgroup真正的难点。本文结合个人学习cgroup源码的心得，尽可能以举例的形式，总结cgroup整体框架和核心源码实现，尽可能少贴源码。本次是在centos 7.6测试的cgroup，源码注释基于3.10.96。 这里先把cgroup涉及的各个数据结构的关系图发下，后边需要多次用到这幅图。 转存失败重新上传取消转存失败重新上传取消转存失败重新上传取消转存失败重新上传取消转存...
k8s cgroup
08-05
Kubernetes (k8s) 是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。而 cgroup（Control ...总之，k8s 使用 cgroup 来管理和控制容器的资源使用，以确保应用程序能够在一个可控的环境中运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寻花之梦~~

谢谢老板的支持和鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值