轻松快速地调整Kubernetes的CPU和内存

最新推荐文章于 2024-05-11 09:46:35 发布
最新推荐文章于 2024-05-11 09:46:35 发布
阅读量1.3k 收藏 3
点赞数 2
文章标签： java kubernetes 大数据 编程语言 linux
原文链接：https://edu.51cto.com/lecturer/12964849.html
版权

在Kubernetes中分配和管理CPU和内存资源可能很棘手，但也很容易。本文，我将向你展示什么是Kubernetes资源和限制以及如何管理它们。

本文的目标是简单–如何帮助你快速调整项目中的Kubernetes资源信息，主要通过三种方式：

1、为容器和 Pod 分配CPU和内存资源

2、Resources Quota: 限制namespace的资源消耗

3、Limit Ranges：配置默认的CPU请求和限制

为容器和 Pod 分配CPU和内存资源

下图，解释了Kubernetes资源的度量单位，资源状态工作流以及如何使用资源限制。

CPU和内存单位

Kubernetes 中的一个 cpu 等于：

1、1 AWS vCPU

2、1 GCP Core

3、1 Azure vCore

4、1 Hyperthread 在带有超线程的裸机 Intel 处理器上

以下，Deployment使用了内存资源和CPU资源的请求和限制

将CPU和内存 请求 （request）和内存 限制 （limit）分配给一个容器。

我们保障容器拥有它请求数量的内存，但不允许使用超过限制数量的CPU和内存 。

apiVersion: apps/v1kind: Deploymentmetadata:name: aks-application spec:replicas: 1selector:matchLabels:app: aks-applicationtemplate:metadata:labels:app: aks-applicationspec:containers:- name: aks-applicationimage: hubname/aks-application-image:1.0.0 resources:requests:cpu: 100m memory: 128Milimits:cpu: 250m memory: 256Mi

更详细的信息和代码段：

  • 将内存资源分配给容器和Pod

  • 将CPU资源分配给容器和Pod

  • Kubernetes最佳实践资源要求和限制

  • 应用程序开发人员在Azure Kubernetes Service（AKS）中管理资源的最佳实践

Resources Quota: 限制namespace的资源消耗

资源配额，通过 ResourceQuota 对象来定义，对每个namespace的资源消耗总量提供限制。它可以限制namespace中某种类型的对象的总数目上限，也可以限制命令空间中的 Pod 可以使用的计算资源的总上限。

资源配额的工作方式如下：

1、不同的团队可以在不同的namespace下工作，目前这是非约束性的，在未来的版本中可能会通过 ACL (Access Control List 访问控制列表) 来实现强制性约束。

2、集群管理员可以为每个namespace创建一个或多个 ResourceQuota 对象。

3、当用户在namespace下创建资源（如 Pod、Service 等）时，Kubernetes 的配额系统会 跟踪集群的资源使用情况，以确保使用的资源用量不超过 ResourceQuota 中定义的硬性资源限额。

4、如果资源创建或者更新请求违反了配额约束，那么该请求会报错（HTTP 403 FORBIDDEN）， 并在消息中给出有可能违反的约束。

5、如果namespace下的计算资源 （如 cpu 和 memory）的配额被启用，则用户必须为 这些资源设定请求值（request）和约束值（limit），否则配额系统将拒绝 Pod 的创建。提示: 可使用 LimitRanger 准入控制器来为没有设置计算资源需求的 Pod 设置默认值。

以下，是对持久卷声明和namespace资源的配额定义。

apiVersion: v1kind: ResourceQuotametadata:name: backend-storage-quotaspec:hard:persistentvolumeclaims: "2"requests.storage: "1Gi"   --apiVersion: v1kind: ResourceQuotametadata:name: backend-namespace-quotaspec:hard:request.cpu: 400mrequest.memory: 9600Milimits.cpu: 1200mlimits.memory: 11600Mi

你可以使用该kubectl apply命令来设置namespace的配额限制。

kubectl apply -f resource-quota.yaml — namespace backend

如何使用配额的详细说明，请参考

  • https://kubernetes.io/docs/concepts/policy/resource-quotas/

Limit Ranges：配置默认的CPU请求和限制

如果你的namespace有资源配额，那么默认内存限制是很有帮助的。

将 LimitRange 添加到namespace，不仅会限制cpu和内存，还会为存储请求大小强制设置最小值和最大值。存储是通过 PersistentVolumeClaim 来发起请求的。执行限制范围控制的准入控制器会拒绝任何高于或低于管理员所设阈值的 PVC。

apiVersion: v1kind: LimitRangemetadata:name: backend-limit-rangespec:limits:- default:memory: 110Micpu: 500mdefaultRequest:memory: 20Micpu: 100mtype: Container--apiVersion: v1kind: LimitRangemetadata:name: backend-storage-limitsspec:limits:- type: PersistentVolumeClaimmax:storage: 5Gimin:storage: 2Gi

更详细的信息和代码段。

  • 为namespace配置默认的 CPU 请求和限制

  • 限制名称空间的存储使用量

  • Kubernetes中的 Limit Range

工具：管理Kubernetes的CPU和内存

  • Popeye 会扫描集群中是否存在与配置，资源和网络漏洞有关的问题，并生成有关所有问题的详细报告。

  • Goldilocks 扫描Pod中的资源限制，并使用建议的资源创建报告。

  • Kube-advisor 来自Azure团队的工具，可扫描容器中缺少的资源并限制请求。

  • K9s+benchmark 提供了一个命令行界面（CLI），使你可以轻松地管理，监视甚至对 你喜欢的终端软件中的集群进行基准测试

你还可以将这些工具与 Datadog， Grafana + Prometeus，Azure Monitor结合使用，以改善资源并限制监视。

总结

  1. 设置资源请求：获取有关特定应用程序/容器的CPU和内存使用情况的信息。

  2. 设置资源限制：运行负载测试以检测高负载下容器的CPU和内存。

  3. 监视容器的CPU和内存使用情况。

  4. 监视持久卷使用情况。

  5. 检查是否可以使用Limit Range应用资源限制

  6. 使用配额（不建议在生产环境中应用配额）

文中更详细代码片段，参考链接：

https://www.kubernetes.org.cn/8858.html

END

精彩文章推荐

安装kubernetes集群-灵活安装k8s各个版本高可用集群

Prometheus+Grafana+Alertmanager搭建全方位的监控告警系统-超详细文档

linux架构师成长路线图：如何从月薪3千涨到月薪3万

k8s+SpringCloud+DevOps全栈技术解读

基于Jenkins共享库实践之自定义通知器

Kubernetes将弃用Docker，不必恐慌

手把手教你使用 Jenkins 配合 Github hook 持续集成

5个维度对 Kubernetes 集群优化

Docker+k8s+DevOps企业级架构师成长路线图

开源API网关Kong基本介绍和安装验证

Red Hat通过整合Ansible来提升Kubernetes集群管理能力

K8s自动扩缩容工具KEDA发布2.0版本，全面升级应用扩展能力

应该监控哪些Kubernetes健康指标？

技术交流

为了大家更快速的学习知识，掌握技术，随时沟通交流问题，特组建了技术交流群，大家在群里可以分享自己的技术栈，抛出日常问题，群里会有很多大佬及时解答的，这样我们就会结识很多志同道合的人，长按或者扫描下图二维码可加我微信，备注运维或者k8s或者devops即可进群，让我们共同的努力，向着美好的未来出发吧~~~，想要免费获取linux、k8s、DevOps、Openstack、Openshift、运维、开发、测试、架构师、Python、Go、面试文档、容器、岗位内推等资料也可进群获取哈~~    

微信： luckylucky421302

好课推荐

《kubernetes/k8s+SpringCloud全栈技术：基于世界500强的企业实战课程》


微信公众号



点击阅读原文即可了解更多信息

       

       

韩先超
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kubernetes实战（二十九）-集群资源管理（CPU & Memory）
专注基础架构领域
08-31 718
Kubernetes 是一个容器集群管理平台，Kubernetes需要统计整体平台的资源使用情况，合理地将资源分配给容器使用，并且要保证容器生命周期内有足够的资源来保证其运行，这些资源可以被分成两种不同的情形：期望情形（规格）和当前情形（状态）。资源需求和资源容量可被认为是规格（期望情形），资源使用可被认为是状态（当前情形）。Kubernetes 调度器可以利用这两种情形来推断节点容量，资源需求等。 我们可以用术语“限额”和“请求”来描述资源的规格： 请求：一个容器请求的资源数量。如果一个容器超过了它的
win10设置虚拟内存_小技巧| 电脑经内存不够用，教你如何设置虚拟内存
weixin_39656686的博客
10-23 1616
世界那么大，谢谢你来看我！！关注我你就是个网络、电脑、手机小达人最近，Caesar非常生气，明明8G内存的电脑，吃鸡游戏玩着玩着就爆内存，隔个十几分钟就要重启游戏，忍不住想要摔电脑。经过我的仔细研究，终于发现，原来是虚拟内存有问题，虚拟内存竟然只有2G，游戏玩一把就内存不足了。在我手动修改到16G后，连玩5小时都不会爆。接下来，就告诉大家如何设置虚拟内存。什么是虚拟系统：虚拟内存是计...
K8S资源限定（CPU、内存）及pod数量修改
学亮编程手记
05-16 8427
资源限定 对CPU、内存等资源进行限制 requests 是基本需要 limits 是最大限制 vim tomcat-deploy.yml kubectl apply -f tomcat-deploy.yml 更改pod数量： 对于新创建的pod，K8S默认会根据负载较低的节点来分配新的pod ...
Popeye：你的Kubernetes集群净化器
gitblog_00100的博客
05-11 351
Popeye：你的Kubernetes集群净化器 项目地址:https://gitcode.com/derailed/popeye 在现代的云计算环境中，管理一个健康的Kubernetes（K8s）集群至关重要。Popeye就是这样一款实用工具，它能扫描并清理你的K8s集群，帮你发现潜在的问题和配置错误，确保最佳实践始终得以贯彻。这个强大的助手旨在减轻操作复杂性，为在生产环境中运行的K8s集群带来...
kubernetes限制pod的cpu和内存
运维那些事儿
09-27 7185
1、在创建容器的配置文件中指定 spec: containers: - image: gcr.io/google_containers/serve_hostname imagePullPolicy: Always name: kubernetes-serve-hostname resources: limits: cpu: "1" ...
Kubernetes----Pod配置资源配额
redrose2100的博客
03-09 1179
一、环境变量配置 Pod中的环境变量配置即env参数 修改pod_base.yaml文件如下，增加env参数 apiVersion: v1 kind: Pod metadata: name: pod-base namespace: dev labels: user: redrose2100 spec: containers: - name: nginx image: nginx:latest imagePullPolicy: IfNotPresent - na
Kubernetes 教程 02
10-07
- **自动扩缩容**：Horizontal Pod Autoscaler（HPA）可以根据CPU或内存使用情况动态调整Pod数量。 - **自我修复能力**：如果Pod出现问题，Kubernetes会尝试重启、替换或恢复它们，确保应用的高可用性。 4. **...
k8s1.13.3部署电商微服务-kubernetes的实战案例应用-安装包和详细文档笔记整理
最新发布
05-27
Kubernetes，简称K8s，是目前最流行的容器编排系统，它允许用户轻松地管理和扩展分布式应用程序，特别是在云计算环境中。通过Kubernetes，我们可以实现服务发现、负载均衡、自动伸缩、容错处理等功能，极大地提高了...
kubernetes(k8s)入门笔记
08-21
通过定义Horizontal Pod Autoscaler（HPA），可以根据CPU或内存使用情况自动调整Pod的数量。 总的来说，Kubernetes是一个强大的容器编排平台，能够帮助开发者和运维人员更轻松地管理和部署分布式应用。掌握...
kubernetes入门及简单使用
07-30
4. **自动扩容缩容**：Horizontal Pod Autoscaler (HPA)可以根据CPU或内存使用情况动态调整Pod的数量，以应对流量波动。 5. **服务发现和负载均衡**：Kubernetes提供内置的服务发现机制，每个Pod都有自己的IP地址，...
kube-resource-report：报告Kubernetes集群和pod资源的请求与使用情况并生成静态HTML
02-04
2. 分析每个Pod的资源请求和限制，以及实际使用的CPU和内存。 3. 计算资源利用率，包括平均利用率和最高利用率。 4. 将所有数据汇总并生成结构化的HTML报告。 5. 用户可以进一步通过浏览器查看报告，进行深入分析。 ...
深入理解Kubernetes资源限制：CPU
weixin_30648963的博客
03-14 495
写在前面 在上一篇关于Kubernetes资源限制的文章我们讨论了如何通过ResourceRequirements设置Pod中容器内存限制，以及容器运行时是如何利用Linux Cgroups实现这些限制的。也分析了requests是用来通知调度器Pod所需资源需求和limits是在宿主机遇到内存压力时帮助内核限制资源二者的区别。 在本文中，我会继续深入探讨CPU时间的reque...
Docker(二十一)--Docker k8s--Kubernetes存储--kubernetes监控
qwerty1372431588的博客
03-02 273
k8s监控1. kubernetes容器资源限制1.1 简介1.2 kubernetes容器资源限制操作1.2.1 内存限制示例1.2.2 CPU限制1.2.3 为namespace设置资源限制 1. kubernetes容器资源限制 1.1 简介 1.2 kubernetes容器资源限制操作 1.2.1 内存限制示例 [root@server1 harbor]# docker tag progrium/stress reg.westos.org/library/stress ##下载镜像 [root@
Spring Cloud Kubernetes配置使用详情
喜欢猪猪
06-13 2151
当然，你的集群也必须支持它。事实上，如果你启用了这个属性，但你的集群不支持它，我们将无法启动应用程序。要启用这一功能，你需要在应用程序的配置属性中设置 spring.config.import=kubernetes：目前，你不能使用 spring.config.import 指定要加载的 ConfigMap 或 Secret，默认情况下，Spring Cloud Kubernetes 将根据 spring.application.name 属性加载 ConfigMap 和 / 或 Secret。
Java/Spring应用在k8s环境中的内存配置实践
qq_39458487的博客
03-30 3310
前言 在微服务架构中，网关、注册中心、配置中心、服务追踪、认证中心等一系列组件部署到服务器中会占用一定的内存，还有各个业务服务，一部署单个服务可能就占个几百M，甚至上G。那这一系列组件和服务同时部署不得消耗更多的内存？为防止这些服务把系统资源耗尽导致宕机，我们不得不为这些服务配置一定的内存限制。 在 k8s 环境中，如果我们单单配置了memory的 limit ，没有配置 Java 应用的JVM参数，那么在 Java 程序运行过程中可能会导致内存超过memory的 limit ，发送OOM错...
python 通过k8s API采集k8s 集群信息
HD0do的博客
11-22 943
【代码】python 通过k8s API采集k8s 集群信息。
python 使用requests调用 kubernetes API创建deploy
weixin_56790951的博客
09-14 698
python 调用k8s api 创建deploy
kubernetes 限制cpu和内存
07-12
Kubernetes 可以通过资源限制来控制容器的 CPU 和内存使用。这样可以确保每个容器只能使用分配给它的资源，防止某个容器占用过多资源导致其他容器受到影响。 在 Kubernetes 中，资源限制是通过定义 Pod 中容器的 `limits` 字段来实现的。这个字段包含了对 CPU 和内存的限制。 例如，下面是一个 Pod 配置文件的示例，其中包含了对 CPU 和内存的限制： ```yaml apiVersion: v1 kind: Pod metadata: name: my-pod spec: containers: - name: my-container image: my-image resources: limits: cpu: "1" memory: "1Gi" ``` 在上面的示例中，`limits` 字段指定了 `my-container` 容器的 CPU 和内存限制。`cpu` 的值为 `"1"`，表示该容器最多使用一个 CPU 核心；`memory` 的值为 `"1Gi"`，表示该容器最多使用 1GB 的内存。 你可以根据实际需求设置不同的限制值来控制容器的资源使用。这样可以确保在集群中运行的容器之间相互隔离，并且合理分配资源，提高应用的可靠性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值