K8S：HPA pod水平自动伸缩

最新推荐文章于 2024-06-12 23:15:00 发布
最新推荐文章于 2024-06-12 23:15:00 发布
阅读量695 收藏
点赞数
分类专栏： K8S 文章标签： kubernetes 容器 云原生 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Katie_ff/article/details/133783032
版权

文章目录

一.HPA概念

1.什么是HPA

HPA（Horizontal Pod Autoscaling）Pod 水平自动伸缩，Kubernetes 有一个 HPA 的资源，HPA 可以根据 CPU 利用率自动伸缩一个 Replication Controller、Deployment 或者Replica Set 中的 Pod 数量。

2.HPA原理

（1）HPA 基于 Master 上的 kube-controller-manager 服务启动参数 horizontal-pod-autoscaler-sync-period 定义的时长（默认为30秒），周期性的检测 Pod 的 CPU 使用率。

（2）HPA 与之前的 RC、Deployment 一样，也属于一种 Kubernetes 资源对象。通过追踪分析 RC 控制的所有目标 Pod 的负载变化情况，来确定是否需要针对性地调整目标Pod的副本数，这是HPA的实现原理。

（3）metrics-server 也需要部署到集群中， 它可以通过 resource metrics API 对外提供度量数据。

二.部署 metrics-server

●metrics-server：是kubernetes集群资源使用情况的聚合器，收集数据给kubernetes集群内使用，如kubectl、hpa、scheduler等。

1.node节点上传镜像包

//在所有 Node 节点上传 metrics-server.tar 镜像包到 /opt 目录
cd /opt/
docker load -i metrics-server.tar

2.master节点安装metrics-server

//使用 helm install 安装 metrics-server
mkdir /opt/metrics
cd /opt/metrics

helm repo remove stable

helm repo add stable https://charts.helm.sh/stable
或
helm repo add stable http://mirror.azure.cn/kubernetes/charts

helm repo update

helm pull stable/metrics-server

vim metrics-server.yaml
args:
- --logtostderr
- --kubelet-insecure-tls
- --kubelet-preferred-address-types=InternalIP
image:
  repository: k8s.gcr.io/metrics-server-amd64
  tag: v0.3.2

//使用 helm install 安装 metrics-server
helm install metrics-server stable/metrics-server -n kube-system -f metrics-server.yaml

kubectl get pods -n kube-system | grep metrics-server

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

#需要多等一会儿
kubectl top node

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

kubectl top pods --all-namespaces

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

三.部署 HPA

1.所有节点安装镜像

//在所有节点上传 hpa-example.tar 镜像文件到 /opt 目录
hpa-example.tar 是谷歌基于 PHP 语言开发的用于测试 HPA 的镜像，其中包含了一些可以运行 CPU 密集计算任务的代码。

cd /opt
docker load -i hpa-example.tar

docker images | grep hpa-example

gcr.io/google_containers/hpa-example                              latest                          4ca4c13a6d7c   7 years ago    481MB

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2.master创建测试的 Pod 资源

//创建用于测试的 Pod 资源，并设置请求资源为 cpu=200m
mkdir /opt/HPA
cd /opt/HPA
vim hpa-pod.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: php-apache
  name: php-apache
spec:
  replicas: 1
  selector:
    matchLabels:
      run: php-apache
  template:
    metadata:
      labels:
        run: php-apache
    spec:
      containers:
      - image: gcr.io/google_containers/hpa-example
        name: php-apache
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: 200m
---
apiVersion: v1
kind: Service
metadata:
  name: php-apache
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: php-apache

kubectl apply -f hpa-pod.yaml

kubectl get pods
NAME                          READY   STATUS    RESTARTS   AGE
php-apache-6c64bcf88b-n5fhc               1/1     Running             0          6s

3.创建 HPA 控制器

//使用 kubectl autoscale 命令创建 HPA 控制器，设置 cpu 负载阈值为请求资源的 50%，指定最少负载节点数量为 1 个，最大负载节点数量为 10 个
kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10

//需要等一会儿，才能获取到指标信息 TARGETS
kubectl get hpa

NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache   0%/50%    1         10        1          70m

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

kubectl top pods

NAME                                CPU(cores)   MEMORY(bytes) 
php-apache-6c64bcf88b-n5fhc         1m           6Mi

4.创建测试客户端容器

//创建一个测试客户端容器
kubectl run -it load-generator --image=busybox /bin/sh

//增加之前提前再开一个终端，实施查看负载效果
kubectl get hpa -w

//增加之前提前再另开一个终端，实施查看pod创建效果
kubectl get pod |grep php-apache

//增加负载,（弹性扩容）
# while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

#查看负载节点数目
 kubectl get hpa -w
NAME         REFERENCE               TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
php-apache   Deployment/php-apache   0%/50%    1         10        1          87m
php-apache   Deployment/php-apache   196%/50%   1         10        1          89m
php-apache   Deployment/php-apache   196%/50%   1         10        4          89m
php-apache   Deployment/php-apache   122%/50%   1         10        4          90m
php-apache   Deployment/php-apache   122%/50%   1         10        8          90m
php-apache   Deployment/php-apache   122%/50%   1         10        10         90m
php-apache   Deployment/php-apache   49%/50%    1         10        10         91m
php-apache   Deployment/php-apache   48%/50%    1         10        10         93m

#以上可以看到经过压测，负载节点数量最大上升到 10 个，并且 cpu 负载也随之下降。

#查看 Pod 状态，也发现已经创建了 10 个 Pod 资源
kubectl get pod |grep php-apache
kubectl get pod |grep php-apache|wc -l

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

#HPA 扩容的时候，负载节点数量上升速度会比较快；但回收的时候，负载节点数量下降速度会比较慢。
原因是防止在业务高峰期时因为网络波动等原因的场景下，如果回收策略比较积极的话，K8S集群可能会认为访问流量变小而快速收缩负载节点数量，而仅剩的负载节点又承受不了高负载的压力导致崩溃，从而影响业务。

#查看node节点的状态
kubectl top node

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

//如果 cpu 性能较好导致负载节点上升不到 10 个，可再创建一个测试客户端同时测试：
kubectl run -i --tty load-generator1 --image=busybox /bin/sh
# while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done

5.弹性缩容

#结束增加负载之后，pod的数量会逐渐缩减为一个
kubectl get hpa -w
kubectl get pod |grep php-apache

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

四.扩展

1.资源限制 - Pod

①资源限制的原理

Kubernetes对资源的限制实际上是通过cgroup来控制的，cgroup是容器的一组用来控制内核如何运行进程的相关属性集合。针对内存、CPU 和各种设备都有对应的 cgroup。
默认情况下，Pod 运行没有 CPU 和内存的限额。这意味着系统中的任何 Pod 将能够像执行该 Pod 所在的节点一样， 消耗足够多的 CPU 和内存。一般会针对某些应用的 pod 资源进行资源限制，这个资源限制是通过 resources 的 requests 和 limits 来实现。requests 为创建 Pod 时初始要分配的资源，limits 为 Pod 最高请求的资源值。

②格式示例

spec:
  containers:
  - image: xxxx
    imagePullPolicy: IfNotPresent
    name: auth
    ports:
    - containerPort: 8080
      protocol: TCP
    resources:
      limits:
        cpu: "2"
        memory: 1Gi
      requests:
        cpu: 250m
        memory: 250Mi

2.资源限制 - 命名空间

①计算资源配额

apiVersion: v1
kind: ResourceQuota        #使用 ResourceQuota 资源类型
metadata:
  name: compute-resources
  namespace: spark-cluster  #指定命令空间
spec:
  hard:
    pods: "20"    #设置 Pod 数量最大值
    requests.cpu: "2"
    requests.memory: 1Gi
    limits.cpu: "4"
    limits.memory: 2Gi

②配置对象数量配额限制

apiVersion: v1
kind: ResourceQuota
metadata:
  name: object-counts
  namespace: spark-cluster
spec:
  hard:
    configmaps: "10"
    persistentvolumeclaims: "4"		#设置 pvc 数量最大值
    replicationcontrollers: "20"    #设置 rc 数量最大值
    secrets: "10"
    services: "10"
    services.loadbalancers: "2"

#如果Pod没有设置requests和limits，则会使用当前命名空间的最大资源；如果命名空间也没设置，则会使用集群的最大资源。
K8S 会根据 limits 限制 Pod 使用资源，当内存超过 limits 时 cgruops 会触发 OOM。

3.单独对某个资源进行限制（Container、Pod、PVC）

这里就需要创建 LimitRange 资源来设置 Pod 或其中的 Container 能够使用资源的最大默认值
apiVersion: v1
kind: LimitRange     #使用 LimitRange 资源类型
metadata:
  name: mem-limit-range
  namespace: test    #可以给指定的 namespace 增加一个资源限制
spec:
  limits:
  - default:         #default 即 limit 的值
      memory: 512Mi
      cpu: 500m     
    defaultRequest:   #defaultRequest 即 request 的值
      memory: 256Mi
      cpu: 100m
    type: Container  #类型支持 Container、Pod、PVC

总

1.HPA

①概念

为控制器管理的pod 资源的副本数量实现自动伸缩

②原理

追踪控制器管理的Pod 的负载情况， 来根据设置的阀值动态的调整Pod的副本数量

metrics-server 收集k8s中的node、pod等资源的使用情况 kubectl top node/pod

kubectl autoscale 控制器 --cpu-percent --min --maX

2.k8s 资源限制

resource ,requests/limits——限制pod 中的容器的资源量

ResourceQuota——资源类型命名空间中的资源对象或者资源量进行配额限制

LimitRanger——资源类型设置命名空间中的 Pod/容器的默认的

limits/requests——资源量的限制

一杯甜酒z
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
k8s-prom-hpa：具有Prometheus自定义指标的Kubernetes水平Pod自动缩放器
02-04
【k8s-prom-hpa：Prometheus自定义指标的Kubernetes水平Pod自动缩放器】 在Kubernetes（k8s）环境中，水平Pod自动缩放器（Horizontal Pod Autoscaler, HPA）是一种强大的功能，它允许系统根据工作负载动态调整Pod的...
Kubernetes 的 HPA 原理详解
热门推荐
NetEaseResearch的博客
09-15 1万+
1. HPA解决的问题 HPA全称是 Horizontal Pod Autoscaler，也就是对k8s的workload的副本数进行自动水平扩缩容（scale）机制，也是k8s里使用需求最广泛的一种Autoscaler机制，在开始详细介绍HPA之前，先简单梳理下k8s autoscale的整个大背景。 k8s被誉为新一代数据中心操作系统（DCOS），说到操作系统我们自然想到其定义：管理计算机的软硬件资源的系统，k8s也一样其核心工作也是管理整个集群的计算资源，并按需合理分配给系统里的程序（以Pod为基础的
总结：K8s之HPA
w2009211777的专栏
01-15 4305
一、介绍 HPA的全称为（Horizontal Pod Autoscaling）它可以根据当前pod资源的使用率（如CPU、磁盘、内存等），进行副本数的动态的扩...
【kubernetes】k8s 自动伸缩机制-------HPA 超详细解读
最新发布
zzzxxx520369的博客
06-12 1381
HPA：为控制器管理的Pod资源的副本数量实现自动伸缩 原理：追踪控制器管理的Pod负载情况，来根据设置的阀值动态的调整Pod副本的数量 Metrics-Server：收集K8s当中的node、Pod等资源使用情况，使用Kubectl top node/pod命令
k8s HPA 自动伸缩机制 （配置，资源限制，）
qq_51545656的博客
03-13 1731
当需要使用自定义指标（如来自Prometheus的指标）时，自定义指标适配器允许HPA使用这些外部指标。它通过Custom Metrics API将外部指标转换为Kubernetes可以理解的格式。
K8S之HPA自动扩缩容机制
m0_47495420的博客
05-02 1452
简介kubectl scale命令可以来实现 Pod 的扩缩容功能，但是这个毕竟是完全手动操作的，要应对线上的各种复杂情况，我们需要能够做到自动化去感知业务，来自动进行扩缩容。为此，Kubernetes 也为我们提供了这样的一个资源对象：Horizontal Pod Autoscaling（Pod 水平自动伸缩），简称HPA，HPA 通过监控分析一些控制器控制的所有 Pod 的负载变化情...
k8s 弹性伸缩pod ＜常用命令一＞
ajax_beijing_java的博客
04-15 536
1、自动的弹性伸缩2、手动的增加pod数3、实现水平扩展或收缩。
mongo-k8s：k8s
02-16
在K8s中，我们可以使用Headless Service来自动为每个Pod生成DNS记录，便于它们相互发现。 四、健康检查与自我修复 为了确保MongoDB服务的正常运行，Kubernetes会执行健康检查。这可以通过设置Pod的liveness和...
rabbitmq-peer-discovery-k8s：RabbitMQ的基于Kubernetes的对等发现机制
02-04
在K8s环境中，每个RabbitMQ Pod都可以配置为使用这个插件，通过阅读Kubernetes的服务端点（Endpoints）来自动获取集群伙伴的地址。这样，当新的RabbitMQ Pod加入或离开时，集群无需人工干预就能自动调整。 **四、...
k8s自动伸缩那些事资料下载.pdf
08-29
本文将深入探讨K8s自动伸缩的相关概念、原理及组件，并通过实例分析不同的伸缩策略如何满足不同类型应用的需求。 #### 二、Kubernetes自动伸缩概述 Kubernetes自动伸缩是指根据系统的负载情况动态调整资源分配的...
高级：K8S（kubernetes）云计算案例实战.rar
09-13
3. 垂直和水平伸缩：HPA（Horizontal Pod Autoscaler）和VPA（Vertical Pod Autoscaler）根据负载自动调整资源。 4. 存储管理：动态卷供给和持久卷声明，支持多种存储类型。 5. 日志和监控：使用Elasticsearch、...
如何利用Kubernetes实现自动弹性伸缩
weixin_41888295的博客
05-25 1015
VPA可以根据容器的资源使用情况自动增加或减少Pod实例的数量，以确保每个容器都得到适当的资源。其中最简单的方式是使用Horizontal Pod Autoscaler（HPA），它可以监控应用程序的性能指标，例如CPU利用率和内存使用率，并根据预设的阈值自动增加或减少Pod实例的数量。除了HPA之外，Kubernetes还支持其他类型的自动弹性伸缩，例如基于容器的弹性伸缩和基于工作负载的弹性伸缩。基于容器的弹性伸缩可以非常方便地实现应用程序的自动弹性伸缩，因为它直接针对应用程序的资源使用情况进行了优化。
《Kubernetes知识篇：Kubernetes资源自动伸缩的三种方法》
东城绝神
10-14 2515
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
k8s自动化伸缩实践---HPA
qq_45034687的博客
03-17 518
Kubernetes Metrics Server 从集群中的 kubelets 收集资源指标， 并通过 Kubernetes API 公开这些指标， 使用 APIService 添加代表指标读数的新资源。HorizontalPodAutoscaler（简称 HPA ）自动化伸缩策略，可以根据服务负载情况自动扩展或缩小实例数量，以应对不同的流量负载。2、创建一个Deployment或ReplicaSet的HAP资源，以定义需要自动伸缩的服务目标。自动扩缩完成副本数量的改变可能需要几分钟的时间。
基于k8s的Kubernetes自动伸缩
走向CTO的路上...
03-21 155
基于 Kubernetes 的 Kubernetes 自动伸缩是一种利用 Kubernetes 来自动伸缩 Kubernetes 集群资源的解决方案。它可以帮助企业在 Kubernetes 环境下根据应用负载自动扩缩容 Pod 和节点，提高资源利用率，降低成本。
K8s的水平伸缩和自动扩展策略
babogd的博客
05-21 275
Kubernetes提供了一种灵活的方式来管理容器，确保应用程序的高可用性和可伸缩性。
k8s配置自动伸缩
qq_41009846的博客
08-27 2373
概述 在使用k8s容器的时候往往需要进行自动伸缩，满足系统的一些扩展的要求 我的环境 [root@k8s-master1 pods]# kubectl get pod NAME READY STATUS RESTARTS AGE unioj-beego-deployment-6874449649-b8n27 1/1 Running 1 16h unioj-judger-dep
k8s--kubernetes资源监控--HPA实例(水平pod自动扩缩容)
Gong_yz的博客
03-15 1091
HPA的全称为（Horizontal Pod Autoscaling）它可以根据当前pod资源的使用率（如CPU、磁盘、内存等），进行副本数的动态的扩容与缩容，以便减轻各个pod的压力。 当pod负载达到一定的阈值后，会根据扩缩容的策略生成更多新的pod来分担压力，当pod的使用比较空闲时，在稳定空闲一段时间后，还会自动减少pod的副本数量。
k8s 弹性伸缩的使用
ApexPredator的博客
05-26 1231
k8s 弹性伸缩的使用
k8s pod 动态伸缩
09-20
Kubernetes (K8S) 是一个使用 Docker 容器进行编排的系统，它可以实现容器集群的自动化部署、自动扩缩容、维护等功能。在 K8S 中，最小的调度单位是 Pod，一个 Pod 可以包含一个或多个容器。如果你想要实现 K8S Pod 的动态伸缩，你可以使用 ReplicaSet 或 Deployment 来管理 Pod 的副本数量，根据需求自动调节 Pod 的数量来实现动态伸缩。 如果要进行 Pod 的动态伸缩，你可以使用 Horizontal Pod Autoscaler（HPA）来自动调节 Pod 的副本数量，根据 CPU 使用率或其它指标进行扩缩容。HPA 监控 Pod 的指标，并根据设定的阈值自动增加或减少 Pod 的数量。 下面是使用 kubectl 命令创建一个 HPA 的示例： ``` kubectl autoscale deployment my-deployment --cpu-percent=80 --min=1 --max=10 ``` 这个命令会创建一个 HPA，设置 CPU 使用率达到 80% 时，最小 Pod 数量为 1，最大 Pod 数量为 10。当 CPU 使用率超过阈值时，HPA 会自动增加 Pod 的数量，反之则会减少。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯甜酒z

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值