K8S配置MySQL主从自动水平扩展

前提环境

操作系统Ubuntu 22.04
K8S 1.28.2集群（1个master+2个node）
MySQL 5.7.44部署在K8S的主从集群
metrics-server v0.6.4

概念简介

在K8s中扩缩容分为两种
●Node层面：对K8s物理节点扩容和缩容，根据业务规模实现物理节点自动扩缩容
●Pod层面：一般会使用Deployment中的Replicas参数，设置多个副本集来保证服务的高可用，但是这是一个固定的值，比如设置10个副本，就会启10个pod同时Running来提供服务。如果这个服务平时流量很少的时候，也是10个Pod同时在Running，而流量突然暴增时，又可能出现10个Pod不够用的情况，针对这种情况就要使用自动扩容和缩容

HPA（Horizontal Pod Autoscaling）

Pod水平自动伸缩，HPA可以根据CPU利用率自动伸缩一个Replication
Controller、Deployment或者Replica Set 中的Pod 数量
（1）HPA基于Master上的kube-controller-manager服务启动参数horizontal-pod-autoscaler-sync-period定义的时长（默认为30秒），周期性的检测Pod的CPU使用率
（2）HPA与之前的RC、Deployment一样，也属于一种Kubernetes资源对象。通过追踪分析RC控制的所有目标Pod的负载变化情况，来确定是否需要针对性地调整目标Pod的副本数，这是HPA的实现原理
（3）metrics-server也需要部署到集群中， 它可以通过resource metrics API对外提供度量数据
HPA是kubernetes中实现自动扩缩容Pod副本数量的机制，它允许集群中的工作负载根据实际的负载情况自动调整pod的数量，以此来优化资源的使用和提高服务的响应能力

核心概念

●水平扩展（Horizontal Scaling）：增加Pod的数量来分摊负载，与垂直扩展（增加单个Pod的资源）相对
●Pod副本（Pod Replicas）：运行应用程序的容器实例，通常是在Deployment或ReplicaSet等控制器下管理的
●指标（Metrics）：用于触发HPA扩缩容的度量值，如CPU使用率、内存使用量、自定义的应用程序指标等 HPA的关键参数
●ScaleTargetRef：指定HPA将要作用的资源对象，如 Deployment、Replica Set或RC的名称
●MinReplicas：最小副本数，即使在负载很低时也不会低于这个数量
●MaxReplicas：最大副本数，即使在负载很高时也不会超过这个数量
●Metrics：定义用于触发伸缩的度量标准和目标值。例如，可以设置CPU的利用率目标，当实际利用率超过这个目标值时，HPA会增加副本数量；当利用率低于目标值时，HPA会减少副本数量

安装metrics-server

简介

Kubernetes Metrics Server是Cluster核心监控数据的聚合器，kubeadm默认是不部署的。Metrics
Server供dashboard等其他组件使用，是一个扩展的APIServer，依赖于API Aggregator Metrics
API只可查询当前的度量数据，不保存历史数据，Metrics API
URI为/apis/metrics.k8s.io/，在k8s.io/metrics下维护。必须部署metrics-server才能使用该API，metrics-server通过调用kubelet
Summary API获取数据 Metrics Server从Kubelet收集资源指标，并通过Metrics
API将它们暴露在Kubernetes apiserver中，供水平Pod Autoscaler和垂直Pod
Autoscaler使用。kubectl top还可以访问Metrics API，这使得调试自动伸缩变得更容易。Metrics
Server不用于非自动伸缩，例如不要将其指标转发给监视解决方案，或作为监视解决方案指标的来源

下载地址

https://github.com/kubernetes-sigs/metrics-server/releases
$ wget https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.6.4/components.yaml

修改metrics-server启动参数
metrics-server会请求每台节点的kubelet接口来获取监控数据，但节点的kubelet使用的是自签证书，若metrics-server直接请求kubelet接口，将产生证书校验失败的错误，因此需要在components.yaml文件中加上–kubelet-insecure-tls启动参数。 由于metrics-server官方镜像仓库存储在k8s.gcr.io，如果无法拉取，可以使用阿里云仓库registry.aliyuncs.com/google_containers/metrics-server:v0.6.4

$ vim components.yaml

将文件按照截图中修改

$ kubectl apply -f components.yaml
$ kubectl get pods -n kube-system -l k8s-app=metrics-server

$ kubectl top nodes

$ kubectl top pods -n mysql-ns

在k8s-master节点上安装压测工具sysbench

$ sudo apt -y install sysbench

在mysql的master上创建测试数据库

$ kubectl exec -it mysql-0 -c mysql -n mysql-ns -c mysql -- bash -c "mysql -uroot -p'' -e 'create database sbtest;'"

注意：这里创建的sbtest测试库名，是lua脚本默认的库名，如果创建其他库名，需要改lua脚本 导入测试数据

$ sysbench --mysql-host=10.244.169.190 --mysql-port=3306 --mysql-user=root --mysql-password='' /usr/share/sysbench/oltp_common.lua --tables=10  --table_size=10000 prepare
--mysql-host=10.244.169.190 #master主库的pod IP
--mysql-port=3306 #master主库端口
--mysql-user=root #数据库用户名
--mysql-password='' #数据库密码
/usr/share/sysbench/oltp_common.lua#导入数据的lua脚本
--tables=10#创建测试表的数量
--table_size=10000#每张表10000行数据

实时监控pod中mysql容器的cpu和内存状态

$ watch -n 1 kubectl top pods --containers -n mysql-ns

开始压测

$ sysbench --threads=4 --time=20 --report-interval=5 --mysql-host=10.244.169.190 --mysql-port=3306 --mysql-user=root --mysql-password='' /usr/share/sysbench/oltp_read_write.lua --tables=10  --table_size=10000 run
--threads=4 #使用的线程数
--time=20 #最大执行时间
--report-interval=5 #间隔5秒统计信息

/usr/share/sysbench/oltp_read_write.lua#读写测试脚本，在/usr/share/sysbench/下有很多测试脚本可以使用，同时可以看到mysql主库的资源在发生变化

修改StatefulSet清单文件mysql-sts.yaml，添加资源限制

$ vim mysql-sts.yaml

$ kubectl apply -f  mysql-sts.yaml 

注意：由于更新了pod的资源限制，pod会发生重建操作，所以这个资源配额一定要在集群安装的初始时设置
配置HPA清单文件mysql-hpa.yaml

$ vim mysql-hpa.yaml
apiVersion: autoscaling/v1
kind: HorizontalPodAutoscaler
metadata:
  name: mysql-hpa
  namespace: mysql-ns
spec:
  minReplicas: 3
  maxReplicas: 5
  targetCPUUtilizationPercentage: 3
  scaleTargetRef:
    apiVersion: apps/v1
    kind: StatefulSet
    name: mysql
    
$ kubectl create -f  mysql-hpa.yaml
$ kubectl get hpa -n mysql-ns

测试HPA功能

查看mysql-read这个只读service的IP

$ kubectl get svc -n mysql-ns

压测（读）

$ sysbench --threads=6 --time=30 --report-interval=5 --mysql-host=10.99.87.143 --mysql-port=3306 --mysql-user=root --mysql-password='' /usr/share/sysbench/oltp_read_only.lua --tables=10  --table_size=10000 run

监控mysql主从集群中各个pod资源占用（读压测开始前就监控）

$ watch -n 1 kubectl top pods --containers  -n mysql-ns

$ watch -n 1 kubectl get hpa -n mysql-ns -o wide

$ kubectl get pod -n mysql-ns --watch

通过以上监控可以发现，当HPA监测到targets的百分比超过了设置值，就会向statefulset请求并新增副本直到低于targets的百分比，或者达到maxReplicas的设定值。例如，原来mysql主从集群中副本数量(master数量+slave数量)共3个，所以HPA控制StatefulSet控制器新建副本，从而维持在targets目标的3%以下
当数据库的读压力降下来之后，HPA控制StatefulSet减少副本数量至minReplicas的值（需要等待一段时间）

$ watch -n 1 kubectl top pods --containers -n mysql-ns

$ kubectl get pod -n mysql-ns --watch

$ kubectl get hpa -n mysql-ns -o wide

$ kubectl get pod -n mysql-ns

以上为在K8S中配置MySQL主从水平扩展流程，哪里不懂可以在评论中评论~
文档持续更新中