k8s搭建双主的mysql8集群---无坑

夏子曦

于 2024-09-28 11:47:19 发布

阅读量1k

点赞数 22

分类专栏： Kubernetes MySQL 文章标签： kubernetes 容器 mysql

本文链接：https://blog.csdn.net/oopxiajun2011/article/details/142610184

版权

Kubernetes 同时被 2 个专栏收录

22 篇文章 3 订阅

订阅专栏

MySQL

2 篇文章 0 订阅

订阅专栏

《k8s搭建一主三从的mysql8集群---无坑-CSDN博客》通过搭建一主三从，我们能理解到主节点只有1个，那么承担增删改主要还是主节点，如果你在从节点上去操作增删改操作，数据不会同步到其他节点。本章我们将实现多主（双主）集群。实现在多个节点上操作增删改，能同步其他节点。

一，环境准备

1.1 k8s集群服务器

ip	角色	系统	主机名	cpu	mem
192.168.40.129	master	centos7.9	k8smaster	4	8
192.168.40.130	node1	centos7.9	k8snode1	4	8
192.168.40.131	node2	centos7.9	k8snode2	4	8
192.168.40.132	node3	centos7.9	k8snode3	4	8

k8s集群操作请参考《K8s安装部署（v1.28）--超详细（cri-docker作为运行时）-CSDN博客》

1.2 nfs服务器器

ip	角色	系统	主机名	cpu	mem	用图
192.168.40.129	master	centos7.9	k8smaster	4	8	k8s主服务器兼 nfs服务器
192.168.40.130	node1	centos7.9	k8snode1	4	8	k8s的工作节点需要装nfs软件
192.168.40.131	node2	centos7.9	k8snode2	4	8	k8s的工作节点需要装nfs软件
192.168.40.132	node3	centos7.9	k8snode3	4	8	k8s的工作节点需要装nfs软件

二，安装nfs服务

2.1 安装（所有节点）

因为需要在三个工作节点上连接nfs，所以工作节点上也要安装

yum install -y nfs-utils

2.2 暴露nfs目录（只暴露nfs主服务器）

要安装四台服务器。

直接在nfs服务器(k8s-master：192.168.40.129)当中创建这三个目录并写入 /etc/exports 文件夹中（创建的目录可以修改）：

#创建nfs目录
mkdir -p /data/nfs/{mysql-master-01,mysql-master-02}

vi /etc/exports
#添加
/data/nfs/mysql-master-01 *(rw,sync,no_root_squash)
/data/nfs/mysql-master-02 *(rw,sync,no_root_squash)

如果目录不为空，需要清空

rm -rf /data/nfs/mysql-master-01/*
rm -rf /data/nfs/mysql-master-02/*

2.3 开启nfs服务器

直接在主服务器（192.168.40.129）上启动nfs服务器。

systemctl enable --now nfs-server

2.4 测试nfs服务

我们可以通过这行命令来检查目录是否暴露成功：注意修改为自己的nfs服务器地址

showmount -e 192.168.40.129

三，搭建MySql集群

3.1 创建命名空间

创建一个命名空间来部署MySQL集群，当然你也可以使用默认的Default命名空间。这里就用 mysql-cluster 命名空间来搭建集群了，首先我们将这个命名空间创建出来：

创建yaml

kubectl create namespace mysql-cluster --dry-run=client -o yaml

apiVersion: v1
kind: Namespace
metadata:
  creationTimestamp: null
  name: mysql-cluster
spec: {}
status: {}

将上面内容保存到mysql-ns.yaml中

执行命令

kubectl apply -f mysql-ns.yaml

查看名称空间

kubectl get ns

3.2 创建MySQL密码的Secret

创建一个存储了MySQL密码的Secret，直接使用这行命令生成这个Secret的资源清单文件：
注意修改root的密码和命名空间，我的root密码设置为的是123456

kubectl create secret generic mysql-password --namespace=mysql-cluster --from-literal=mysql_root_password=123456 --dry-run=client -o=yaml

apiVersion: v1
data:
  mysql_root_password: MTIzNDU2
kind: Secret
metadata:
  creationTimestamp: null
  name: mysql-password
  namespace: mysql-cluster

将上述yaml内容保存到 mysql-secret.yaml

kubectl apply -f  mysql-secret.yaml

查看创建的密码

 kubectl get secret -n mysql-cluster

3.3 编写MySQL双主节点yaml

3.3.1 主节点1

mysql-master-1.yaml 内容如下

apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-master-01-nfs-pv
  namespace: mysql-cluster
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.40.129
    path: /data/nfs/mysql-master-01
  storageClassName: "nfs"

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-master-01-nfs-pvc
  namespace: mysql-cluster
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: "nfs"
  resources:
    requests:
      storage: 1Gi
  volumeName: mysql-master-01-nfs-pv

---
apiVersion: v1
kind: Service
metadata:
  name: mysql-master-svc-01
  namespace: mysql-cluster
  labels:
    app: mysql-master
spec:
  ports:
  - port: 3306
    name: mysql
    targetPort: 3306
    nodePort: 3306
  selector:
    app: mysql-master
  type: NodePort
  sessionAffinity: ClientIP

---
apiVersion: v1
data:
  my.cnf: |
    [mysqld]
    server-id = 1

    # 开启gtid
    gtid_mode = ON
    enforce_gtid_consistency = 1

    # 设置自增ID初始值为2，每次自增量为2。即都是偶数2,4,6,8,...
    auto_increment_offset = 2
    auto_increment_increment = 2

    # 开启bin_log（默认是开启的，直接使用默认），模式为ROW，允许最大日志为1G
    #log_bin = mysql-bin
    #binlog_format = ROW
    #max_binlog_size = 1024M

    # 主节点master不需要写binlog的数据库
    binlog_ignore_db = mysql
    binlog_ignore_db = information_schema
    binlog_ignore_db = performance_schema
    binlog_ignore_db = sys

    # 从节点slave不进行数据同步的数据库
    replicate_ignore_db = mysql
    replicate_ignore_db = information_schema
    replicate_ignore_db = performance_schema
    replicate_ignore_db = sys

    # 中继日志（默认是开启的，直接使用默认）
    #relay_log = mysql-relay-bin

    # mysql5.7以后的版本不需要配置log-slave-updates=1
    # log-slave-updates = 1

    #[client]
    #socket           = /var/run/mysqld/mysqld.sock

    #!includedir /etc/mysql/conf.d/
kind: ConfigMap
metadata:
  creationTimestamp: null
  name: mysql-master-01-cm
  namespace: mysql-cluster


---

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql-master-01
  namespace: mysql-cluster
spec:
  selector:
    matchLabels:
      app: mysql-master
  serviceName: "mysql-master-svc-01"
  replicas: 1
  template:
    metadata:
      labels:
        app: mysql-master
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - args:
        - --character-set-server=utf8mb4
        - --collation-server=utf8mb4_unicode_ci
        - --lower_case_table_names=1
        - --default-time_zone=+8:00
        name: mysql
        # image: docker.io/library/mysql:8.0.34
        image: registry.cn-shenzhen.aliyuncs.com/xiaohh-docker/mysql:8.0.34
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
        - name: mysql-conf
          mountPath: /etc/my.cnf
          readOnly: true
          subPath: my.cnf
        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              key: mysql_root_password
              name: mysql-password
      volumes:
      - name: mysql-data
        persistentVolumeClaim:
          claimName: mysql-master-01-nfs-pvc
      - name: mysql-conf
        configMap:
          name: mysql-master-01-cm
          items:
          - key: my.cnf
            mode: 0644
            path: my.cnf

3.3.2 主节点2

主节点2 mysql-master-2.yaml 内容如下

apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-master-02-nfs-pv
  namespace: mysql-cluster
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.40.129
    path: /data/nfs/mysql-master-02
  storageClassName: "nfs"

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-master-02-nfs-pvc
  namespace: mysql-cluster
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: "nfs"
  resources:
    requests:
      storage: 1Gi
  volumeName: mysql-master-02-nfs-pv

---
apiVersion: v1
kind: Service
metadata:
  name: mysql-master-svc-02
  namespace: mysql-cluster
  labels:
    app: mysql-master
spec:
  ports:
  - port: 3306
    name: mysql
    targetPort: 3306
    nodePort: 3307
  selector:
    app: mysql-master
  type: NodePort
  sessionAffinity: ClientIP

---
apiVersion: v1
data:
  my.cnf: |
    [mysqld]
    server-id = 2

    # 开启gtid
    gtid_mode = ON
    enforce_gtid_consistency = 1

    # 设置自增ID初始值为1，每次自增量为2。即都是偶数2,4,6,8,...
    auto_increment_offset = 1
    auto_increment_increment = 2

    # 开启bin_log（默认是开启的，直接使用默认），模式为ROW，允许最大日志为1G
    #log_bin = mysql-bin
    #binlog_format = ROW
    #max_binlog_size = 1024M

    # 主节点master不需要写binlog的数据库
    binlog_ignore_db = mysql
    binlog_ignore_db = information_schema
    binlog_ignore_db = performance_schema
    binlog_ignore_db = sys

    # 从节点slave不进行数据同步的数据库
    replicate_ignore_db = mysql
    replicate_ignore_db = information_schema
    replicate_ignore_db = performance_schema
    replicate_ignore_db = sys

    # 中继日志（默认是开启的，直接使用默认）
    #relay_log = mysql-relay-bin

    # mysql5.7以后的版本不需要配置log-slave-updates=1
    # log-slave-updates = 1

    #[client]
    #socket           = /var/run/mysqld/mysqld.sock

    #!includedir /etc/mysql/conf.d/
kind: ConfigMap
metadata:
  creationTimestamp: null
  name: mysql-master-02-cm
  namespace: mysql-cluster


---

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql-master-02
  namespace: mysql-cluster
spec:
  selector:
    matchLabels:
      app: mysql-master
  serviceName: "mysql-master-svc-02"
  replicas: 1
  template:
    metadata:
      labels:
        app: mysql-master
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - args:
        - --character-set-server=utf8mb4
        - --collation-server=utf8mb4_unicode_ci
        - --lower_case_table_names=1
        - --default-time_zone=+8:00
        name: mysql
        # image: docker.io/library/mysql:8.0.34
        image: registry.cn-shenzhen.aliyuncs.com/xiaohh-docker/mysql:8.0.34
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
        - name: mysql-conf
          mountPath: /etc/my.cnf
          readOnly: true
          subPath: my.cnf
        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              key: mysql_root_password
              name: mysql-password
      volumes:
      - name: mysql-data
        persistentVolumeClaim:
          claimName: mysql-master-02-nfs-pvc
      - name: mysql-conf
        configMap:
          name: mysql-master-02-cm
          items:
          - key: my.cnf
            mode: 0644
            path: my.cnf

3.3.3 配置注意点

nfs 的地址、路径
msql的配置中 server-id 要不同，gtid_mode设置为on，enforce_gtid_consistency设置为1


    [mysqld]
    server-id = 2

    # 开启gtid
    gtid_mode = ON
    enforce_gtid_consistency = 1

mysql的镜像地址有需要改成能拉取到的镜像
service 的nodePort端口要设置不同（共用一个service的可以不变）

3.4 启动集群

3.4.1 启动

kubectl apply -f .

3.4.2 k8s查看所有集群信息

kubectl get all -n mysql-cluster -o wide

3.4.3 进入主节点1


 kubectl exec -itn mysql-cluster pod/mysql-master-01-0 -- mysql -uroot -p

输入密码·12345

加入集群命令

change master to
    master_host='mysql-master-02-0.mysql-master-svc-02.mysql-cluster.svc.cluster.local',
    master_port=3306,
    master_user='root',
    master_password='123456',
    master_auto_position=1,
    get_master_public_key=1;

需要注意下面的几个参数：

master_host: 这个参数是节点2的 master的地址，（根据k8s的网络解析，pod名称.service名称.命名空间.svc.cluster.local 。我的是 mysql-master-02-0.mysql-master-svc-02.mysql-cluster.svc.cluster.local）
master_port: 主节点的mysql端口，我们没改默认是3306
master_user: 登录到主节点的mysql用户
master_password: 登录到主节点要用到的密码
get_master_public_key: 连接主mysql的公钥获取方式根据上面参数，

如果要修改那么请按照自己的环境进行修改。

启动主从

#启动
start slave;
#查看副本状态
show replica status\G;

看到这两项都为yes表示正常

Replica_IO_Running: Yes
Replica_SQL_Running: Yes

3.4.4 进入主节点2

kubectl exec -itn mysql-cluster pod/mysql-master-02-0 -- mysql -uroot -p

输入密码·12345

加入集群命令

change master to
    master_host='mysql-master-01-0.mysql-master-svc-01.mysql-cluster.svc.cluster.local',
    master_port=3306,
    master_user='root',
    master_password='123456',
    master_auto_position=1,
    get_master_public_key=1;

需要注意下面的几个参数：

master_host: 这个参数是节点1的 master的地址，（根据k8s的网络解析，pod名称.service名称.命名空间.svc.cluster.local 。我的是 mysql-master-01-0.mysql-master-svc-01.mysql-cluster.svc.cluster.local）
master_port: 主节点的mysql端口，我们没改默认是3306
master_user: 登录到主节点的mysql用户
master_password: 登录到主节点要用到的密码
get_master_public_key: 连接主mysql的公钥获取方式根据上面参数，

如果要修改那么请按照自己的环境进行修改。

启动主从

#启动
start slave;
#查看副本状态
show replica status\G;

看到这两项都为yes表示正常

Replica_IO_Running: Yes
Replica_SQL_Running: Yes

四，测试集群

4.1 完整性测试

工具连接两个是3306、3307，端口，

我们在在节点1上建库，建表


CREATE DATABASE `test_db`;
USE `test_db`;

CREATE TABLE `user` (
  `user_id` BIGINT UNSIGNED PRIMARY KEY AUTO_INCREMENT COMMENT '用户id',
  `username` VARCHAR(50) NOT NULL COMMENT '用户名',
  `age` TINYINT UNSIGNED DEFAULT 18 COMMENT '年龄',
  `gender` TINYINT UNSIGNED DEFAULT 2 COMMENT '性别；0=男,1=女,2=未知'
) COMMENT '用户表';

到节点2上查看，是否同步了

我们在节点2上插入2条数据，看下是否能同步


INSERT INTO `user` (`username`, `age`, `gender`) VALUES ('oopxiajun', '18', '0');
INSERT INTO `user` (`username`, `age`, `gender`) VALUES ('01', '28', '0');

再去节点1上看下是否有这两条数据

已经成功同步。

4.2 宕机其中一台测试

关闭节点2

kubectl delete -f mysql-master-2.yaml

节点2已经连不上连不上了

这时我们在节点1插入一条数据

INSERT INTO `user` (`username`, `age`, `gender`) VALUES ('02宕机数据', '28', '0');

启动节点2

 kubectl apply  -f mysql-master-2.yaml

查看数据是否同步

这样我们架构就保证我们两台中一台能正常运行，业务就不会停止，发生故障的服务器恢复后可以自动同步数据。

夏子曦

关注

22
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录