Mysql 2N扩容方案实操

已于 2023-02-22 16:18:55 修改
阅读量129 收藏 1
点赞数
分类专栏： mysql 文章标签： mysql 数据库 服务器
于 2023-02-21 16:38:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27696323/article/details/129145433
版权

Mysql双主同步

双主同步部署架构图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VPgpDBjR-1676968526483)(C:\Users\ct10000\Desktop\mysql\assets\image-20230221145135734.png)]

双主同步实操

  1. 在cdh1增加配置

    [root@cdh1 ~]# vi /etc/my.cnf

[mysqld]
server-id  = 1
log-bin=mysql-bin
relay-log = mysql-relay-bin
## 忽略mysql、information_schema库下对表的操作
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
## 默认的情况下mysql级联复制是关闭的;
log-slave-updates=on
## 复制过程中，有任何错误，直接跳过
slave-skip-errors=all
auto-increment-offset=1
auto-increment-increment=2
## binlog的格式：STATEMENT，ROW，MIXED
binlog_format=mixed
## 自动过期清理binlog，默认0天，即不自动清理
expire_logs_days=10

    注意，cdh1自增为奇数位：

    auto-increment-offset=1 主键自增基数, 从1开始。

    auto-increment-increment=2 主键自增偏移量，每次为2。

  2. 服务器cdh2安装好mysql，增加配置如下：

    [root@cdh2 ~]# vi /etc/my.cnf

[mysqld]
server-id = 2
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=2
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

    cdh2自增为偶数位：

    auto-increment-offset=2 主键自增基数, 从2开始。

    auto-increment-increment=2 主键自增偏移量，每次为2。

    修改完上述配置后，重启数据库

    [root@cdh1 ~]# systemctl restart mysqld.service
[root@cdh2 ~]# systemctl restart mysqld.service

  3. 同步授权配置

    在cdh1创建replica用于主从同步的用户

    [root@cdh1 ~]# mysql -uroot -p123456

mysql> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
## mysql安装了validate_password密码校验插件，导致要修改的密码不符合密码策略的要求
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
## 查看当前的密码策略
mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+--------+
| Variable_name                        | Value  |
+--------------------------------------+--------+
| validate_password_check_user_name    | OFF    |
| validate_password_dictionary_file    |        |
| validate_password_length             | 8      |
| validate_password_mixed_case_count   | 1      |
| validate_password_number_count       | 1      |
| validate_password_policy             | MEDIUM |
| validate_password_special_char_count | 1      |
+--------------------------------------+--------+
7 rows in set (0.00 sec)
## 修改密码强度检查等级，0/LOW、1/MEDIUM、2/STRONG。（生产不要这么搞）
mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)
## 修改密码最小长度（生产不要这么搞）
mysql> set global validate_password_length=1;
Query OK, 0 rows affected (0.00 sec)

mysql> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

## 查看日志文件与偏移量，开启同步时需要使用
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      614 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql>

    在cdh2创建replica用于主从同步的用户

    [root@cdh2 ~]# mysql -uroot -p123456

mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)

mysql>  set global validate_password_length=1;
Query OK, 0 rows affected (0.00 sec)

mysql> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

## 查询日志文件与偏移量
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      614 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql>

  4. 配置主从同步信息

    在cdh1（192.168.4.11）中执行：

    mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      614 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql> change master to master_host='192.168.4.12',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=614, master_connect_retry=30;
Query OK, 0 rows affected, 2 warnings (0.00 sec)

mysql>

    在cdh2（192.168.4.12）中执行：

    mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      614 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql> change master to master_host='192.168.4.11',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=614, master_connect_retry=30;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

  5. 开启主从同步

    cdh1和cdh2分别执行：

    mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

    在cdh1查询同步信息：

     show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: 
                  Master_Host: 192.168.4.12
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 614
               Relay_Log_File: mysql-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: No
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: mysql.%,information_schema.%
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 614
              Relay_Log_Space: 154
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 1593
                Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 2
                  Master_UUID: 
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 230220 02:58:54
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: 
                Auto_Position: 0
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
1 row in set (0.00 sec)

ERROR: 
No query specified

    发现有错误：

    Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

    这是因为我为了方便，在cdh1中搭建好了mysql，直接克隆到cdh2，所以出现UUID相同的情况

    解决：

    [root@cdh2 ~]# find / -name auto.cnf
/var/lib/mysql/auto.cnf
[root@cdh2 ~]# vi /var/lib/mysql/auto.cnf
[auto]
## 修改一台机器的UUID即可
server-uuid=133077d3-b0e8-11ed-98f7-000c2919c290
## 重启mysql
[root@cdh2 ~]# systemctl restart mysqld.service

    解决上述问题后，cdh1和cdh2重新同步

    mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.00 sec)

    chd1和chd2查看同步状态：

     show slave status\G;
*************************** 1. row ***************************
......
## 两个参数都是YES表示成功了
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

keepAlived安装和高可用配置

  1. 在cdh1和cdh2分别安装keepAlived

    [root@cdh1 ~]# yum -y install keepalived
[root@cdh2 ~]# yum -y install keepalived

  2. 关闭防火墙

    [root@cdh1 ~]# systemctl stop firewalld
[root@cdh1 ~]# systemctl disable firewalld

  3. 设置主机名称

    cdh1节点：

    [root@cdh1 ~]# hostnamectl set-hostname cdh1

    cdh2节点：

    [root@cdh2 ~]# hostnamectl set-hostname cdh2

  4. cdh1节点配置

    [root@cdh1 ~]# cat  /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id cdh1           # 机器标识，和主机名保持一致，运行keepalived服务器的一个标识
}
vrrp_instance VI_1 {            #vrrp实例定义
    state BACKUP               #lvs的状态模式，MASTER代表主， BACKUP代表备份节点
    nopreempt  					#非抢占模式
    interface ens33               #绑定对外访问的网卡，vrrp实例绑定的网卡
    virtual_router_id 111        #虚拟路由标示，同一个vrrp实例采用唯一标示
    priority 100               #优先级，100代表最大优先级， 数字越大优先级越高
    advert_int 1              #master与backup节点同步检查的时间间隔，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有PASS和AH两种
        auth_pass 6666         #验证密码，BACKUP密码须相同
    }
    virtual_ipaddress {         #KeepAlived虚拟的IP地址
        192.168.4.100
    }
}
virtual_server 192.168.4.100 3306 {       #配置虚拟服务器IP与访问端口
    delay_loop 6                 #健康检查时间
    lb_algo rr                  #负载均衡调度算法， rr代表轮询
    lb_kind DR                   #负载均衡转发规则 DR/NAT/
    persistence_timeout 0        #会话保持时间，这里要做测试， 所以设为0， 实际可根据session有效时间配置
    protocol TCP               #转发协议类型，支持TCP和UDP
    real_server 192.168.4.11 3306 {    #配置服务器节点VIP1    
        notify_down /opt/mysql/mysql.sh #当服务挂掉时， 会执行此脚本，结束keepalived进程
        weight 1               #设置权重，越大权重越高
        TCP_CHECK {              #状态监测设置
            connect_timeout 10       #超时配置， 单位秒
            retry 3             #重试次数
            delay_before_retry 3        #重试间隔
            connect_port 3306         #连接端口， 和上面保持一致
        }
    }
}

    创建关闭脚本mysql.sh

    [root@cdh1 mysql]# vi /opt/mysql/mysql.sh
## 添加脚本内容
pkill keepalived

    设置执行权限：

    [root@cdh1 mysql]# chmod a+x mysql.sh

  5. chd2节点配置

    [root@cdh2 ~]# vi /etc/keepalived/keepalived.conf

global_defs {
   router_id cdh2           # 机器标识，和主机名保持一致，运行keepalived服务器的一个标识
}
vrrp_instance VI_1 {            #vrrp实例定义
    state BACKUP               #lvs的状态模式，MASTER代表主， BACKUP代表备份节点
    nopreempt  					#非抢占模式
    interface ens33               #绑定对外访问的网卡
    virtual_router_id 111        #虚拟路由标示，同一个vrrp实例采用唯一标示
    priority 98               #优先级，100代表最大优先级， 数字越大优先级越高
    advert_int 1              #master与backup节点同步检查的时间间隔，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有PASS和AH两种
        auth_pass 666         #验证密码，BACKUP密码须相同
    }
    virtual_ipaddress {         #KeepAlived虚拟的IP地址
        192.168.4.100
    }
}
virtual_server 192.168.4.100 3306 {       #配置虚拟服务器IP与访问端口
    delay_loop 6                 #健康检查时间
    lb_algo rr                  #负载均衡调度算法， rr代表轮询, 可以关闭
    lb_kind DR                   #负载均衡转发规则, 可以关闭
    persistence_timeout 0        #会话保持时间，这里要做测试， 所以设为0， 实际可根据session有效时间配置
    protocol TCP               #转发协议类型，支持TCP和UDP
    real_server 192.168.4.12 3306 {    #配置服务器节点linux31
        notify_down /opt/mariaDB/mariadb.sh #当服务挂掉时， 会执行此脚本，结束keepalived进程
        weight 1               #设置权重，越大权重越高
        TCP_CHECK {              #r状态监测设置
            connect_timeout 10       #超时配置， 单位秒
            retry 3             #重试次数
            delay_before_retry 3        #重试间隔
            connect_port 3306         #连接端口， 和上面保持一致
        }
    }

}

  6. 验证高可用

    使用keepAlived虚拟IP连接数据库

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-orqkSHoa-1676968526486)(C:\Users\ct10000\Desktop\mysql\assets\image-20230220170828836.png)]

    停止调主节点Mysql服务，验证是否自动切换

    [root@cdh1 mysql]# systemctl stop mysqld
[root@cdh1 mysql]# systemctl status keepalived
● keepalived.service - LVS and VRRP High Availability Monitor
   Loaded: loaded (/usr/lib/systemd/system/keepalived.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

Feb 20 04:10:49 cdh1 Keepalived_healthcheckers[1923]: TCP connection to [192.168.4.11]:3306 failed.
Feb 20 04:10:52 cdh1 Keepalived_healthcheckers[1923]: TCP connection to [192.168.4.11]:3306 failed.
Feb 20 04:10:55 cdh1 Keepalived_healthcheckers[1923]: TCP connection to [192.168.4.11]:3306 failed.
Feb 20 04:10:55 cdh1 Keepalived_healthcheckers[1923]: Check on service [192.168.4.11]:3306 failed after 3 retry.
Feb 20 04:10:55 cdh1 Keepalived_healthcheckers[1923]: Removing service [192.168.4.11]:3306 from VS [192.168.4.100]:3306
Feb 20 04:10:55 cdh1 Keepalived_healthcheckers[1923]: Executing [/opt/mysql/mysql.sh] for service [192.168.4.11]:3306 in...:3306
Feb 20 04:10:55 cdh1 Keepalived_healthcheckers[1923]: Lost quorum 1-0=1 > 0 for VS [192.168.4.100]:3306
Feb 20 04:10:55 cdh1 Keepalived[1922]: Stopping
Feb 20 04:10:55 cdh1 Keepalived_vrrp[1924]: VRRP_Instance(VI_1) sent 0 priority
Feb 20 04:10:55 cdh1 Keepalived_vrrp[1924]: VRRP_Instance(VI_1) removing protocol VIPs.
Hint: Some lines were ellipsized, use -l to show in full.

Mysql平滑2N扩容

平滑2N扩容部署架构图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-we2Rz0u4-1676968526487)(C:\Users\ct10000\Desktop\mysql\assets\image-20230221150112068.png)]

平滑2N扩容实操

  1. 在cdh2节点上，增加VIP

    修改/etc/keepalived/keepalived.conf

    [root@cdh2 ~]# vi /etc/keepalived/keepalived.conf
[root@cdh2 ~]# cat  /etc/keepalived/keepalived.conf
global_defs {
   router_id cdh2           # 机器标识，和主机名保持一致，运行keepalived服务器的一个标识
}
vrrp_instance VI_1 {            #vrrp实例定义
    state BACKUP               #lvs的状态模式，MASTER代表主， BACKUP代表备份节点
nopreemp
    interface ens33               #绑定对外访问的网卡
    virtual_router_id 112        #虚拟路由标示，同一个vrrp实例采用唯一标示
    priority 100               #优先级，100代表最大优先级， 数字越大优先级越高
    advert_int 1              #master与backup节点同步检查的时间间隔，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有PASS和AH两种
        auth_pass 666         #验证密码，BACKUP密码须相同
    }
    virtual_ipaddress {         #KeepAlived虚拟的IP地址
        192.168.4.101
    }
}
virtual_server 192.168.4.101 3306 {       #配置虚拟服务器IP与访问端口
    delay_loop 6                 #健康检查时间
    lb_algo rr                  #负载均衡调度算法， rr代表轮询, 可以关闭
    lb_kind DR                   #负载均衡转发规则, 可以关闭
    persistence_timeout 0        #会话保持时间，这里要做测试， 所以设为0， 实际可根据session有效时间配置
    protocol TCP               #转发协议类型，支持TCP和UDP
    real_server 192.168.4.12 3306 {    #配置服务器节点linux31
        notify_down /opt/mariaDB/mariadb.sh #当服务挂掉时， 会执行此脚本，结束keepalived进程
        weight 1               #设置权重，越大权重越高
        TCP_CHECK {              #r状态监测设置
            connect_timeout 10       #超时配置， 单位秒
            retry 3             #重试次数
            delay_before_retry 3        #重试间隔
            connect_port 3306         #连接端口， 和上面保持一致
        }
    }

}

  2. 解除原双主同步

    chd1节点数据库

    [root@cdh1 ~]# mysql -uroot -p123456
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)

    cdh2节点数据库

    [root@cdh2 ~]# mysql -uroot -p123456
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)

  3. 安装mysql扩容服务器

    • 新建两台虚拟机，分别为chd3和cdh4

    • 在cdh3和cdh4两个节点上安装mysql

    • 配置cdh3和cdh1，实现新的双主同步

      • cdh3节点上，修改/etc/my.cnf

        [root@cdh3 ~]# vi /etc/my.cnf
[root@cdh3 ~]# cat /etc/my.cnf

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

server-id = 3
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=2
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

      • 重启chd3节点的数据库

        [root@cdh3 ~]# systemctl restart mysqld

      • 创建replica用于主从同步的用户

        [root@cdh3 ~]# mysql -uroot -p123456

mysql> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql>  flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql>

      • 在cdh1节点上，进行数据全量备份

        [root@cdh1 mysql]# mysqldump -uroot -p123456 --routines --single_transaction --master-data=2 --databases dwyys > cdh1.sql
mysqldump: [Warning] Using a password on the command line interface can be insecure.
[root@cdh1 mysql]# ll
total 96
-rw-r--r--. 1 root root 90397 Feb 21 02:20 cdh1.sql
-rwxr-xr-x. 1 root root    17 Feb 20 03:31 mysql.sh
[root@cdh1 mysql]#

      • 查看并记录master status信息

        mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000004 |      590 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

      • 将备份的cdh1.sql通过scp拷贝到cdh3

        [root@cdh1 mysql]# scp cdh1.sql root@192.168.4.13:/opt/mysql

      • 将数据还原至cdh3节点数据库上

        [root@cdh3 mysql]# mysql -uroot -p123456 < /opt/mysql/cdh1.sql
mysql: [Warning] Using a password on the command line interface can be insecure.

      • 配置主从同步信息

        mysql> change master to master_host='192.168.4.11',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000004', master_log_pos=590, master_connect_retry=30;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

      • cdh1和cdh3开启主从同步

        mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

      • 检查同步状态信息

        mysql> show slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.4.12
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000003
          Read_Master_Log_Pos: 590
               Relay_Log_File: mysql-relay-bin.000011
                Relay_Log_Pos: 320
        Relay_Master_Log_File: mysql-bin.000003
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: mysql.%,information_schema.%
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 590
              Relay_Log_Space: 740
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 2
                  Master_UUID: 133077d3-b0e8-11ed-98f7-000c2919c290
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: 
                Auto_Position: 0
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
1 row in set (0.00 sec)

ERROR: 
No query specified

      • 配置chd1和cdh3节点的同步

        查看cdh3的日志信息

        mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |    90212 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

        在cdh1节点上，配置主从同步信息

        mysql> STOP SLAVE;
Query OK, 0 rows affected (0.00 sec)

mysql> change master to master_host='192.168.4.13',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=90212, master_connect_retry=30;
Query OK, 0 rows affected, 2 warnings (0.00 sec)

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

    • 配置chd2和cdh4的双主同步

      • 在cdh4节点上修改/etc/my.cnf

        [root@cdh4 ~]# vi /etc/my.cnf
[root@cdh4 ~]# cat  /etc/my.cnf
# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

server-id = 4
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=2
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10
[root@cdh4 ~]#

      • 重启cdh4数据库

        [root@cdh4 ~]# systemctl restart mysqld

      • 创建replica用于主从同步的用户

        [root@cdh4 ~]# mysql -uroot -p123456

mysql>  grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql>

      • 在cdh2节点上，进行数据全量备份

        [root@cdh2 mysql]# mysqldump -uroot -p123456 --routines --single_transaction --master-data=2 --databases dwyys > cdh2.sql
mysqldump: [Warning] Using a password on the command line interface can be insecure.
[root@cdh2 mysql]# ll
total 8
-rw-r--r--. 1 root root 2861 Feb 21 02:40 cdh2.sql
-rwxr-xr-x. 1 root root   17 Feb 20 03:35 mysql.sh
[root@cdh2 mysql]#

      • 查看并记录master status信息

        mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |      590 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

      • 将备份的cdh1.sql通过scp命令拷贝到cdh4节点上

        [root@cdh2 mysql]# scp cdh2.sql root@192.168.4.14:/opt/mysql

      • 将数据还原至cdh4节点上

        [root@cdh4 opt]# mysql -uroot -p123456 < /opt/mysql/cdh2.sql

      • 配置主从同步信息

        根据上述的master status信息，在cdh4中执行

        mysql> change master to master_host='192.168.4.12',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000003', master_log_pos=590, master_connect_retry=30; 
Query OK, 0 rows affected, 2 warnings (0.00 sec)

      • 在cdh2和cdh4节点上开启主从同步

        mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

      • 检查同步状态信息

        mysql> show slave status \G;

      • 配置cdh2和cdh4节点的同步

        查看cdh4的日志信息

        mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |     2676 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

        在cdh2节点上，配置同步信息

        mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)

mysql> change master to master_host='192.168.4.14',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=2676, master_connect_retry=30;
Query OK, 0 rows affected, 2 warnings (0.00 sec)

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

  4. 通过KeepAlived，实现高可用

    • 在新增的cdh3和cdh4上安装KeepAlived服务

    • 修改cdh3节点配置

      [root@cdh3 ~]# vi /etc/keepalived/keepalived.conf
[root@cdh3 ~]# cat /etc/keepalived/keepalived.conf
global_defs {
   router_id cdh3          # 机器标识，一般设为hostname，故障发生时，邮件通知会使用到。
}
vrrp_instance VI_1 {            #vrrp实例定义
    state BACKUP               #lvs的状态模式，MASTER代表主， BACKUP代表备份节点
    interface ens33               #绑定对外访问的网卡
    virtual_router_id 111        #虚拟路由标示，同一个vrrp实例采用唯一标示
    priority 98               #优先级，100代表最大优先级， 数字越大优先级越高
    advert_int 1              #master与backup节点同步检查的时间间隔，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有PASS和AH两种
        auth_pass 6666         #验证密码，BACKUP密码须相同
    }
    virtual_ipaddress {         #KeepAlived虚拟的IP地址
        192.168.4.100
    }
}
virtual_server 192.168.4.100 3306 {       #配置虚拟服务器IP与访问端口
    delay_loop 6                 #健康检查时间
    persistence_timeout 0        #会话保持时间，这里要做测试， 所以设为0， 实际可根据session有效时间配置
    protocol TCP               #转发协议类型，支持TCP和UDP
    real_server 192.168.4.13 3306 {    #配置服务器节点linux32
        notify_down /opt/mysql/mysql.sh
        weight 1               #设置权重，越大权重越高
        TCP_CHECK {              #r状态监测设置
            connect_timeout 10       #超时配置， 单位秒
            retry 3             #重试次数
            delay_before_retry 3        #重试间隔
            connect_port 3306         #连接端口， 和上面保持一致
        }
    }

}

      重启服务

      [root@cdh3 ~]# systemctl restart keepalived

      创建关闭脚本

      [root@cdh3 ~]# vi /opt/mysql/mysql.sh
[root@cdh3 ~]# cat /opt/mysql/mysql.sh
pkill keepalived

      加入执行权限

      chmod a+x mysql.sh

    • 修改cdh4节点配置

      重复cdh3的keepAlived节点配置

  5. 清理数据，并验证

dwyys
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据库扩容也可以如此丝滑，MySQL千亿级数据生产环境扩容实战
Trouvailless的博客
07-21 1352
但是在极限情况下，即便通过上面的数据校验处理，也有可能出现99.99%数据一致，不能保障完全一致，这个时候可以在旧库做一个readonly只读功能，或者将流量屏蔽降级，等待日志增量同步工具完全追平后，再进行新库的切换。日志增量同步过程随时可能会产生新的数据，新库与旧库的数据追平也会是一个无限逼近的过程。修复切换异常数据在切换过程中，如果出现，Canal未同步，但已切换至新库的请求（比如下单，修改了资金，但还未同步），可以通过定制程序，读取检测异常日志，做自动修复或人工处理。...
Mysql-平滑2N扩容方案
tianqiuhao的博客
04-21 152
mysql完成平滑扩容方案
MySQL 分库分表及其平滑扩容方案
热门推荐
kefeng.wang 的博客
07-26 1万+
众所周知，数据库很容易成为应用系统的瓶颈。单机数据库的资源和处理能力有限，在高并发的分布式系统中，可采用分库分表突破单机局限。本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。 作者：王克锋 出处：https://kefeng.wang/2018/07/22/mysql-sharding/ 版权：自由转载-非商用-非衍生-保持署名，转载请标明作者和...
数据库平滑扩容(传统 平滑 2N扩容 双主同步 ShardingJDBC实现 KeepAlived+MariaDB高可用方案)
m0_46690280的博客
08-06 1301
数据库平滑扩容数据库平滑扩容1. 扩容方案剖析1.1 扩容问题1.2 停机方案1.3 停写方案1.4 日志方案1.5 双写方案（中小型数据）1.6 平滑2N方案（大数据量）2. 平滑2N扩容方案实践2.1 实现应用服务级别的动态扩容 数据库平滑扩容 1. 扩容方案剖析 1.1 扩容问题 在项目初期，我们部署了三个数据库A、B、C，此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配，我们在Service服务层使用uid%3进行取模分片，从而将数据平均分配到三个数据库中。 如图所示： 后期随着用户
简析数据库扩容方案
GrayGo的博客
08-15 3872
扩容方案 当系统用户进入了高速增长期时，即便是对数据进行分库分表，但数据库的容量，还有表的数据量也总 会达到天花板。当现有数据库达到承受极限时，就需要增加新服务器节点数量进行横向扩容。 首先来思考一下，横向扩展会有什么技术难度？ 数据迁移问题 分片规则改变 数据同步、时间点、数据一致性 提供以下两种方案参考： 停机扩容 这是一种很多人初期都会使用的方案，在数据库较少时，业务较为简单时使用，大致步骤： 停止对外服务。 新增N哥数据库，写数据迁移程序，将原有的X个库数据导入最新的Y个库中。（比如更改分片
MySQL的InnoDB扩容及ibdata1文件瘦身方案完全解析
09-10
本篇文章将全面解析如何对InnoDB进行扩容以及如何瘦身`ibdata1`文件。 ### InnoDB扩容 扩容InnoDB表空间的主要目的是在现有空间不足时增加存储容量。以下是一些基本步骤： 1. **关闭MySQL服务**：在对InnoDB表...
mysql删除关联表的实操方法
09-09
在本篇内容里我们给大家整理了关于mysql删除关联表的实操方法以及相关SQL语句，需要的朋友们学习下吧。
MySQL分库分表无限扩容后的瓶颈及解决方案.docx
10-26
"MySQL 分库分表无限扩容后的瓶颈及解决方案" MySQL 是一个非常popular 的数据库管理系统，广泛应用于各行各业。随着业务的发展，数据量也在不断增长，数据库的性能和容量也将面临着极大的挑战。这篇文章将讨论 ...
mysql通过Navicat分区实操讲解
01-19
mysql分区有利于管理非常大的表，mysql分区一共有四种类型，range分区，list分区， hash分区，key分区，我们通过Navicat 可视化工具来分区 1、打开Navicat 找到指定的数据库，设计表 2、打开设计表选择选项，下面有...
MySQL Buffer Pool
Mazai-Liu的博客
07-08 1091
LRU链表分为冷、热数据区域，前63%为热数据区域，后37%为冷数据区域，加载缓存页先放到冷数据区域头部。冷数据区域的缓存页第一次访问超过1秒后，再次访问时才会被移动到热数据区域头部。热数据区域中，只有后3/4的缓存页被访问才会移到头部，前1/4被访问到不会移动。淘汰数据优先淘汰冷数据区域尾部的缓存页。
mysql之比较两个表的数据
hebtu666
07-08 497
要比较两个结构相同的表中的某条数据是否完全一样，您可以使用JOIN语句或者EXISTS关键字来对比这两个表中相应的行。
mysql笔记1
m0_62975692的博客
07-11 207
首先查看systemctl status mysqld，如果是关闭的可以进入的配置文件打开mysql，我的mysql配置文件就是在/usr/local/mysql/support-filess/下，在此目录下执行./mysql.server start,打开mysql服务，也可以通过systmectl start mysqld，如果你嫌麻烦的话可以systemctl enable mysqld 一直打开mysql的服务;重新给字段添加约束的时候不可以添加not null约束的！
【MySQL】8.复合查询
最新发布
weixin_74113106的博客
07-12 295
MySQL复合查询
Windows系统MySQL的安装,客户端工具Navicat的安装
2301_78327423的博客
07-12 434
仅作为服务器(Server only)、仅作为客户端(Client only)、完全安装(Full)、自定义(Custom)。5点多的版本有点低，下载8.0.38版本的。执行一个基本的语句：show databases;双击打开它：能够发现这与我们在终端命令行显示的数据库一样。数据库自己起名字，字符集为UTF-8。)，是读者对MySQL数据库的知识了。右击localhost。提示连接成功，点击确定。移动到安装区域后，点击Next>直接叉掉，也可以exit退出掉。点击文件，点击新建连接...
mac｜Mysql WorkBench 或终端 导入 .sql文件
WinterSeven的博客
07-07 269
这时候可以看看左侧的目标database中有没有成功导入table，如果没有看到的话，可以点一下右上角的刷新（两个绕圈的箭头），就出现了。在第一行加入use 你的schema名字，相当于选择了这个schema。点击运行即可将sql文件导入database。选择Open SQL Script导入文件。
MySQL8之mysql-community-server的作用
18602
07-08 322
MySQL8之。
【MySQL05】【 undo 日志】
猫吻鱼的博客
07-08 638
最近在读《MySQL 是怎样运行的》、《MySQL技术内幕 InnoDB存储引擎 》，后续会随机将书中部分内容记录下来作为学习笔记，部分内容经过个人删改，因此可能存在错误，如想详细了解相关内容强烈推荐阅读相关书籍。
mysql 表优化
马春林的专栏
07-08 185
mysql 表优化
MySQL怎么获取当前时间
zhanchulan的博客
07-08 289
这些函数可以根据您的具体需求来获取不同精度的当前时间信息。函数返回当前的日期和时间，格式为。相同，返回当前的日期和时间。
高可用性、负载均衡的mysql集群解决方案.docx
09-18
MySQL集群是一种将多台MySQL服务器组合在一起，共同工作以提高系统性能和可靠性的解决方案。而负载均衡则是通过在集群前端引入负载均衡器，将用户的请求合理地分发给各个后端服务器，实现负载均衡。通过合理配置和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值