MySQL 异步复制源自动故障转移

最新推荐文章于 2023-09-25 23:59:50 发布
最新推荐文章于 2023-09-25 23:59:50 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： MySQL 文章标签： mysql 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37692493/article/details/123397406
版权

1 异步复制源架构

1.1基于主从复制的异步复制源

从MySQL 8.0.22开始支持异步连接故障转移机制，我们可以在一套主从复制架构的基础上，创建一个异步复制连接的Replica副本，当主从复制Source发生意外宕机，业务提升Replica为新的Source对外进行服务，异步连接Replica可自动检测主从架构源端连接异常，并重新指向新的Source进行数据复制。

架构图与流程展示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HdW7iTl7-1646883045164)(https://secure2.wostatic.cn/static/oyvtCAUHVjyz2P1CipNdML/image.png)]

  • Source 、Replica为正常的主从复制架构，Async Replica为通过异步连接的复制副本
  • 当主从复制架构中Source意外宕机，业务提升主从架构下Replica为New Source对外提供业务服务
  • Async Replica检测连接原Source失败，将主从复制重新指向新的New Source进行数据复制

1.2 基于组复制的异步复制源

从MySQL 8.0.23开始支持对组复制的异步连接故障转移机制，异步连接副本的复制源添加组复制成员并定义为组管理后，异步连接副本可自动检测源MGR架构下的组复制角色（Prinary or Secondary），当组复制成员进行更新时，异步复制副本可自动更新复制源列表中的组成员信息。当异步连接复制节点复制源不可用时，自动切换选择组复制内可用节点进行复制。

架构图与流程展示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K8h1Hu7L-1646883045165)(https://secure2.wostatic.cn/static/fgKCzbBFvS2KK9Q72F3XTF/image.png)]

  • MGR单组架构下，新建一个Async Replica从组复制中Primary节点进行数据复制
  • 当MGR架构中Primary节点宕机，MGR自身failover机制会选举某一Secondary节点为New Pirmary节点
  • 异步连接Async Replica节点连接 Down Primary失败，自动检测组复制角色以及权重，选择可用节点为新的Source节点进行数据复制

2 异步连接failover前提与基本命令

2.1 前提

  • 复制源与副本都需要开启GTID，方面搭建复制时使用auto_position模式（创建复制通道时使用 SOURCE_AUTO_POSITION | MASTER_AUTO_POSITION 参数）
  • 异步连接复制对应的复制源中，所有节点都需要保持复制用户账号密码一致，方便进行复制源切换
  • 复制用户额外授予以下权限
GRANT SELECT ON performance_schema.* TO 'repl_user';

2.2 基本命令

1、创建复制通道

mysql> CHANGE REPLICATION SOURCE TO MASTER_USER='rpl'         # 复制源用户
, MASTER_PASSWORD='123'                                       # 复制源密码
, MASTER_HOST='172.16.104.12', MASTER_PORT=3307               # 复制源IP、端口
, SOURCE_CONNECTION_AUTO_FAILOVER=1                           # 复制源自动failover
, SOURCE_AUTO_POSITION = 1                                    # 复制gtid auto_position
, SOURCE_CONNECT_RETRY = 1                                    # 重连次数
, SOURCE_RETRY_COUNT = 6                                      # 重试次数
FOR CHANNEL 'ch1';

2、添加/删除复制源为主从架构

-- (复制通道名称，复制源IP，复制源端口，复制源网络命名空间，复制源权重)
select asynchronous_connection_failover_add_source(channel, host, port, network_namespace, weight)
-- (复制通道名称，复制源IP，复制源端口,复制源网络命名空间)
select asynchronous_connection_failover_delete_source(channel, host, port, network_namespace)

3、添加/删除复制源为组复制架构

-- (复制通道名称，管理方式:GroupReplication，组复制名称，复制源IP，复制源端口，复制源网络命名空间，Primary节点权重，Secondary节点权重)
select asynchronous_connection_failover_add_managed(channel, managed_type, managed_name, host, port, network_namespace, primary_weight, secondary_weight)

-- (复制通道名称，组复制名称)
select asynchronous_connection_failover_delete_managed(channel,  managed_name)

4、异步复制监控

  • performance_schema.replication_asynchronous_connection_failover ： 查看复制渠道中可切换的复制源节点信息
  • performance_schema.replication_asynchronous_connection_failover_managed : 复制源添加为组复制时可查看该视图

3 搭建测试

本次测试环境是针对MGR架构进行异步连接复制，异步链接复制源的方式选择的不是组复制管理模式。MGR集群本身有一些存量数据。

3.1 异步连接复制搭建

1、在Async Replica节点安装克隆插件，用来进行历史数据的克隆

root@mysql80 15:23:  [(none)]> INSTALL PLUGIN clone SONAME 'mysql_clone.so';
Query OK, 0 rows affected (0.11 sec)

root@mysql80 15:24:  [(none)]> SET GLOBAL clone_valid_donor_list = '172.16.104.12:3307';
Query OK, 0 rows affected (0.01 sec)

root@mysql80 15:24:  [(none)]> CLONE INSTANCE FROM 'rpl'@'172.16.104.12':3307 IDENTIFIED BY '123';
Query OK, 0 rows affected (5.30 sec)

root@mysql80 15:25:  [(none)]> show databRestarting mysqld...
2022-03-03T07:25:23.145060Z mysqld_safe Number of processes running now: 0

2、为Async Replica节点的复制源channel添加节点信息，将MGR组复制三个节点进行添加

root@mysql80 15:26:  [(none)]> SELECT asynchronous_connection_failover_add_source('ch1', '172.16.104.12', 3307, '', 80);
root@mysql80 15:28:  [(none)]> SELECT asynchronous_connection_failover_add_source('ch1', '172.16.104.11', 3307, '', 90);
root@mysql80 15:28:  [(none)]> SELECT asynchronous_connection_failover_add_source('ch1', '172.16.104.13', 3307, '', 100);


root@mysql80 15:28:  [(none)]> SELECT * FROM performance_schema.replication_asynchronous_connection_failover;
+--------------+---------------+------+-------------------+--------+--------------+
| CHANNEL_NAME | HOST          | PORT | NETWORK_NAMESPACE | WEIGHT | MANAGED_NAME |
+--------------+---------------+------+-------------------+--------+--------------+
| ch1          | 172.16.104.11 | 3307 |                   |     90 |              |
| ch1          | 172.16.104.12 | 3307 |                   |     80 |              |
| ch1          | 172.16.104.13 | 3307 |                   |    100 |              |
+--------------+---------------+------+-------------------+--------+--------------+
3 rows in set (0.00 sec)

3、指定复制源创建复制通道

root@mysql80 15:33:  [(none)]> CHANGE REPLICATION SOURCE TO MASTER_USER='rpl', MASTER_PASSWORD='123', MASTER_HOST='172.16.104.12', MASTER_PORT=3307, SOURCE_CONNECTION_AUTO_FAILOVER=1, 
    ->   SOURCE_AUTO_POSITION = 1,
    ->   SOURCE_CONNECT_RETRY = 1,
    ->   SOURCE_RETRY_COUNT = 6 FOR CHANNEL 'ch1';

root@mysql80 15:33:  [(none)]> start slave;


root@mysql80 15:33:  [(none)]> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for source to send event
                  Master_Host: 172.16.104.12
                  Master_User: rpl
                  Master_Port: 3307
                Connect_Retry: 1
              Master_Log_File: mysql-bin.000005
          Read_Master_Log_Pos: 1728
               Relay_Log_File: relaylog-ch1.000002
                Relay_Log_Pos: 418
        Relay_Master_Log_File: mysql-bin.000005
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

3.2 failover测试

1、将MGR集群Primary节点进行关闭，模拟节点宕机

root@mysql80 15:35:  [(none)]> select * from performance_schema.replication_group_members;
+---------------------------+--------------------------------------+---------------+-------------+--------------+-------------+----------------+----------------------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST   | MEMBER_PORT | MEMBER_STATE | MEMBER_ROLE | MEMBER_VERSION | MEMBER_COMMUNICATION_STACK |
+---------------------------+--------------------------------------+---------------+-------------+--------------+-------------+----------------+----------------------------+
| group_replication_applier | 3185a750-63d2-11ec-8209-fa8f73556a00 | 172-16-104-12 |        3307 | ONLINE       | PRIMARY     | 8.0.27         | XCom                       |
| group_replication_applier | 47e76c4e-63d2-11ec-be7a-fa175fe3f900 | 172-16-104-13 |        3307 | ONLINE       | SECONDARY   | 8.0.27         | XCom                       |
| group_replication_applier | f28eb9ac-9abd-11ec-8291-fa5f62467200 | 172-16-104-11 |        3307 | ONLINE       | SECONDARY   | 8.0.27         | XCom                       |
+---------------------------+--------------------------------------+---------------+-------------+--------------+-------------+----------------+----------------------------+
3 rows in set (0.00 sec)

[root@172-16-104-12 local]# /usr/local/mysql80/bin/mysqladmin -p123 shutdown
mysqladmin: [Warning] Using a password on the command line interface can be insecure.
2022-03-03T07:36:00.084244Z mysqld_safe mysqld from pid file /data2/mysql80/run/mysql80.pid ended
  [1]+  完成                  /usr/local/mysql80/bin/mysqld_safe --defaults-file=/etc/my.cnf
  
root@mysql80 15:35:  [(none)]> select * from performance_schema.replication_group_members;
+---------------------------+--------------------------------------+---------------+-------------+--------------+-------------+----------------+----------------------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST   | MEMBER_PORT | MEMBER_STATE | MEMBER_ROLE | MEMBER_VERSION | MEMBER_COMMUNICATION_STACK |
+---------------------------+--------------------------------------+---------------+-------------+--------------+-------------+----------------+----------------------------+
| group_replication_applier | 47e76c4e-63d2-11ec-be7a-fa175fe3f900 | 172-16-104-13 |        3307 | ONLINE       | PRIMARY     | 8.0.27         | XCom                       |
| group_replication_applier | f28eb9ac-9abd-11ec-8291-fa5f62467200 | 172-16-104-11 |        3307 | ONLINE       | SECONDARY   | 8.0.27         | XCom                       |
+---------------------------+--------------------------------------+---------------+-------------+--------------+-------------+----------------+----------------------------+
2 rows in set (0.00 sec)

2、观察Async Replica节点复制源

root@mysql80 15:36:  [(none)]> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for source to send event
                  Master_Host: 172.16.104.11
                  Master_User: rpl
                  Master_Port: 3307
                Connect_Retry: 1
              Master_Log_File: mysql-bin.000002
          Read_Master_Log_Pos: 2868
               Relay_Log_File: relaylog-ch1.000003
                Relay_Log_Pos: 1586
        Relay_Master_Log_File: mysql-bin.000002
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

root@mysql80 15:36:  [(none)]> select CHANNEL_NAME, SOURCE_UUID, SERVICE_STATE from performance_schema.replication_connection_status;
+----------------------------+--------------------------------------+---------------+
| CHANNEL_NAME               | SOURCE_UUID                          | SERVICE_STATE |
+----------------------------+--------------------------------------+---------------+
| group_replication_applier  |                                      | OFF           |
| group_replication_recovery |                                      | OFF           |
| ch1                        | f28eb9ac-9abd-11ec-8291-fa5f62467200 | ON            |
+----------------------------+--------------------------------------+---------------+
3 rows in set (0.00 sec)
三思呐三思
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
MySQL 异步复制1
08-03
MySQL 异步复制1
Mysql 8.0主从同步双机热备配置教程
weixin_43713949的博客
11-12 4068
MySQL主备的基本原理 在状态1中，客户端的读写都直接访问节点A，而节点B是A的备库，只是将A的更新都同步过来，到本地执行。这样可以保持节点B和A的数据是相同的。当需要切换的时候，就切成状态2。这时候客户端读写访问的都是节点B，而节点A是B的备库 在状态1中，虽然节点B没有被直接访问，但是建议把备库节点B，设置成只读模式。有以下几个原因： 1.有时候一些运营类的查询语句会被放到备库上去查，设置为只读可以防止误操作 2.防止切换逻辑有bug 3.可以用readonly状态，来判断节点的角色 把备库设置成只读
MySQL 8 主从延迟监控（复制可观测性）
最新发布
JiekeXu的博客
09-25 456
作者 | Frederic Descamps来源 |https://dev.mysql.com/blog-archive/mysql-8-and-replication-observability/大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来看看 MySQL 8 主从延迟监控（复制可观测性），欢迎点击上方蓝字“JiekeXu DBA之路”关注我的公众号，标星或置顶，更多干货...
MySQL 主从复制
lpx1249115962的博客
03-27 745
h. SQL线程读取relaylog.info或者slave_relay_log_info表，获取到上次回放到的位置点，继续往后回放，回放完成后，再次更新relaylog.info信息。f. IO线程收到binlog（缓存），立即更新master.info 或者slave_master_info表。relay-log.info文件转成了table mysql.slave_relay_log_info。relay-log.info文件转成了table mysql.slave_relay_log_info。
MySQL主从异常Coordinator stopped because there were error(s) in the worker(s). The most recent failur
不积跬步，无以至千里；不积小流，无以成江海。
06-22 2916
gtid方式主从数据不一致，同步数据时报错。 解决办法 可以看到具体的出错信息
MYSQL8.0+远程连接|主从复制配置|各种错误（吐血整理）
習習君的博客
01-07 3097
本篇博客比较详细的记录了远程服务器上搭建主从复制的一些错误。比如：Slave_IO_Running：Connecting ，客户端远程连接数据异常的问题【08S01】等。本文提供了详细的分析思路和解决方法，对于不熟悉的命令无需四处搜索，每一条出现的命令都提供了详细的解释和说明，希望本篇博客能帮助到你，解决好项目搭建问题。如果还有其他问题，欢迎评论区讨论。
MySQL 8.0 高可用之如何解决从库数据被修改引起的主从同步错误
个人公众号：Alen的数据库学习笔记
12-29 4453
作者公众号，欢迎一起交流。 在MySQL主从复制过程中，由于各种原因，不可避免在复制过程中出现错误，那么在复制过程中出现错误该如何解决呢？本篇将演示基于普通复制模式和基于GTID复制模式由于从库数据被修改导致的主从不一致时，如何在从库跳过相应的错误。 1 常见错误 1）ERROR：1062 从库插入数据，发生唯一性冲突 2）ERROR：1032 从库找不到要删除的数据 3）ERROR：1452 无法在外键的表插入或者更新参考主键没有的数据 2 普通复制模式从库出现错误 2.1 模拟错误 .
Week 12 Homework
weixin_42999527的博客
12-21 209
1、主从复制及主主复制的实现 2、xtrabackup实现全量+增量+binlog恢复库 3、MyCAT实现MySQL读写分离 4、ansible常用模块介绍
解决mysql使用GTID主从复制错误问题
weixin_34187862的博客
02-24 412
解决mysql使用GTID主从复制错误问题 做MySQL主从的话肯定会遇到很多同步上的问题, 大多数都是由于机器宕机,重启,或者是主键冲突等引起的从服务器停止工作, 这里专门收集类似问题并提供整理解决方案,仅供参考! 1、主从网络中断，或主服务器重启，或从服务器重启，从会根据配置文件中的时间（默认1分钟）去自动重连主服务器，直到网络和服...
Mysql主从复制
wei的博客
09-11 406
mysql主库复制配置，server-id配置，解决Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.问题，配置的uuid一样问题，主mysql库同步配置
MySQL8.0-Replication简介和配置
weixin_41866717的博客
12-29 1490
mysql复制简介
MySQL异步复制延迟解决的架构设计与运维架构
07-30
MySQL异步复制延迟解决的架构设计与运维架构
MySQL主从复制常见故障排除
01-07
生产环境中为了保证系统的兼容与稳定，在搭建服务器时就应该配置主从复制，主从服务器中的MySQL版本尽量一致。但有时难以保证版本的一致，或者在学习过程中遇到版本不兼容的问题，就容易遇到各种奇葩的故障。本文...
MySQL关于异步复制、同步复制半同步复制、无损复制的概念与区别
03-10
MySQL关于“异步复制”“同步复制”“半同步复制”“无损复制”的概念与区别,这技术面试经常问到的
MySQL MHA高可用+VIP 集群故障转移
12-20
MySQL MHA高可用+VIP 集群故障转移最佳实践
MySQL如何优雅的做大表删除？
三思的博客
03-28 6728
文章目录一、Truncate操作1.1 MySQL truncate 都做了哪些操作？1.2 如何优化truncate操作带来的资源消耗？二、Delete操作2.1 MySQL delete 都做了哪些操作？2.2 如何优化delete操作？2.3 delete常见的两个场景2.3.1 delete where条件无有效索引过滤2.3.2 保留近期数据删除历史数据三、Truncate/Delete优劣势对比 随着时间的推移或者业务量的增长，数据库空间使用率也不断的呈稳定上升状态，当数据库空间将要达到瓶颈的时
GTID的基本概念与应用
三思的博客
06-26 4318
一、GTID 1.1 gtid的基本概念 gtid的全称为全局事务标识符（global transaction identifiner），是MySQL 5.6引入的一个特性。gtid保证了MySQL的每一个事务都有一个全局唯一的标识，该标识在本实例甚至主从复制环境都保证全局唯一。 GTID = server_uuid:sequence_id server_uuid是一个32字节+1字节(/0)的字符串，MySQL第一次启动时生成，并将该信息写入datadir目录下的auto.cnf文件。如果该文件丢失，My
MySQL报错Too many connections
三思的博客
06-02 2479
文章目录报错原因连接相关的参数问题处理 某些情况下，我们客户端连接数据库会出现“ERROR 1040 (08004): Too many connections”的相关报错，具体报错可参考如下： [root@sdw2 ~]# mysql -usansi -p Enter password: ERROR 1040 (08004): Too many connections 报错原因 当客户端返回大量“ERROR 1040 (08004): Too many connections”时，说明此时客户端与数据库
MySQLSQL排序优化
三思的博客
03-21 2402
文章目录一、MySQL排序原理1.1 MySQL如何处理排序操作？1.2 两种排序扫描算法：1.3 排序优化方法论二、排序优化手段2.1 利用索引优化order by limit2.2 只对驱动表进行排序2.3 临时表排序2.4 利用覆盖索引优化排序 一、MySQL排序原理 1.1 MySQL如何处理排序操作？ 1）当SQL中排序字段可有效利用索引时，无论是单表查询还是多表关联查询，通过索引的有序性，我们可以快速的对order by字段进行排序检索。 2）当SQL中排序字段无法有效利用索引时：   a
MYsql同步复制异步复制半同步复制增强复制
06-09
MySQL主从复制有多种实现方式，包括同步复制、异步复制、半同步复制和增强复制等。 1. 同步复制：主服务器在将数据更改写入二进制日志后，等待所有从服务器都执行完该事务，确保所有从服务器的数据都和主服务器保持一致。这种方式可以保证数据一致性，但对性能和可用性的要求较高。 2. 异步复制：主服务器在将数据更改写入二进制日志后，不等待从服务器执行这些操作，而是立即返回给客户端完成事务操作，然后将binlog传输给从服务器，从服务器再执行这些操作，实现数据同步。异步复制的优点是操作主服务器的性能不会受到从服务器的性能影响，但可能导致数据丢失和数据不一致。 3. 半同步复制：主服务器在将数据更改写入二进制日志后，等待至少一个从服务器成功执行该事务，才认为该事务提交成功。这种方式可以在一定程度上保证数据一致性和性能，但可用性方面仍然存在风险。 4. 增强复制：增强复制是指在半同步复制的基础上，引入多个从服务器，其中至少一个从服务器执行完该事务后，主服务器才认为该事务提交成功。这种方式可以进一步提高数据同步的可靠性和性能，但是需要更多的系统资源。 以上就是MySQL主从复制的几种实现方式，需要根据实际情况选择合适的方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值