MySQL复制介绍及MGR安装与配置

最新推荐文章于 2024-07-21 02:07:46 发布
最新推荐文章于 2024-07-21 02:07:46 发布
阅读量944 收藏
点赞数
分类专栏： MySQL 文章标签： MGR MYSQL复制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzx8731/article/details/85345590
版权

官网 https://dev.mysql.com/doc/refman/5.7/en/group-replication.html

MySQL异步复制

master事务的提交不需要经过slave的确认，slave是否接收到master的binlog，master并不care。slave接收到master binlog后先写relay log，最后异步地去执行relay log中的sql应用到自身。由于master的提交不需要确保slave relay log是否被正确接受，当slave接受master binlog失败或者relay log应用失败，master无法感知。

https://i-blog.csdnimg.cn/blog_migrate/ed8a2d586c615e0d4d7c3012cd221e39.jpeg

假设master发生宕机并且binlog还没来得及被slave接收，而切换程序将slave提升为新的master，就会出现数据不一致的情况！另外，在高并发的情况下，传统的主从复制，从节点可能会与主产生较大的延迟（当然mysql后续版本陆续做了优化，推出了并行复制，以此降低异步复制的延迟）

MySQL半同步复制

基于传统异步存在的缺陷，mysql在5.5版本推出半同步复制。可以说半同步复制是传统异步复制的改进，在master事务的commit之前，必须确保一个slave收到relay log并且响应给master以后，才能进行事务的commit。但是slave对于relay log的应用仍然是异步进行的，原理如下图所示:

https://i-blog.csdnimg.cn/blog_migrate/a4d5c22acc569cdbf56f5713d7071bb3.jpeg

MySQL组复制

基于传统异步复制和半同步复制的缺陷——数据的一致性问题无法保证，MySQL官方在5.7.17版本正式推出组复制（MySQL Group Replication，简称MGR）。

由若干个节点共同组成一个复制组，一个事务的提交，必须经过组内大多数节点（N / 2 + 1）决议并通过，才能得以提交。如上图所示，由3个节点组成一个复制组，Consensus层为一致性协议层，在事务提交过程中，发生组间通讯，由2个节点决议(certify)通过这个事务，事务才能够最终得以提交并响应。

引入组复制，主要是为了解决传统异步复制和半同步复制可能产生数据不一致的问题。组复制依靠分布式一致性协议(Paxos协议的变体)，实现了分布式下数据的最终一致性，提供了真正的数据高可用方案(是否真正高可用还有待商榷)。其提供的多写方案，给我们实现多活方案带来了希望。

https://i-blog.csdnimg.cn/blog_migrate/bbd877d5c475ef58423d56f71dbc6833.jpeg

一个复制组由若干个节点(数据库实例)组成，组内各个节点维护各自的数据副本(Share Nothing)，通过一致性协议实现原子消息和全局有序消息，来实现组内实例数据的一致。

MGR组复制模式

组复制可以在两种模式下运行：

  • 单主模式下，组复制具有自动选主功能，每次只有一个 Server成员接受更新，其它成员只提供读服务。
  • 多主模式下，所有的Server 成员都可以同时接受更新，没有主从之分，成员角色是完全对等的。

 

MGR的解决方案现在具备的特性

  • 数据一致性保障：确保集群中大部分节点收到日志
  • 多节点写入支持：多写模式下支持集群中的所有节点都可以写入
  • Fault Tolerance: 确保系统发生故障（包括脑裂）依然可用，双写对系统无影响

MGR当前的限制

  • 仅支持InnoDB表，并且每张表一定要有一个主键，用于做write set的冲突检测；
  • 必须打开GTID特性，二进制日志格式必须设置为ROW，用于选主与write set
  • COMMIT可能会导致失败，类似于快照事务隔离级别的失败场景
  • 目前一个MGR集群最多支持9个节点
  • 不支持外键于save point特性，无法做全局间的约束检测与部分部分回滚
  • 二进制日志不支持binlog event checksum

 

MGR的安装

OS: Centos7.5

MySQL： 5.7.24

 

 

注意:一下配置是单主模式

1、关闭防火墙、SELinux,配置hosts(所有节点)

systemctl stop firewalld

systemctl disable firewalld

vi /etc/selinux/config，修改后重启服务器

SELINUX=disabled

 

cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.56.100 mgr1

192.168.56.101 mgr2

192.168.56.102 mgr3

2、安装mysql(所有节点)

rpm -e 删除mariadb-libs

rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm

rpm -ivh  mysql-community-libs-5.7.24-1.el7.x86_64.rpm

rpm -ivh  mysql-community-devel-5.7.24-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.24-1.el7.x86_64.rpm

rpm -ivh  mysql-community-server-5.7.24-1.el7.x86_64.rpm

3、修改my.cnf配置文件(所有节点)

[root@mgr1 ~]# cat /etc/my.cnf | grep -vE "^#"

[mysqld]

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

symbolic-links=0

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid


character-set-server = utf8

collation-server = utf8_unicode_ci

lower_case_table_names = 1

explicit_defaults_for_timestamp = true



server_id=100

gtid_mode=ON

enforce_gtid_consistency=ON

master_info_repository=TABLE

relay_log_info_repository=TABLE

binlog_checksum=NONE

log_slave_updates=ON

log_bin=binlog

binlog_format=ROW

transaction_write_set_extraction=XXHASH64

loose-group_replication_group_name="25aa5618-e940-11e8-a6f6-0800273cba9a"

loose-group_replication_start_on_boot=off  #插件在server启动时不自动启动组复制

loose-group_replication_local_address= "192.168.56.100:24901"

loose-group_replication_group_seeds= "192.168.56.100:24901,192.168.56.101:24901,192.168.56.102:24901"

loose-group_replication_bootstrap_group=off 



#loose-group_replication_single_primary_mode = off  #关闭单主模式的参数

#loose-group_replication_enforce_update_everywhere_checks = on

 

注意：不同节点红色标注的参数需修改。该配置为最简单

重点参数详解

  1. 开启GTID功能gtid_mode = ON，enforce_gtid_consistency = ON
  2. MGR在当前MySQL版本中，必须要设置binlog_checksum=none，并且binlog_format=row
  3. MGR需要多源复制功能，所以需要将主从库之间的信息记录到表中。设置master_info_repository = TABLE和relay_log_info_repository = TABLE
  4. MGR中开启主键信息采集功能：transaction_write_set_extraction= XXHASH64
  5. MGR中需要设置组的名字，该group_replication_group_name是通过select uuid()来生成的。注意所有节点该值需一样
  6. MGR中本地成员的地址由该参数group_replication_local_address决定，节点之间此配置中的端口号进行通信。
  7. MGR中其他成员的地址由这个参数group_replication_group_seeds决定
  8. MGR采取多主模式时，需要让该参数：group_replication_single_primary_mode=off（默认为ON，为单主模式）。
  9. group_replication_bootstrap_group 是否是Group Replication的引导节点，初次搭建集群的时候需要有一个节点设置为ON来启动Group Replication group_replication_bootstrap_group 是否是Group Replication的引导节点，初次搭建集群的时候需要有一个节点设置为ON来启动Group Replication
  10. group_replication_start_on_boot 是否随mysql启动Group Replication
  11. loose-group_replication_single_primary_mode 指定复制模式，默认值为ON，即单主模式

这里再强调一个参数：group_replication_auto_increment_increment

该参数代表自增属性，默认值为7。我们要保证每个成员的该值相同，并且建议该参数的设置尽量比组内成员的个数大一些，方便后期集群的扩展。

4、启动mysql，并初始root密码

systemctl start mysqld

 

根据/var/log/mysqld.log日志中临时密码，修改root密码

grep password /var/log/mysqld.log

mysql -uroot -p

set password = password('Root@123456');

FLUSH PRIVILEGES;

5、初始引导节点(此以mgr1为第一个节点)

5.1 创建replication用户

此需要关闭binlog，使得创建用户不记录到binlog中

SET SQL_LOG_BIN=0;

GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.%' IDENTIFIED BY 'Repl@123456';  

FLUSH PRIVILEGES;

SET SQL_LOG_BIN=1;

 

5.2 change master

CHANGE MASTER TO MASTER_USER='repl',MASTER_PASSWORD='Repl@123456' FOR CHANNEL 'group_replication_recovery';

5.3 安装MGR插件

mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';

Query OK, 0 rows affected (0.11 sec)

 

mysql> show plugins ;  ##检查插件

 

5.4 执行初始引导操作

SET GLOBAL group_replication_bootstrap_group=ON;

START GROUP_REPLICATION;

SET GLOBAL group_replication_bootstrap_group=OFF;

 

mysql> SELECT * FROM performance_schema.replication_group_members;

 

5.5 创建测试数据

CREATE DATABASE test;

USE test;

CREATE TABLE t1 (c1 INT PRIMARY KEY, c2 TEXT NOT NULL);

INSERT INTO t1 VALUES (1, 'Luis');

6、添加其他节点到集群

6.1 创建replication用户

此需要关闭binlog，使得创建用户不记录到binlog中

SET SQL_LOG_BIN=0;

GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.%' IDENTIFIED BY 'Repl@123456';  

FLUSH PRIVILEGES;

SET SQL_LOG_BIN=1;

6.2 change master

CHANGE MASTER TO MASTER_USER='repl',MASTER_PASSWORD='Repl@123456' FOR CHANNEL 'group_replication_recovery';

6.3 安装MGR插件

mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';

Query OK, 0 rows affected (0.11 sec)

 

mysql> show plugins ;  ##检查插件

6.4 添加节点到复制组

set global group_replication_allow_local_disjoint_gtids_join=ON;

START GROUP_REPLICATION;

6.5 检查节点状态

SELECT * FROM performance_schema.replication_group_members;

 

 

6.6 新节点默认是只读

mysql> show variables like '%read_only%';

 

6.6 同理增加其他节点

6.7 重启各个节点

测试时发现，从节点直接重启，重新加入集群如需要设置强制加入集群参数,而如果重启主节点且当前节点变过主节点后则不需要加参数直接启动即可。

group_replication_allow_local_disjoint_gtids_join

 

故先逐个重启主节点，注意主节点重启可能需要change master

7、集群管理

7.1 查看当前主节点

SHOW STATUS LIKE 'group_replication_primary_member' ;

 

 

此时如果关闭主节点，则其他节点自动会转换为主节点。

7.2 启动和关闭复制组

START GROUP_REPLICATION;

STOP GROUP_REPLICATION;

7.3 设置自启动复制组

loose-group_replication_start_on_boot=on

该参数改为ON

7.4 查看当前组成员

SELECT * FROM performance_schema.replication_group_members;

 

 

7.5 设置白名单

如果未设置group_replication_ip_whitelist，则该值为AUTOMATIC，mysql会自动添加本机的私有IP地址到白名单中，且mysqld.log日志中出现如下信息

[Note] Plugin group_replication reported: '[GCS] Added automatically IP ranges 10.0.2.9/24,127.0.0.1/8,192.168.56.100/24 to the whitelist

 

3个节点都需要添加

STOP GROUP_REPLICATION;

SET GLOBAL group_replication_ip_whitelist="127.0.0.1/32,192.168.56.0/24";

START GROUP_REPLICATION;

 

8、MGR多主模式

注意:单主模式和多主模式只是配置文件的区别，其他一样

 

8.1 所有节点停止GROUP_REPLICATION，并修改参数

STOP GROUP_REPLICATION;

set global group_replication_single_primary_mode=OFF;

set global group_replication_enforce_update_everywhere_checks=ON;

 

修改/etc/my.cnf配置文件，防止重启失效,添加如下参数

loose-group_replication_single_primary_mode = off  #关闭单主模式的参数

loose-group_replication_enforce_update_everywhere_checks = on

 

 

不支持串行的隔离级别。单个MySQL服务器中，通过锁的方式来实现串行化的隔离级别。而多主模式时，多个成员之间的并发操作无法通过锁来实现串行的隔离级别；

 

不支持外键的级联操作；

参数：group_replication_enforce_update_everywhere_checks=TRUE 是用来控制是否做以上限制的检测，如果开启了这个参数，当发现这些情况时就会报错；

 

8.2 检查验证

SELECT * FROM performance_schema.replication_group_members;

 

 

SHOW STATUS LIKE 'group_replication_primary_member' ;

 

 

show variables like '%read_only%';

 

 

8.3 所有节点宕机恢复

任选一个节点

SET GLOBAL group_replication_bootstrap_group=ON;

START GROUP_REPLICATION;

SET GLOBAL group_replication_bootstrap_group=OFF;

 

其他节点

START GROUP_REPLICATION;

 

9、 其他

group_replication_recovery_retry_count：加入MGR尝试次数

group_replication_recovery_reconnect_interval ： 连接间隔默认1分钟

 

测试案例查看

https://blog.csdn.net/Mlztesoft/article/details/79927425

遇到问题

1、loose-group_replication_group_name该为MGR的名称，所有节点需一样

2、添加节点需设置set global group_replication_allow_local_disjoint_gtids_join=ON;

3、需设置/etc/hosts文件

 

王仲肖
关注
专栏目录
MySQL 8.0 高可用之MGR（组复制）介绍
个人公众号：Alen的数据库学习笔记
01-07 5191
作者公众号，欢迎一起交流。 1 背景 MySQL Group Replication（简称MGR）是MySQL官方于2016年12月12日推出的一款高可用与高扩展的解决方案，它提供了高可用、高扩展、高可靠的MySQL集群服务，具有以下特点： 强一致性：基于原生复制和paxos协议，保证数据传输的一致性和原子性 高容错性：只要大多数节点没有出现故障，集群就可对外提供服务 高扩展性：节点的加入和移除都是自动的，不需要人为过多干预 高灵活性：具有单主模式和多主模式，单主模式在主宕机后自动选主，多主
mysql高可用集群MGR组复制的介绍、部署及配置说明
唯有热爱 可抵万难
05-10 1103
MGR组复制mysql高可用集群搭建部署及测试
mysql MGR安装和维护手册
01-12
mysql group replication 安装步骤，动态视图，问题定位，故障处理。
mysql mgr安装_MySQL5.7 MGR安装配置
weixin_31130435的博客
01-19 194
MySQL5.7 MGR安装配置一、服务器规划mysql_mgr_01192.168.10.223mysql_mgr_02192.168.10.224mysql_mgr_03192.168.10.225二、配置文件1. mysql_mgr_01[root@mysql_mgr_01 tmp]# cat /etc/my.cnf[mysqld]sql_mode = STRICT_TRANS_TABLES...
mysql组复制（MGR）——部署
最新发布
weixin_29877113的博客
07-21 56
mysql组复制作为插件提供给mysql服务器，组内的每个服务器都要求配置和安装该插件。本文提供创建一个至少3个服务器的复制组所需的详细步骤。 一.部署单主模式的组复制 组内的每个服务器实例能运行在独立或同一台机器上。该部分讲解如何用同一台物理机上的三个mysql服务器实例来创建一个复制组。这意味着需要3个数据目录，每个服...
MySQL8.0 MGR介绍
sinat_36757755的博客
05-02 4323
常见的数据库高可用是通过创建计算数据节点冗余来确保数据库的节点宕机不会影响系统的运行，但这会导致数据库的架构复杂，运维成本提升，此外，还需要解决分布式可能所带来的脑裂，数据一致性问题。 MySQL MGR插件基于分布式Paxos算法，协调多个数据库节点进行数据复制，事务一致性检验，故障自动检测选主，节点添加删除，MGR有两种模式，单主模式以及多主模式。
MySQL MGR
summer_fish的专栏
11-08 3803
ProxySQL 介绍 ProxySQL 是基于 MySQL 的一款开源的中间件的产品，是一个灵活的 MySQL 代理层，可以实现读写分离，支持 Query 路由功能，支持动态指定某个 SQL 进行缓存，支持动态加载（无需重启 ProxySQL 服务），故障切换和一些 SQL 的过滤功能。 MGR 单主 + VIP MGR MGR （MySQL Group Replication）是MySQL自带的一个插件，可以灵活部署。MySQL ...
mysql高可用集群MGR组复制集群介绍及搭建说明
05-27
MySQL组复制（MySQL Group Replication, MGR）是一项基于原生MySQL复制功能的插件，它提供了一种高度可靠且具有容错能力的数据同步方式。通过MGR，用户可以构建出具备实时数据同步和自动故障转移特性的高可用MySQL...
mysql_install:MySQL 8.0 MGR自动安装配置脚本
05-19
mysql_install MySQL8.0 自动安装脚本 mysql8_install.sh my_test.cnf mysql-8.0.20-linux-glibc2.12-x86_...注：先把3个节点MySQL实例启动后再开始搭建mgr，同时修改脚本里的ip地址和端口和hosts对应的主机名和地址 #
mysql集群安装-MGR组复制
06-21
MySQL集群安装-MGR组复制是构建高可用性和高可扩展性数据库系统的一种方法。MGR，全称为Group Replication，是MySQL的一种多主复制技术，允许数据在集群中的多个节点间进行实时同步，确保数据的一致性和高可用性。在...
MySQL MGR安装部署
sinat_36757755的博客
05-22 1625
部署环境: 模式 单主模式 主节点(8.0.22) 192.168.1.240 备节点(8.0.22) 192.168.1.241 备节点(8.0.22) 192.168.1.242 MGR配置以及限制: 数据库版本MySQL 5.7.17及以上。 InnoDB存储引擎:数据必须存储在 InnoDB事务存储引擎中。 disabled_storage_engines="MyISAM,BLACKHOLE,FEDERA
mysql8.30 mgr安装
weixin_65195414的博客
02-04 756
mysql8 mgr
MGR安装部署
雅冰石的专栏
11-27 2652
一 MGR介绍 mysql组复制简称MGR，是MySQLServer5.7.17及更高版本提供的一个内置MySQL插件（Replication）。mysql组复制提供了一个高可用、高弹性、高可靠性的mysql服务。当主节点故障后，集群自动选举新的主节点，只要不是全部或大多数，系统仍然可用。有一致性，以及不依赖外部组件实现的自动切换、可多点并发写入等特点。 它们由一个组成员服务跟踪，该服务依赖于...
MySQL 5.7 MGR集群搭建 （详细步骤）
weixin_44526954的博客
03-15 846
依照上面添加子节点的步骤即可添加新子节点，添加my.cnf配置->创建组复制账号->安装MGR插件->执行start group_replication;如果数据量差的较多，可以先用xtrabackup等备份软件备份恢复一个从节点数据到新的子节点之后加入集群。Binlog：必须开启二进制日志（binlog），并设置为row格式，记录每行的变化。主键：每个表必须设置主键，以便在事务冲突检查时进行主键值对比。引擎：必须使用InnoDB，以支持事务和提交时的冲突检查。以记录从服务器的更新操作。
MGR安装配置
weixin_30389003的博客
08-02 154
同一个集群中，/etc/hosts文件最好直接配置成一样，把集群中所有ip都配置进去 初始化，这边是三个节点 [root@localhost data]# /usr/local/mysql/bin/mysqld --defaults-file=/etc/my3306.cnf --initialize 启动第一个节点，登陆修改root初始密码 [root@bogo...
MGR配置proxySQL-2.5.4
06-21 462
proxySQL
MYSQL--架构--MGR--理论--01--MGR是什么
zhou920786312的博客
05-31 3447
MYSQL–架构–MGR–理论–01–MGR是什么 1、MGR是什么 MGR(MySQL Group Replication)是以插件形式推出的主从复制高可用技术 MGR基于原生的主从复制，将各节点归入到一个组中，通过组内节点的通信协商(组通信协议基于Paxos算法)，实现数据的强一致性、故障探测、冲突检测、节点加组、节点离组等等功能。 适用金融场景：支付，证券交易，保险，银行等金融场景。因为这些场景要求数据必须做到零丢失，数据库可用性在4个9，甚至5个9(年度停机时间不超过5分钟)。 提供了高一致性
Mysql组复制配置MGR（单主）
飘雪
08-07 4076
MySQL组复制配置（单主） – MySQL组复制 mysql5.7.17，组内N/2+1个节点收到relay log，master才commit – 2018年7月29日，18:00:42 – 1 部署 – 1.1 安装（此处用的是二进制包安装） – 单机部署3个实例，版本：MySQL 5.7.17 – 1.2 创建数据目录及日志目录： mkdir -p D:\mysql\mgr\...
mgr-安装部署（多主）
weixin_30666753的博客
08-21 1700
操作系统：centos7 mysql版本：mysql5.7.27 主机名　　 IP地址 角色 mgr1　　 10.10.20.92 primary mgr2 10.10.20.104 second mgr3 10.10.20.88 second 1、准备工作 关闭防火墙，修改SELinux为disabled，添...
MySQL 8.0 MGR自动化安装与配置脚本教程
4. MGR配置：自动配置MySQL实例以加入MGR复制组，包括设置复制用户、启动复制插件等。 5. 集群初始化：执行集群初始化脚本，创建复制组并加入初始成员。 6. 测试验证：脚本可能还包含自动化测试步骤，以验证MGR集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值