基于Docker安装部署MySQL8.0高可用之MGR集群

最新推荐文章于 2024-06-01 18:07:09 发布
最新推荐文章于 2024-06-01 18:07:09 发布
阅读量727 收藏 13
点赞数 6
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61114906/article/details/136327113
版权
本文详细介绍了如何在Docker环境下基于MySQL5.7.17及以后版本的MGR技术构建主从复制高可用集群，包括架构原理、配置步骤、优点和局限性，以及实际操作中的环境准备和部署过程。
摘要由CSDN通过智能技术生成
【MySQL】—基于Docker安装部署MySQL高可用之MGR集群
架构原理

MGR(MySQL Group Replication)是MySQL官方在MySQL 5.7.17版本中以插件形式推出的主从复制高可用技术，它基于原生的主从复制，将各节点归入到一个组中，通过组内节点的通信协商(组通信协议基于Paxos算法)，实现数据的强一致性、故障探测、冲突检测、节点加组、节点离组等等功能。

这3个节点互相通信，每当有事件发生，都会向其他节点传播该事件，然后协商，如果大多数节点都同意这次的事件，那么该事件将通过，否则该事件将失败或回滚。只有一个主节点可以接受写操作，主节点故障时可以自动选举主节点。

优点：

强一致性、高容错性、高扩展性、高灵活性

局限：

仅支持InnoDB表且每张表一定要有一个主键(用于做写入集的冲突检测)、必须打开GTID特性、日志格式为ROW、不支持大事务（大小最好不超过143MB）、一个MGP集群最多支持9个节点(节点过多性能负载大)、不支持外键约束、二进制日志不支持Binlog Event Checksum

局限性总结：
1、不适合大事务场景。
2、要求网络环境好，如果异地，最好使用专线。
3、最多支持9个节点，节点过多性能负载大。
4、不支持外键约束。
5、每张表一定要有一个主键，用于做写入集的冲突检测。

适用场景：
金融交易、重要数据存储、对主从一致性要求高的场景
核心数据总量未过亿
读多写少的应用场景，如互联网电商

一、环境准备

1、查看宿主机的环境

操作系统

[root@kubernetes ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core)

Docker版本

[root@kubernetes ~]# docker --versionDocker version 20.10.24, build 297e128

镜像版本

mysql:8.0.20

2、准备环境

拉取镜像

[root@kubernetes ~]# docker pull mysql:8.0.20


创建容器网络

docker network create --subnet=172.72.0.0/24 mysql-network


创建数据目录，mysql的数据目录。

mkdir -p /data/mysql-mgr/mysql-mgr-master/conf.d

mkdir -p /data/mysql-mgr/mysql-mgr-master/data

mkdir -p /data/mysql-mgr/mysql-mgr-slave01/conf.d

mkdir -p /data/mysql-mgr/mysql-mgr-slave01/data

mkdir -p /data/mysql-mgr/mysql-mgr-slave02/conf.d

mkdir -p /data/mysql-mgr/mysql-mgr-slave02/data

 二、部署mgr集群

1、拉起容器

docker run -d --name mysql-mgr-master -h mysql-mgr-master \

   -p 13066:3306 -p 33011:33011 \

   --net=mysql-network --ip 172.72.0.21 \

   -v /data/mysql-mgr/mysql-mgr-master/conf.d:/etc/mysql/conf.d -v /data/mysql-mgr/mysql-mgr-master/data:/var/lib/mysql/ \

   -e MYSQL_ROOT_PASSWORD=123456 \

   -e TZ=Asia/Shanghai \

    --privileged=true mysql:8.0.20 

    

docker run -d --name mysql-mgr-slave01 -h mysql-mgr-slave01 \

   -p 23066:3306 -p 33012:33012 \

   --net=mysql-network --ip 172.72.0.22 \

   -v /data/mysql-mgr/mysql-mgr-slave01/conf.d:/etc/mysql/conf.d -v /data/mysql-mgr/mysql-mgr-slave01/data:/var/lib/mysql/ \

   -e MYSQL_ROOT_PASSWORD=123456 \

   -e TZ=Asia/Shanghai \

    --privileged=true mysql:8.0.20 


docker run -d --name mysql-mgr-slave02 -h mysql-mgr-slave02 \

   -p 33066:3306 -p 33013:33013 \

   --net=mysql-network --ip 172.72.0.23 \

   -v /data/mysql-mgr/mysql-mgr-slave02/conf.d:/etc/mysql/conf.d -v /data/mysql-mgr/mysql-mgr-slave02/data:/var/lib/mysql/ \

   -e MYSQL_ROOT_PASSWORD=123456 \

   -e TZ=Asia/Shanghai \

    --privileged=true mysql:8.0.20

2、查看集群容器

[root@kubernetes ~]#  docker ps -a|grep mysql-mgr
cfd43a333add   mysql:8.0.20              "docker-entrypoint.s…"   25 seconds ago   Up 24 seconds   0.0.0.0:33013->33013/tcp, :::33013->33013/tcp, 33060/tcp, 0.0.0.0:33066->3306/tcp, :::33066->3306/tcp                                                                                                                                                                                                                                                                    mysql-mgr-slave02
18c94b5202b7   mysql:8.0.20              "docker-entrypoint.s…"   31 seconds ago   Up 31 seconds   0.0.0.0:33012->33012/tcp, :::33012->33012/tcp, 33060/tcp, 0.0.0.0:23066->3306/tcp, :::23066->3306/tcp                                                                                                                                                                                                                                                                    mysql-mgr-slave01
e0bbcd47f46f   mysql:8.0.20              "docker-entrypoint.s…"   2 minutes ago    Up 2 minutes    0.0.0.0:33011->33011/tcp, :::33011->33011/tcp, 33060/tcp, 0.0.0.0:13066->3306/tcp, :::13066->3306/tcp                                                                                                                                                                                                                                                                    mysql-mgr-master[root@kubernetes ~]#

3、修改配置mysql参数配置文件

rm -rf /data/mysql-mgr/mysql-mgr-master/conf.d/my.cnf
rm -rf /data/mysql-mgr/mysql-mgr-slave01/conf.d/my.cnf
rm -rf /data/mysql-mgr/mysql-mgr-slave02/conf.d/my.cnf


mysql-mgr集群master配置文件
cat > /data/mysql-mgr/mysql-mgr-master/conf.d/my.cnf <<"EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802033060
default-time-zone = '+8:00'

log_timestamps = SYSTEM
log-bin = 
binlog_format=row
binlog_checksum=NONE
log-slave-updates=1
skip-name-resolve
auto-increment-increment=2
auto-increment-offset=1
gtid-mode=ON
enforce-gtid-consistency=on
default_authentication_plugin=mysql_native_password
max_allowed_packet = 500M

master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log=mysql-mgr-master-relay-bin-ip21


transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa"
loose-group_replication_start_on_boot=OFF
loose-group_replication_local_address= "172.72.0.21:33011"
loose-group_replication_group_seeds= "172.72.0.21:33011,172.72.0.22:33012,172.72.0.23:33013"
loose-group_replication_bootstrap_group=OFF
loose-group_replication_ip_whitelist="172.72.0.21,172.72.0.22,172.72.0.23"

report_host=172.72.0.21
report_port=3306

EOF




mysql-mgr集群slave01配置文件
cat >  /data/mysql-mgr/mysql-mgr-slave01/conf.d/my.cnf <<"EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802033061
default-time-zone = '+8:00'
log_timestamps = SYSTEM
log-bin = 
binlog_format=row
binlog_checksum=NONE
log-slave-updates=1
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
default_authentication_plugin=mysql_native_password
max_allowed_packet = 500M

master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log=mysql-mgr-slave-relay-bin-ip22


transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa"
loose-group_replication_start_on_boot=OFF

loose-group_replication_local_address= "172.72.0.22:33012"
loose-group_replication_group_seeds= "172.72.0.21:33011,172.72.0.22:33012,172.72.0.23:33013"

loose-group_replication_bootstrap_group=OFF
loose-group_replication_ip_whitelist="172.72.0.21,172.72.0.22,172.72.0.23"

report_host=172.72.0.22
report_port=3306

EOF


mysql-mgr集群slave02配置文件
cat > /data/mysql-mgr/mysql-mgr-slave02/conf.d/my.cnf <<"EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802033062
default-time-zone = '+8:00'
log_timestamps = SYSTEM
log-bin = 
binlog_format=row
binlog_checksum=NONE
log-slave-updates=1
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
default_authentication_plugin=mysql_native_password
max_allowed_packet = 500M


master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log=mysql-mgr-slave-relay-bin-ip23


transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa"
loose-group_replication_start_on_boot=OFF
loose-group_replication_local_address= "172.72.0.23:33013"
loose-group_replication_group_seeds= "172.72.0.21:33011,172.72.0.22:33012,172.72.0.23:33013"
loose-group_replication_bootstrap_group=OFF
loose-group_replication_ip_whitelist="172.72.0.21,172.72.0.22,172.72.0.23"

report_host=172.72.0.23
report_port=3306

EOF

4、做好mysql的配置文件后，重启容器。

[root@kubernetes ~]# docker restart `docker ps -a |grep mysql-mgr |awk -F " " '{print $1}'`
cfd43a333add
18c94b5202b7
e0bbcd47f46f
[root@kubernetes ~]#

5、进入容器内部

5.1、主节点

[root@kubernetes ~]# docker exec -it mysql-mgr-master bash 
root@mysql-mgr-master:/# mysql -uroot -p


查看hostname，server_id和server_uuid
mysql> 
mysql> select @@hostname,@@server_id,@@server_uuid;
+------------------+-------------+--------------------------------------+| @@hostname       | @@server_id | @@server_uuid                        |+------------------+-------------+--------------------------------------+| mysql-mgr-master |   802033060 | 348ecc41-194c-11ee-9c6e-0242ac480014 |+------------------+-------------+----------------------------------
主节点安装MGR插件
安装插件
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql>  show plugins;
2、设置复制账号（所有节点执行）
SET SQL_LOG_BIN=0;
CREATE USER repl@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO repl@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';
3、启动MGR单主模式
启动MGR，在主库上执行
SET GLOBAL group_replication_bootstrap_group=ON;
START GROUP_REPLICATION;
SET GLOBAL group_replication_bootstrap_group=OFF;
-- 查看MGR组信息 
mysql> SELECT * FROM performance_schema.replication_group_members;

 5.2、slave01节点

[root@kubernetes ~]# docker exec -it mysql-mgr-slave01 bash 
连接登陆mysql
root@mysql-mgr-slave01:/# mysql -uroot -p、
1、slave01安装插件
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql>  show plugins;
2、设置复制账号
SET SQL_LOG_BIN=0;
CREATE USER repl@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO repl@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';
3、节点加入MGR从节点01：
START GROUP_REPLICATION;
-- 查看MGR组信息
SELECT * FROM performance_schema.replication_group_members;

 5.3、slave02节点

 

[root@kubernetes ~]# docker exec -it mysql-mgr-slave02 bash 
连接登陆mysql
root@mysql-mgr-slave02:/# mysql -uroot -p、
1、slave01安装插件
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql>  show plugins;
2、设置复制账号
SET SQL_LOG_BIN=0;
CREATE USER repl@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO repl@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';
3、节点加入MGR从节点02：
START GROUP_REPLICATION;
-- 查看MGR组信息
SELECT * FROM performance_schema.replication_group_members;

可以看到，3个节点状态为online，并且主节点为172.72.0.21，只有主节点可以写入，其他节点只读，MGR单主模式搭建成功。

qq_61114906
关注
  • 6
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
详解mysql数据库官方高可用方案——MGR理论篇
m0_69804655的博客
03-08 1490
一个服务器被怀疑意味这该服务器无响应(mute)，当服务器A在一段时间内为收到服务器B的信息，一个超时异常发生并且服务器B会被标记为 suspicion状态，这意味着，组内其他的成员服务器会协调将其踢出复制组，如果一个服务器无法和其余的服务器通信，则他会怀疑其他服务器都故障了.由于其服务器和组内其他服务器达成一致，它自身的怀疑是没有结果的，这时他无法执行任何本地事务。重新配置过程中需要大多数节点同意，即组内故障服务器低于大多数，否则视图无法更新且会阻塞事务的执行以防止脑裂的发生，这时就需要人为的干预了。
MySQL 8.0 Replication主从集群Docker-compose搭建
weixin_43981099的博客
05-21 724
1.需要的软件及版本 MySQL镜像版本 8.0 Docker版本 19.03.9 Docker-compose版本 1.25.5 2.准备配置文件 2.1 docker-compose.yml文件 稍后的命令 docker-compose up -d 会根据此文件创建docker网络，并根据其中的参数创建名为mysql_master和mysql_slave的两个容器 version: '2' services: mysql-master: image: docker.io/mysql
MySQL 8.x 高可用集群之MGR（组复制）
后端开发
03-26 1711
以上文档概述了 MySQL 集群部署的过程，包括修改主机名、关闭 SELinux、安装 MySQL、移除系统自带的 MariaDB、下载安装文件、启动 MySQL 并修改密码、开启防火墙端口、修改 MySQL 配置文件、创建复制账号、安装 MGR 插件等步骤。接着介绍了在单主模式下启动 MGR 集群，包括执行 MySQL 操作、验证主从数据同步和读写操作、测试主从数据库宕机等步骤。然后讲解了如何整合 MySQL Router 实现读写分离，包括安装和配置 MySQL Router等
Mysql数据库管理--高可用集群MGR实战1
oradbm的博客
05-11 1418
MySQL Group Replication(MGR)是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案，MGR是基于原生复制及paxos协议的组复制技术，并以插件的方式提供，可以采取多主模式和单主模式，单主模式下，会自动选主，所有更新操作都在主上进行，多主模式下，所有server都可以同时处理更新操作。下面我们就来搭建下MGR集群（单主模式）。环境清单gtid_mode=on #开启全局事务。
万字详解 MySQL MGR 高可用集群搭建
最新发布
Coder Xu
06-01 1634
MGR（MySQL Group Replication）是MySQL 5.7.17版本诞生的，是MySQL自带的一个插件，可以灵活部署。保证数据一致性又可以自动切换，具备故障检测功能、支持多节点写入。集群是多个MySQL Server节点共同组成的分布式集群，每个Server都有完整的副本，它是基于ROW格式的二进制日志文件和GTID特性。在单主模式下, 组复制具有自动选主功能，每次只有一个 server成员可以作为主节点。单主模式 group 内只有一台节点可写可读，其他节点只可以读。
MySQL MGR
summer_fish的专栏
11-08 3563
ProxySQL 介绍 ProxySQL 是基于 MySQL 的一款开源的中间件的产品，是一个灵活的 MySQL 代理层，可以实现读写分离，支持 Query 路由功能，支持动态指定某个 SQL 进行缓存，支持动态加载（无需重启 ProxySQL 服务），故障切换和一些 SQL 的过滤功能。 MGR 单主 + VIP MGR MGR （MySQL Group Replication）是MySQL自带的一个插件，可以灵活部署。MySQL ...
mysql实战之mgr集群
qq_62789440的博客
01-10 2601
MGR 是一个新的高可用与高扩展的方案，集群中的任何节点数据都是一样的，可以实现任何节点都可以写入，实现了真正意义上的多主。
【MySQL高可用集群】MySQL的MGR搭建
天涯的浪子
02-21 1695
如果属性 group_replication_single_primary_mode =ON，则其他后启动组复制服务的节点会以slave 节点的身份自动加入复制组 ，最终组成一主多从集群。属性 group_replication_bootstrap_group 配置是否引导组复制，如果某个节点设置此属性为ON，则先启动此节点创建一个组服务并成为 master 节点，接受其他后启动节点加入组复制集群。10.53.207.20 作为引导节点启动组复制服务，此节点将作为主节点接收其他节点加入集群。
数据库系列之MySQL组复制MGR技术
牧羊人的方向
06-24 2628
MGR组复制是MySQL的一种高可用复制技术，用于构建高可用、高扩展和高容错的拓扑架构中。本文简要介绍MGR复制技术的原理，并配置多主模式进行测试。
docker-mysql高可用负载均衡集群
01-09
安装docker 安装PXC镜像 docker pull percona/percona-xtradb-cluster 本地安装PXC镜像 docker load < /home/soft/pxc.tar.gz 查看docker安装的镜像 docker images 修改镜像名称 docker tag percona/percona-...
使用Docker部署MySQL 5.7&8.0主从集群的方法步骤
09-09
主要介绍了使用Docker部署MySQL 5.7&8.0主从集群的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Docker安装MySQL8.0的实现方法
09-08
主要介绍了Docker安装MySQL8.0的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
基于Docker Compose构建的MySQL MHA集群.zip
11-07
总结，通过Docker Compose部署MySQL MHA集群，我们能实现高效、灵活且易于管理的数据库高可用性解决方案。这种方式结合了Docker的轻量级虚拟化和MHA的高可用特性，为业务提供了强大的数据库支持，降低了因硬件故障或...
MySQL之MGR原理+保姆级配置部署
weixin_44508518的博客
09-12 3113
如上图所示，由3个节点组成一个复制组，Consensus层为一致 性协议层，在事务提交过程中，发生组间通讯，由2个节点决议(certify)通过这个事务，事务 才能够最终得以提交并响应。**高灵活性：**提供单主模式和多主模式，单主模式在主库宕机后能够自动选主，所有写入都在主 节点进行，多主模式支持多节点写入。**高扩展性：**节点的增加与移除会自动更新组成员信息，新节点加入后，自动从其他节点同步增 量数据，直到与其他节点数据一致；**高一致性：**基于分布式paxos协议实现组复制，保证数据一致性；
MySQL复制—MGR原理（从几个核心问题入手）
m0_60006388的博客
01-30 1587
MGR基于配额（Quota）进行流控，也就是说，一个Group在一个周期内，只能执行固定数量的事务，这个固定数量就是配额。
什么是MGR高可用（完整版）
2201_75878485的博客
03-06 870
文章介绍了MGR的组复制技术架构、单主和多主模式、节点管理、故障检测、容错机制
玩转MYSQL|详细分析mysql-MGR集群搭建
Jum的博客
12-27 1833
简介MySQL Group Replication（简称MGR）是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案。MySQL组复制提供了高可用、高扩展、高可靠的MySQL集群服务。
mysql8.0 MGR集群，添加节点，删除节点（迁移节点）
04-26 2077
mysql8.0 MGR集群，添加节点，删除节点（迁移节点）
谈谈mysql——主从模式下的同步方式及半同步、MGR的部署方式
qq_39962403的博客
07-07 1531
为了解决异步存在的问题，MySQL5.5版本推出半同步复制，在master执行完毕后，commit之前，slave的io进程开始把Binlog写入到relaylog中，写完之后，反馈给master，master收到任何一个slave的反馈后，执行commit并返回结果给客户端。因为需要等待所有的从库都执行完该事务才能返回，所以全同步复制的性能较差。这里讲一个小技巧，为了减少主从延迟的问题，主库和备库的硬件性能尽可能保持一致，如果主备硬件差距比较大，从主从延迟的角度上看，应该在性能更好的机器上面安装备库。
docker 部署mysql8.0
07-13
要在Docker中部署MySQL 8.0，您可以按照以下步骤进行操作： 1. 首先，确认您已经安装了Docker。如果没有安装，请先安装Docker。 2. 在终端或命令提示符中运行以下命令，从Docker Hub下载MySQL 8.0镜像： ``` docker pull mysql:8.0 ``` 3. 创建并启动MySQL容器。运行以下命令： ``` docker run --name mysql-container -e MYSQL_ROOT_PASSWORD=your_password -p 3306:3306 -d mysql:8.0 ``` 其中，`mysql-container`是您为容器命名的名称，`your_password`是您为root用户设置的密码。 4. 等待一段时间，容器将启动并运行MySQL服务器。 5. 使用MySQL客户端工具（如MySQL Workbench或命令行客户端）连接到MySQL服务器。连接参数如下： - 主机名/地址：localhost - 端口：3306 - 用户名：root - 密码：您在第3步中设置的密码 注意：如果您在运行Docker时使用了不同的端口映射，请相应地更改连接参数。 现在，您已经成功在Docker中部署了MySQL 8.0，并可以使用所选的MySQL客户端工具连接到它。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值