基于Docker安装部署MySQL8.0高可用之MGR集群

最新推荐文章于 2024-06-01 18:07:09 发布
最新推荐文章于 2024-06-01 18:07:09 发布
阅读量729 收藏 14
点赞数 6
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61114906/article/details/136327113
版权
本文详细介绍了如何在Docker环境下基于MySQL5.7.17及以后版本的MGR技术构建主从复制高可用集群，包括架构原理、配置步骤、优点和局限性，以及实际操作中的环境准备和部署过程。
摘要由CSDN通过智能技术生成
【MySQL】—基于Docker安装部署MySQL高可用之MGR集群
架构原理

MGR(MySQL Group Replication)是MySQL官方在MySQL 5.7.17版本中以插件形式推出的主从复制高可用技术，它基于原生的主从复制，将各节点归入到一个组中，通过组内节点的通信协商(组通信协议基于Paxos算法)，实现数据的强一致性、故障探测、冲突检测、节点加组、节点离组等等功能。

这3个节点互相通信，每当有事件发生，都会向其他节点传播该事件，然后协商，如果大多数节点都同意这次的事件，那么该事件将通过，否则该事件将失败或回滚。只有一个主节点可以接受写操作，主节点故障时可以自动选举主节点。

优点：

强一致性、高容错性、高扩展性、高灵活性

局限：

仅支持InnoDB表且每张表一定要有一个主键(用于做写入集的冲突检测)、必须打开GTID特性、日志格式为ROW、不支持大事务（大小最好不超过143MB）、一个MGP集群最多支持9个节点(节点过多性能负载大)、不支持外键约束、二进制日志不支持Binlog Event Checksum

局限性总结：
1、不适合大事务场景。
2、要求网络环境好，如果异地，最好使用专线。
3、最多支持9个节点，节点过多性能负载大。
4、不支持外键约束。
5、每张表一定要有一个主键，用于做写入集的冲突检测。

适用场景：
金融交易、重要数据存储、对主从一致性要求高的场景
核心数据总量未过亿
读多写少的应用场景，如互联网电商

一、环境准备

1、查看宿主机的环境

操作系统

[root@kubernetes ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core)

Docker版本

[root@kubernetes ~]# docker --versionDocker version 20.10.24, build 297e128

镜像版本

mysql:8.0.20

2、准备环境

拉取镜像

[root@kubernetes ~]# docker pull mysql:8.0.20


创建容器网络

docker network create --subnet=172.72.0.0/24 mysql-network


创建数据目录，mysql的数据目录。

mkdir -p /data/mysql-mgr/mysql-mgr-master/conf.d

mkdir -p /data/mysql-mgr/mysql-mgr-master/data

mkdir -p /data/mysql-mgr/mysql-mgr-slave01/conf.d

mkdir -p /data/mysql-mgr/mysql-mgr-slave01/data

mkdir -p /data/mysql-mgr/mysql-mgr-slave02/conf.d

mkdir -p /data/mysql-mgr/mysql-mgr-slave02/data

 二、部署mgr集群

1、拉起容器

docker run -d --name mysql-mgr-master -h mysql-mgr-master \

   -p 13066:3306 -p 33011:33011 \

   --net=mysql-network --ip 172.72.0.21 \

   -v /data/mysql-mgr/mysql-mgr-master/conf.d:/etc/mysql/conf.d -v /data/mysql-mgr/mysql-mgr-master/data:/var/lib/mysql/ \

   -e MYSQL_ROOT_PASSWORD=123456 \

   -e TZ=Asia/Shanghai \

    --privileged=true mysql:8.0.20 

    

docker run -d --name mysql-mgr-slave01 -h mysql-mgr-slave01 \

   -p 23066:3306 -p 33012:33012 \

   --net=mysql-network --ip 172.72.0.22 \

   -v /data/mysql-mgr/mysql-mgr-slave01/conf.d:/etc/mysql/conf.d -v /data/mysql-mgr/mysql-mgr-slave01/data:/var/lib/mysql/ \

   -e MYSQL_ROOT_PASSWORD=123456 \

   -e TZ=Asia/Shanghai \

    --privileged=true mysql:8.0.20 


docker run -d --name mysql-mgr-slave02 -h mysql-mgr-slave02 \

   -p 33066:3306 -p 33013:33013 \

   --net=mysql-network --ip 172.72.0.23 \

   -v /data/mysql-mgr/mysql-mgr-slave02/conf.d:/etc/mysql/conf.d -v /data/mysql-mgr/mysql-mgr-slave02/data:/var/lib/mysql/ \

   -e MYSQL_ROOT_PASSWORD=123456 \

   -e TZ=Asia/Shanghai \

    --privileged=true mysql:8.0.20

2、查看集群容器

[root@kubernetes ~]#  docker ps -a|grep mysql-mgr
cfd43a333add   mysql:8.0.20              "docker-entrypoint.s…"   25 seconds ago   Up 24 seconds   0.0.0.0:33013->33013/tcp, :::33013->33013/tcp, 33060/tcp, 0.0.0.0:33066->3306/tcp, :::33066->3306/tcp                                                                                                                                                                                                                                                                    mysql-mgr-slave02
18c94b5202b7   mysql:8.0.20              "docker-entrypoint.s…"   31 seconds ago   Up 31 seconds   0.0.0.0:33012->33012/tcp, :::33012->33012/tcp, 33060/tcp, 0.0.0.0:23066->3306/tcp, :::23066->3306/tcp                                                                                                                                                                                                                                                                    mysql-mgr-slave01
e0bbcd47f46f   mysql:8.0.20              "docker-entrypoint.s…"   2 minutes ago    Up 2 minutes    0.0.0.0:33011->33011/tcp, :::33011->33011/tcp, 33060/tcp, 0.0.0.0:13066->3306/tcp, :::13066->3306/tcp                                                                                                                                                                                                                                                                    mysql-mgr-master[root@kubernetes ~]#

3、修改配置mysql参数配置文件

rm -rf /data/mysql-mgr/mysql-mgr-master/conf.d/my.cnf
rm -rf /data/mysql-mgr/mysql-mgr-slave01/conf.d/my.cnf
rm -rf /data/mysql-mgr/mysql-mgr-slave02/conf.d/my.cnf


mysql-mgr集群master配置文件
cat > /data/mysql-mgr/mysql-mgr-master/conf.d/my.cnf <<"EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802033060
default-time-zone = '+8:00'

log_timestamps = SYSTEM
log-bin = 
binlog_format=row
binlog_checksum=NONE
log-slave-updates=1
skip-name-resolve
auto-increment-increment=2
auto-increment-offset=1
gtid-mode=ON
enforce-gtid-consistency=on
default_authentication_plugin=mysql_native_password
max_allowed_packet = 500M

master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log=mysql-mgr-master-relay-bin-ip21


transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa"
loose-group_replication_start_on_boot=OFF
loose-group_replication_local_address= "172.72.0.21:33011"
loose-group_replication_group_seeds= "172.72.0.21:33011,172.72.0.22:33012,172.72.0.23:33013"
loose-group_replication_bootstrap_group=OFF
loose-group_replication_ip_whitelist="172.72.0.21,172.72.0.22,172.72.0.23"

report_host=172.72.0.21
report_port=3306

EOF




mysql-mgr集群slave01配置文件
cat >  /data/mysql-mgr/mysql-mgr-slave01/conf.d/my.cnf <<"EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802033061
default-time-zone = '+8:00'
log_timestamps = SYSTEM
log-bin = 
binlog_format=row
binlog_checksum=NONE
log-slave-updates=1
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
default_authentication_plugin=mysql_native_password
max_allowed_packet = 500M

master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log=mysql-mgr-slave-relay-bin-ip22


transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa"
loose-group_replication_start_on_boot=OFF

loose-group_replication_local_address= "172.72.0.22:33012"
loose-group_replication_group_seeds= "172.72.0.21:33011,172.72.0.22:33012,172.72.0.23:33013"

loose-group_replication_bootstrap_group=OFF
loose-group_replication_ip_whitelist="172.72.0.21,172.72.0.22,172.72.0.23"

report_host=172.72.0.22
report_port=3306

EOF


mysql-mgr集群slave02配置文件
cat > /data/mysql-mgr/mysql-mgr-slave02/conf.d/my.cnf <<"EOF"
[mysqld]
user=mysql
port=3306
character_set_server=utf8mb4
secure_file_priv=''
server-id = 802033062
default-time-zone = '+8:00'
log_timestamps = SYSTEM
log-bin = 
binlog_format=row
binlog_checksum=NONE
log-slave-updates=1
gtid-mode=ON
enforce-gtid-consistency=ON
skip_name_resolve
default_authentication_plugin=mysql_native_password
max_allowed_packet = 500M


master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log=mysql-mgr-slave-relay-bin-ip23


transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa"
loose-group_replication_start_on_boot=OFF
loose-group_replication_local_address= "172.72.0.23:33013"
loose-group_replication_group_seeds= "172.72.0.21:33011,172.72.0.22:33012,172.72.0.23:33013"
loose-group_replication_bootstrap_group=OFF
loose-group_replication_ip_whitelist="172.72.0.21,172.72.0.22,172.72.0.23"

report_host=172.72.0.23
report_port=3306

EOF

4、做好mysql的配置文件后，重启容器。

[root@kubernetes ~]# docker restart `docker ps -a |grep mysql-mgr |awk -F " " '{print $1}'`
cfd43a333add
18c94b5202b7
e0bbcd47f46f
[root@kubernetes ~]#

5、进入容器内部

5.1、主节点

[root@kubernetes ~]# docker exec -it mysql-mgr-master bash 
root@mysql-mgr-master:/# mysql -uroot -p


查看hostname，server_id和server_uuid
mysql> 
mysql> select @@hostname,@@server_id,@@server_uuid;
+------------------+-------------+--------------------------------------+| @@hostname       | @@server_id | @@server_uuid                        |+------------------+-------------+--------------------------------------+| mysql-mgr-master |   802033060 | 348ecc41-194c-11ee-9c6e-0242ac480014 |+------------------+-------------+----------------------------------
主节点安装MGR插件
安装插件
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql>  show plugins;
2、设置复制账号（所有节点执行）
SET SQL_LOG_BIN=0;
CREATE USER repl@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO repl@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';
3、启动MGR单主模式
启动MGR，在主库上执行
SET GLOBAL group_replication_bootstrap_group=ON;
START GROUP_REPLICATION;
SET GLOBAL group_replication_bootstrap_group=OFF;
-- 查看MGR组信息 
mysql> SELECT * FROM performance_schema.replication_group_members;

 5.2、slave01节点

[root@kubernetes ~]# docker exec -it mysql-mgr-slave01 bash 
连接登陆mysql
root@mysql-mgr-slave01:/# mysql -uroot -p、
1、slave01安装插件
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql>  show plugins;
2、设置复制账号
SET SQL_LOG_BIN=0;
CREATE USER repl@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO repl@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';
3、节点加入MGR从节点01：
START GROUP_REPLICATION;
-- 查看MGR组信息
SELECT * FROM performance_schema.replication_group_members;

 5.3、slave02节点

 

[root@kubernetes ~]# docker exec -it mysql-mgr-slave02 bash 
连接登陆mysql
root@mysql-mgr-slave02:/# mysql -uroot -p、
1、slave01安装插件
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql>  show plugins;
2、设置复制账号
SET SQL_LOG_BIN=0;
CREATE USER repl@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO repl@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='123456' FOR CHANNEL 'group_replication_recovery';
3、节点加入MGR从节点02：
START GROUP_REPLICATION;
-- 查看MGR组信息
SELECT * FROM performance_schema.replication_group_members;

可以看到，3个节点状态为online，并且主节点为172.72.0.21，只有主节点可以写入，其他节点只读，MGR单主模式搭建成功。

qq_61114906
关注
  • 6
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL 8.x 高可用集群之MGR（组复制）
后端开发
03-26 1718
以上文档概述了 MySQL 集群部署的过程，包括修改主机名、关闭 SELinux、安装 MySQL、移除系统自带的 MariaDB、下载安装文件、启动 MySQL 并修改密码、开启防火墙端口、修改 MySQL 配置文件、创建复制账号、安装 MGR 插件等步骤。接着介绍了在单主模式下启动 MGR 集群，包括执行 MySQL 操作、验证主从数据同步和读写操作、测试主从数据库宕机等步骤。然后讲解了如何整合 MySQL Router 实现读写分离，包括安装和配置 MySQL Router等
Mysql数据库管理--高可用集群MGR实战1
oradbm的博客
05-11 1420
MySQL Group Replication(MGR)是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案，MGR是基于原生复制及paxos协议的组复制技术，并以插件的方式提供，可以采取多主模式和单主模式，单主模式下，会自动选主，所有更新操作都在主上进行，多主模式下，所有server都可以同时处理更新操作。下面我们就来搭建下MGR集群（单主模式）。环境清单gtid_mode=on #开启全局事务。
万字详解 MySQL MGR 高可用集群搭建
最新发布
Coder Xu
06-01 1657
MGR（MySQL Group Replication）是MySQL 5.7.17版本诞生的，是MySQL自带的一个插件，可以灵活部署。保证数据一致性又可以自动切换，具备故障检测功能、支持多节点写入。集群是多个MySQL Server节点共同组成的分布式集群，每个Server都有完整的副本，它是基于ROW格式的二进制日志文件和GTID特性。在单主模式下, 组复制具有自动选主功能，每次只有一个 server成员可以作为主节点。单主模式 group 内只有一台节点可写可读，其他节点只可以读。
MySQL之MGR原理+保姆级配置部署
weixin_44508518的博客
09-12 3114
如上图所示，由3个节点组成一个复制组，Consensus层为一致 性协议层，在事务提交过程中，发生组间通讯，由2个节点决议(certify)通过这个事务，事务 才能够最终得以提交并响应。**高灵活性：**提供单主模式和多主模式，单主模式在主库宕机后能够自动选主，所有写入都在主 节点进行，多主模式支持多节点写入。**高扩展性：**节点的增加与移除会自动更新组成员信息，新节点加入后，自动从其他节点同步增 量数据，直到与其他节点数据一致；**高一致性：**基于分布式paxos协议实现组复制，保证数据一致性；
MySQL复制—MGR原理（从几个核心问题入手）
m0_60006388的博客
01-30 1589
MGR基于配额（Quota）进行流控，也就是说，一个Group在一个周期内，只能执行固定数量的事务，这个固定数量就是配额。
Docker环境下部署MySQL MGR单主模式集群
不爱学习的小妞博客
09-06 1002
文章目录一、MySQL MGR单主模式集群部署1.拉取镜像2.创建MySQL专用网络3.创建MySQL容器挂载在本地的存储数据的目录4.创建3个MySQL容器5.在本地修改MySQL的配置项6.重启MySQL容器7.在所有MySQL容器中安装MGR插件8.在所有节点上创建复制账号9.启动MGR单主模式二、MySQL MGR单主模式集群中添加节点1.创建新节点在本地挂载的存储数据的目录2.创建1个MySQL容器3.修改新增MySQL容器的配置项4.重启新增MySQL容器5.在新增MySQL容器上安装MGR插件
docker mysql 群集_docker环境，搭建mysql mgr单主集群
weixin_35642839的博客
02-01 220
本文分享如何在docker环境下，搭建mysql mgr单主集群。关于bin/ubuntu:16.04镜像的构建请参考docker基础环境搭建MySQL Group Replication(MGR)是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案(以插件形式提供)，通过一致性(Paxos)协议，实现了分布式下数据的最终一致性。有以下特点高一致性，基于原生复制及paxos协...
docker 部署高可用 HAProxy Mysql 双主方案
vito
06-25 6105
Docker 部署 HAProxy Mysql集群方案图 第一步：准备配置文件和存储文件夹 vito@caas:/opt2/mysql$ ls -al 总用量 24 drwxr-xr-x 2 root root 4096 6月 25 10:08 haproxy drwxr-xr-x 2 root root 4096 6月 25 10:02 logs drwxrwxrwx 6 r...
docker-mysql高可用负载均衡集群
01-09
安装docker 安装PXC镜像 docker pull percona/percona-xtradb-cluster 本地安装PXC镜像 docker load < /home/soft/pxc.tar.gz 查看docker安装的镜像 docker images 修改镜像名称 docker tag percona/percona-...
使用Docker部署MySQL 5.7&8.0主从集群的方法步骤
09-09
主要介绍了使用Docker部署MySQL 5.7&8.0主从集群的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Docker安装MySQL8.0的实现方法
09-08
主要介绍了Docker安装MySQL8.0的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
基于Docker Compose构建的MySQL MHA集群.zip
11-07
总结，通过Docker Compose部署MySQL MHA集群，我们能实现高效、灵活且易于管理的数据库高可用性解决方案。这种方式结合了Docker的轻量级虚拟化和MHA的高可用特性，为业务提供了强大的数据库支持，降低了因硬件故障或...
基于Docker安装与部署Zabbix
01-10
今天测试了一天的Zabbix-Docker，部署起来确实方便，就需要在安装了Docker的linux系统中输入以下命令就可以了。 1.安装mysql数据库, 启动一个空的MySQL服务器实例 docker run –name zabbix-DB -t \  -e MYSQL_...
Docker部署Mysql集群的实现
01-09
单节点的数据库没有冗余设计,无法满足高可用 单节点MySQL的性能瓶领颈 2016年春节微信红包巨大业务量,数据库承受巨大负载 常见MySQL集群方案 　mysql 集群方案介绍，建议使用pxc，因为弱一致性会有问题，比如说a...
Docker安装MySQL 8.0.20详细教程
03-25
一、Docker安装MySQL 8 Docker安装MySQL 8主要涉及拉取官方镜像、运行容器并进行一系列自定义配置。 二、自定义设置 存储路径：通过Docker的卷（volume）功能，可以将宿主机的目录挂载到容器内的指定路径。 端口：在...
docker安装mysql8.0.33
01-02
docker安装mysql8.0.33：包含修改加密规则及修改时区等
Docker MySQL高可用
vxandox的博客
04-21 1296
传统备份： 第一种备份：（比较麻烦） docker exec -it mysql bin/bash 进入容器 mysqldump -uroot -proot --all-databases > emp_`date +%F`.sql 以日期.sql为文件名备份所有数据库至当前目录 exit 退出 docker cp mysql:emp_2022-04-21.sql /var/backup/ 将容器里的备份文件复制到宿主机的备份目录 第二种备份（一步到位） docker exec mysql s
Docker 搭建MySQL高可用集群
日薪灬越亿的博客
11-07 703
MySQL高可用集群搭建 01 拉取pxc镜像 docker pull percona/percona-xtradb-cluster:5.7.21 02 复制pxc镜像(实则重命名) docker tag percona/percona-xtradb-cluster:5.7.21 pxc 03 删除pxc原来的镜像 docker rmi percona/percona-xtradb-cluster:5.7.21 04 创建一个单独的网段，给mysql数据库集群使用 (1)docker
Mysql主从之keepalived保证高可用搭建详细教程
qq_33549942的博客
03-13 1801
在很早之前搭建过Mysql的主从，但是当时年幼无知，没有想到过高可用怎么保证，这两天在复习以前的笔记的时候，无意中看到了Mysql之keepalived的文章，自己就想着实践一下，于是就有了这篇文章。文章大体分为两部分：1.主从搭建，2.keepalived集成。
docker 部署mysql8.0
07-13
要在Docker中部署MySQL 8.0，您可以按照以下步骤进行操作： 1. 首先，确认您已经安装了Docker。如果没有安装，请先安装Docker。 2. 在终端或命令提示符中运行以下命令，从Docker Hub下载MySQL 8.0镜像： ``` docker pull mysql:8.0 ``` 3. 创建并启动MySQL容器。运行以下命令： ``` docker run --name mysql-container -e MYSQL_ROOT_PASSWORD=your_password -p 3306:3306 -d mysql:8.0 ``` 其中，`mysql-container`是您为容器命名的名称，`your_password`是您为root用户设置的密码。 4. 等待一段时间，容器将启动并运行MySQL服务器。 5. 使用MySQL客户端工具（如MySQL Workbench或命令行客户端）连接到MySQL服务器。连接参数如下： - 主机名/地址：localhost - 端口：3306 - 用户名：root - 密码：您在第3步中设置的密码 注意：如果您在运行Docker时使用了不同的端口映射，请相应地更改连接参数。 现在，您已经成功在Docker中部署了MySQL 8.0，并可以使用所选的MySQL客户端工具连接到它。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值