Mysql主主复制
应用场景:
PXC 模式,没有主从之分,每个数据库都可以进行读写,数据可以保持强一致性,执行时间较慢,由于一般是强一致性,所以一般用于存储重要的信息,例如金融、电信、军工。
简介
PXC属于一套近乎完美的mysql高可用集群解决方案,相比那些比较传统的基于主从复制模式的集群架构最突出特点就是解决了诟病已久的数据复制延迟问题,基本上可以达到实时同步。而且节点与节点之间,他们相互的关系是对等的。本身galera cluster(主主复制模式的集群)也是一种多主架构。galera cluster最关注的是数据的一致性,对待事物的行为时,要么在所有节点上执行,要么都不执行,它的实现机制决定了它对待一致性的行为非常严格,这也能非常完美的保证MySQL集群的数据一致性;
对galera cluster的封装有两个,虽然名称不同,但实质都是一样的,使用的都是galera cluster。一个MySQL的创始人在自己全新的MariaDB上实现的MariaDB cluster;一个是著名的MySQL服务和工具提供商percona实现的percona xtradb cluster,简称PXC
要搭建PXC架构至少需要3个mysql实例来组成一个集群,三个实例之间不是主从模式,而是各自为主,所以三者是对等关系,不分从属,这就叫multi-master架构。客户端写入和读取数据时,连接哪个实例都是一样的。读取到的数据时相同的,写入任意一个实例之后,集群自己会将新写入的数据同步到其他实例上,这种架构不共享任何数据,是一种高冗余架构。
PXC的操作流程:
首先客户端先发起一个事务,该事务先在本地执行,执行完成之后就要发起对事务的提交操作了。在提交之前需要将产生的复制写集广播出去,然后获取到一个全局的事务ID号,一并传送到另一个节点上面。通过合并数据之后,发现没有冲突数据,执行apply_cd和commit_cb动作,否则就需要取消此次事务的操作。而当前server节点通过验证之后,执行提交操作,并返回OK,如果验证没通过,则执行回滚。当然在生产中至少要有3个节点的集群环境,如果其中一个节点没有验证通过,出现了数据冲突,那么此时采取的方式就是讲出现不一致的节点踢出集群环境,而且它自己会执行shutdown命令,自动关机。
PXC的优点
①实现mysql数据库集群架构的高可用性和数据的强一致性。
②完成了真正的多节点读写的集群方案。
③改善了传统意义上的主从复制延迟问题,基本上达到了实时同步。
④新加入的节点可以自动部署,无须提供手动备份,维护起来很方便。
⑤由于是多节点写入,所以数据库故障切换很容易。
PXC的缺点
①新加入的节点开销大,需要复制完整的数据。采用SST传输开销太大。
②任何更新事务都需要全局验证通过,才会在每个节点库上执行。集群性能受限于性能最差的节点,也就是经常说的短板效应。
③因为需要保证数据的一致性,所以在多节点并发写时,锁冲突问题比较严重。
④存在写扩大问题,所有的节点上都会发生些操作。
⑤只支持innodb存储引擎的表。
⑥没有表级别的锁定,执行DDL语句操作会把整个集群锁住,而且也 kill 不了(建议使用Osc操作,即在线DDL)
⑦所有的表必须含有主键,不然操作数据时会报错。
官网地址
https://hub.docker.com/r/percona/percona-xtradb-cluster
官方镜像
docker pull percona/percona-xtradb-cluster:5.7.30
docker pull percona/percona-xtradb-cluster:5.7
docker load -i percona-xtradb-cluster.5.7.30.tar
# 如果觉得pxc镜像自带的PXC名字过长,我们可以将他的名字进行修改,方便使用
docker tag percona/percona-xtradb-cluster:5.7.30 pxc:5.7.30
注意事项
- mysql主从复制中已经使用3306端口。pxc测试使用3301、3302、3303端口
- 在一个节点完成配置。如果需要部署多台服务器,推荐使用docker-swarm集群方式。
方式一命令行
# 第一步:拉取镜像
docker pull percona/percona-xtradb-cluster:5.7.30
# 第二步:复制重命名镜像(可选)
docker tag percona/percona-xtradb-cluster:5.7.30 pxc:5.7.30
# 第三步: 删除pxc原来的镜像 (可选)
docker rmi percona/percona-xtradb-cluster:5.7.30
# 第四步:创建单独网络(可选)默认bridge模式
docker network create --subnet=172.18.0.0/24 pxc-net
# 第五步:准备三个数据卷。注意要给目录授权。开发环境777
docker volume create --name v1
docker volume create --name v2
docker volume create --name v3
# 第六步:创建第一个节点
docker run -d -p 3301:3306 -v v1:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=admin -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=myroot --privileged --name=node1 --net=pxc-net --ip 172.18.0.2 pxc:5.7.30
# 第七步:等待节点一完全启动后,创建另外两个节点(第六步成功后)
docker run -d -p 3302:3306 -v v2:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=admin -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=myroot -e CLUSTER_JOIN=node2 --privileged --name=node2 --net=pxc-net --ip 172.18.0.3 pxc:5.7.30
docker run -d -p 3303:3306 -v v3:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=admin -eCLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=myroot -e CLUSTER_JOIN=node3 --privileged --name=node3 --net=pxc-net --ip 172.18.0.4 pxc:5.7.30
# 完成:实现了3个节点的自动复制
方式二docker-compose
挂载卷
mkdir -p /data/pxc
cd /data/pxc
mkdir -p v1 v2 v3 master agent
# 对/data/pxc/目录及所有子目录授权
chmod 777 -R /data/pxc
修改pxc镜像名称
docker tag percona/percona-xtradb-cluster:5.7.30 pxc:5.7.30
创建网络
master和agent是两份docker-compose.yml文件,需要公用一个网络。网络需要提前创建。
docker network create pxc_network --driver bridge
docker network ls
master
version: '3'
services:
pxc01:
restart: always
image: pxc:5.7.30
container_name: pxc01
privileged: true
ports:
- 3301:3306
environment:
- MYSQL_ROOT_PASSWORD=admin
- CLUSTER_NAME=pxc
volumes:
- /data/pxc/v1:/var/lib/mysql
networks:
default:
external:
name: pxc_network
agent
version: '3'
services:
pxc02:
restart: always
image: pxc:5.7.30
container_name: pxc02
privileged: true
ports:
- 3302:3306
environment:
- MYSQL_ROOT_PASSWORD=admin
- CLUSTER_NAME=pxc
- CLUSTER_JOIN=pxc01
volumes:
- /data/pxc/v2:/var/lib/mysql
pxc03:
restart: always
image: pxc:5.7.30
container_name: pxc03
privileged: true
ports:
- 3303:3306
environment:
- MYSQL_ROOT_PASSWORD=admin
- CLUSTER_NAME=pxc
- CLUSTER_JOIN=pxc01
volumes:
- /data/pxc/v3:/var/lib/mysql
networks:
default:
external:
name: pxc_network
测试集群
navicat客户端中执行SQL语句