MySQL——MySQL高可用之PXC

PXC简介

参考 Percona 官方 https://www.percona.com/
PXC(Percona XtraDB Cluster)是一个开源的MySQL高可用解决方案。它将Percona Server和XtraBackup与Galera库集成,以实现同步多主复制。基于Galera的高可用方案主要有MariaDB Galera Cluster和Percona XtraDB Cluster,目前PXC架构在生产线上用的更多而且更成熟一些。PXC相比那些传统的基于主从模式的集群架构MHA和双主,Galera Cluster最突出的特点就是解决了诟病已久的复制延迟问题,基本上可以达到实时同步。而且节点与节点之间,它们互相的关系是对等的。本身Galera Cluster也是一种多主架构。PXC是在存储引擎实现的同步复制,而非异步复制,所以其数据的一致性是相当高的。
在这里插入图片描述
要搭建PXC架构至少需要三个MySQL实例来组成一个集群,三个实例之间不是主从模式,而是各自为主,所以三者是对等关系,不分从属,这也叫multi-master架构。客户端读写时,连接哪个实例都是一样的,读取到的数据是相同的,写入任意一个实例后,集群会将自己新写入的数据同步到其它实例上,这种架构不共享任何数据,是—种高冗余的集群架构。

PXC优缺点

优点:

  • 实现了MySQL集群的高可用性和数据的强一致性。
  • 完成了真正的多节点读写的集群方案。
  • 改善了主从复制延迟问题,基本上达到了实时同步。
  • 新加入的节点可以自动部署,无需提前手动备份,维护方便。
  • 由于是多节点写入,所以DB故障切换很容易。

缺点:

  • 加入新节点时开销大。添加新节点时,必须从现有节点之一复制完整数据集。如果是100GB,则复制100GB。
  • 任何更新的事务都需要全局验证通过,才会在其它节点上执行。集群性能受限于性能最差的节点,也就说常说的木桶定律。
  • 因为需要保证数据的一致性,PXC采用的实时基于存储引擎层来实现同步复制,所以在多节点并发写入时,锁冲突问题比较严重。
  • 存在写扩大的问题。所以节点上都会发生写操作,对于写负载过大的场景,不推荐使用PXC。
  • 只支持InnoDB存储引擎

PXC原理

在这里插入图片描述
PXC的操作流程大体是这样的,首先客户端向请求连接的写入节点提交事务之前,由该节点将需要产生的 relication writeset广播出去,然后获取全局事务ID,一并传送到其它的节点上去。其它节点通过certification合并数据之后,发现没有冲突数据,便执行apply_cb和commit_cb操作,否则就discard此次事务。
而当前节点(客户端请求的写入节点)通过验证之后,执行commit_cb操作,并返回0K给客户端。如果验证没有通过,则rollback_cb。
在生产线上的PXC集群中,至少要有三台节点。如果其中一个节点没有验证通过,出现了数据冲突,那么此时采取的方式就是将出现数据不一致的节点踢出集群,而且它会自动执行shutdown命令来自动关机。

PXC中的重要概念

首先要规范集群中节点的数量,整个集群节点数控制在最少3个、最多8个的范围内。最少3个是为了防止脑裂现象,因为只有在两个节点的情况下才会出现脑裂。脑裂的表现就是输出任何命令,返回结果都是unkown command。
当一个新节点要加入PXC集群的时候,需要从集群中各节点里选举出一个doner节点作为全量数据的贡献者。PXC有两种节点的数据传输方式,一种叫SST全量传输,另一种叫IST增量传输。SST传输有XtraBackup、mysqldump、rsync三种方式,而增量传输只有XtraBackup。一般数据量不大的时候可以使用SST作为全量传输,但也只使用XtraBackup方式。

节点在集群中,会因新节点的加入或故障,同步失效等而发生状态的切换,下面列举出这些状态的含义:

  • open:节点启动成功,尝试连接到集群
  • primary:节点已在集群中,在新节点加入集群时,选取donor进行数据同步时会产生式的状态。
  • joiner:节点处于等待接收同步数据文件的状态。
  • joined:节点已完成了数据同步,尝试保持和集群中其它节点进度一致。
  • synced:节点正常提供服务的状态,表示已经同步完成并和集群进度保持一致。
  • doner:节点处于为新加入节点提供全量数据时的状态。

PXC中的重要配置参数

搭建PXC过程中,需要在my.cnf中设置以下参数

  • wsrep_cluster_name:指定集群的逻辑名称,对于集群中的所有节点,集群名称必须相同。
  • wsrep_cluster_address:指定集群中各节点的地址
  • wsrep_node_name:指定当前节点在集群中的逻辑名称
  • wsrep_node_address:指定当前节点的IP地址
  • wsrep_provider:指定Galera库的路径
  • wsrep_sst_method:模式情况下,PXC使用XtraBackup进行SST传输。强烈建议该参数指为xtrabackup-v2
  • wsrep_sst_auth:指定认证凭证SST作为<sst_user> ;<sst_ pwd>。必须在引导第一个节点后创建此用户并赋予必要的权限。
  • pxc_strict_mode:严格模式,官方建议该参数值为ENFORCING。

在PXC中还有一个特别重要的模块就是Gcache。它的核心功能就是每个节点缓存当前最新的写集。如果有新节点加入集群,就可以把新数据等待增量传递给新节点,而不需要再使用SST方式了。这样可以让节点更快地加入集群中。GCache模块涉及了如下参数:

  • gcache.size代表用来缓存写集增量信息的大小。它的默认大小是128MB,通过wsrep_provider_options变量参数设置。建议调整为2G-4G范围,足够的空间便于缓存更多的增量信息。
  • gcache.mem_size代表Gcache中内存缓存的大小,适度调大可以提高整个集群的性能。
  • gcache.page_size可以理解为如果内存不够用(Gcache不足),就直接将写集写入到磁盘文件中。

PXC集群状态监控

在集群搭建好之后,可以通过如下状态变量’%wsrep%'来查看集群中各节点的状态,下面例举出几个重要的参数,便于发现问题。
wsrep_local_state_uuid:集群中所有节点的该状态值应该是相同的,如果有不同值的节点,说明其没有加入集群。
wsrep_last_committed:最后提交的事务数目。
wsrep_cluster_size:当前集群中的节点数量。
wsrep_cluster_status:集群组成的状态。如果不是"Primary",说明出现脑裂现象。
wsrep_local_state:当前节点状态,值为4表示正常。该状态有四个值:

  • joining:表示节点正在加入集群
  • doner:节点处于为新加入节点提供全量数据时的状态。
  • joined:当前节点已成功加入集群。
  • synced:当前节点与集群中各节点是同步状态。

wsrep_ready:为ON表示当前节点可以正常提供服务。为OFF,则该节点可能发生脑裂或网络问题导致。

部署PXC

环境:

pxc-node1192.168.1.20
pxc-node2192.168.1.30
pxc-node3192.168.1.40

OS版本

# cat /etc/redhat-release 
CentOS Linux release 7.6.1810 (Core)

1、安装PXC(node1、2、3)

解决依赖包

# yum -y install libev lsof perl-Compress-Raw-Bzip2 perl-Compress-Raw-Zlib perl-DBD-MySQL perl-DBI perl-Digest perl-Digest-MD5 perl-IO-Compress perl-Net-Daemon perl-PlRPC qpress socat openssl openssl-d

qpress装不上,手动编译安装
# rz qpress-11-linux-x64.tar
# tar xf qpress-11-linux-x64.tar
# mv qpress /usr/bin/

安装XtraBackup

# rz percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm
# rpm -ivh percona-xtrabackup-24-2.4.18-1.el7.x86_64.rpm

卸载MariaDB

# rpm -e mariadb-libs --nodeps

创建MySQL的组和用户

# groupadd -r mysql
# useradd -M -s /bin/false -r -g mysql mysql

解压软件包到 /usr/local/mysql,并创建数据目录,赋予权限

# rz Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz 
# tar zxf Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101.tar.gz 
# mv Percona-XtraDB-Cluster-5.7.28-rel31-31.41.1.Linux.x86_64.ssl101 /usr/local/mysql
# mkdir /usr/local/mysql/data
# chown -R mysql:mysql /usr/local/mysql/

配置环境变量

# vim /etc/profile
……
export PATH=/usr/local/mysql/bin:$PATH

# source /etc/profile

准备配置文件,binlog格式必须为 row,pxc-node2和pxc-node3上的配置文件相同,但是注意需要更改server_id、wsrep_node_name、wsrep_node_address

[root@pxc-node1 ~]# vim /etc/my.cnf 
[client]
port = 3306
socket = /tmp/mysql.sock
[mysql]
prompt="\u@\h \R:\m:\s[\d]> "
no-auto-rehash
[mysqld]
user = mysql
port = 3306
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
socket = /tmp/mysql.sock
pid-file = db.pid
character-set-server = utf8mb4
skip_name_resolve = 1
open_files_limit = 65535
back_log = 1024
max_connections = 512
max_connect_errors = 1000000
table_open_cache = 1024
table_definition_cache = 1024
table_open_cache_instances = 64
thread_stack = 512K
external-locking = FALSE
max_allowed_packet = 32M
sort_buffer_size = 4M
join_buffer_size = 4M
thread_cache_size = 768
#query_cache_size = 0
#query_cache_type = 0
interactive_timeout = 600
wait_timeout = 600
tmp_table_size = 32M
max_heap_table_size = 32M
slow_query_log = 1
slow_query_log_file = /usr/local/mysql/data/slow.log
log-error = /usr/local/mysql/data/error.log
long_query_time = 0.1
server-id = 1813306
log-bin = /usr/local/mysql/data/mysql-bin
sync_binlog = 1
binlog_cache_size = 4M
max_binlog_cache_size = 1G
max_binlog_size = 1G
expire_logs_days = 7
master_info_repository = TABLE
relay_log_info_repository = TABLE
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates
binlog_format = row
relay_log_recovery = 1
relay-log-purge = 1
key_buffer_size = 32M
read_buffer_size = 8M
read_rnd_buffer_size = 4M
bulk_insert_buffer_size = 64M
lock_wait_timeout = 3600
explicit_defaults_for_timestamp = 1
innodb_thread_concurrency = 0
innodb_sync_spin_loops = 100
innodb_spin_wait_delay = 30
transaction_isolation = REPEATABLE-READ
innodb_buffer_pool_size = 1024M
innodb_buffer_pool_instances = 8
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_data_file_path = ibdata1:1G:autoextend
innodb_flush_log_at_trx_commit = 1
innodb_log_buffer_size = 32M
innodb_log_file_size = 2G
innodb_log_files_in_group = 2
#innodb_max_undo_log_size = 4G
innodb_io_capacity = 2000
innodb_io_capacity_max = 4000
innodb_flush_neighbors = 0
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_purge_threads = 4
innodb_page_cleaners = 4
innodb_open_files = 65535
innodb_max_dirty_pages_pct = 50
innodb_flush_method = O_DIRECT
innodb_lru_scan_depth = 4000
innodb_checksum_algorithm = crc32
#innodb_file_format = Barracuda
#innodb_file_format_max = Barracuda
innodb_lock_wait_timeout = 10
innodb_rollback_on_timeout = 1
innodb_print_all_deadlocks = 1
innodb_file_per_table = 1
innodb_online_alter_log_max_size = 4G
internal_tmp_disk_storage_engine = InnoDB
innodb_stats_on_metadata = 0
# PXC
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so
wsrep_provider_options="gcache.size=1G"
wsrep_cluster_name=pxc-test
wsrep_cluster_address=gcomm://192.168.1.20,192.168.1.30,192.168.1.40
wsrep_node_name=pxc-node1
wsrep_node_address=192.168.1.20
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sst:123
pxc_strict_mode=ENFORCING
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
[mysqldump]
quick
max_allowed_packet = 32M




[root@pxc-node1 ~]# scp /etc/my.cnf root@192.168.1.30:/etc/
[root@pxc-node1 ~]# scp /etc/my.cnf root@192.168.1.40:/etc/

[root@pxc-node2 ~]# vim /etc/my.cnf		#修改
server-id = 1813307
wsrep_node_name=pxc-node2
wsrep_node_address=192.168.1.30

[root@pxc-node3 ~]# vim /etc/my.cnf		#修改
server-id = 1813308
wsrep_node_name=pxc-node3
wsrep_node_address=192.168.1.40

各节点完成MySQL初始化

[root@pxc-node1 ~]# mysqld --defaults-file=/etc/my.cnf --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/ --initialize

[root@pxc-node2 ~]# mysqld --defaults-file=/etc/my.cnf --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/ --initialize

[root@pxc-node3 ~]# mysqld --defaults-file=/etc/my.cnf --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/ --initialize

2、引导第一个节点以初始化集群

在pxc-node1上启动MySQL

[root@pxc-node1 ~]# mysqld --defaults-file=/etc/my.cnf --wsrep_new_cluster &
没有mysqld命令执行# ln -s /usr/local/mysql/bin/* /usr/local/bin/
[root@pxc-node1 ~]# ss -antulp | grep mysql
tcp    LISTEN     0      128       *:4567                  *:*                   users:(("mysqld",pid=16813,fd=11))
tcp    LISTEN     0      128      :::3306                 :::*                   users:(("mysqld",pid=16813,fd=40))
[root@pxc-node1 ~]# ps -el | grep mysql
4 S   997  16813  16387  0  80   0 - 974170 poll_s pts/0   00:00:12 mysqld

在错误日志中获取临时密码,登录到MySQL终端,第一次登录需要修改root密码

[root@pxc-node1 src]# grep password /usr/local/mysql/data/error.log 
2021-03-14T09:14:51.894281Z 1 [Note] A temporary password is generated for root@localhost: ?,Tuo(1_pjv=
[root@pxc-node1 src]# mysql -uroot -p
Enter password:
root@localhost 17:19: [(none)]> alter user root@localhost identified by '123';
root@localhost 17:19: [(none)]> Bye

创建PXC中的SST传输账号

[root@pxc-node1 ~]# mysql -uroot -p123
root@localhost 17:19: [(none)]> grant all privileges on *.* to 'sst'@'localhost' identified by '123';
root@localhost 17:19: [(none)]> flush privileges;

3、将其他节点添加到集群

在pxc-node2和pxc-node3上启动MySQ加入到pxc集群中(这个加入的过程大概需要几分钟)

# mysqld --defaults-file=/etc/my.cnf &
没有mysqld命令执行# ln -s /usr/local/mysql/bin/* /usr/local/bin/
# ss -antulp | grep mysql
tcp    LISTEN     0      128       *:4567                  *:*                   users:(("mysqld",pid=18032,fd=11))
tcp    LISTEN     0      128      :::3306                 :::*                   users:(("mysqld",pid=18032,fd=40))

此刻pxc30 & pxc40正在从pxc20往本地同步数据

# ps aux | grep mysql
mysql     18032  1.5  9.3 1736680 174140 pts/0  Sl   17:25   0:00 mysqld --defaults-file=/etc/my.cnf
mysql     18040  0.2  0.1 113684  2136 pts/0    S    17:25   0:00 /bin/bash -ue /usr/local/mysql/bin/wsrep_sst_xtrabackup-v2 --role joiner --address 192.168.1.30 --datadir /usr/local/mysql/data/ --defaults-file /etc/my.cnf --defaults-group-suffix  --parent 18032 --mysqld-version 5.7.28-31-31.41 --binlog /usr/local/mysql/data/mysql-bin
mysql     18478  0.0  0.0 112220   672 pts/0    S    17:25   0:00 timeout -k 110 100 socat -u TCP-LISTEN:4444,reuseaddr,retry=30 stdio
mysql     18479  0.0  0.1 132704  2508 pts/0    Sl   17:25   0:00 xbstream -x
mysql     18480  0.0  0.1  51896  2456 pts/0    S    17:25   0:00 socat -u TCP-LISTEN:4444,reuseaddr,retry=30 stdio
root      18528  0.0  0.0 112724   988 pts/0    S+   17:25   0:00 grep --color=auto mysql

mysqld开始监听在3306

# ss -antulp | grep mysql
tcp    LISTEN     0      128       *:4567                  *:*                   users:(("mysqld",pid=18032,fd=11))
tcp    LISTEN     0      128      :::3306                 :::*                   users:(("mysqld",pid=18032,fd=40))
# ps aux | grep mysql
mysql     18032  0.6 16.3 3778620 304316 pts/0  Sl   17:25   0:09 mysqld --defaults-file=/etc/my.cnf
root      76974  0.0  0.0 112724   988 pts/0    S+   17:48   0:00 grep --color=auto mysql

pxc-node2 & pxc-node3已将pxc-node1的数据同步到本地,因此,直接使用在pxc-node1上设置的MySQL root密码,即能直接登录到MySQL终端

[root@pxc-node2 ~]# mysql -uroot -p123
root@localhost 17:28: [(none)]> 

[root@pxc-node3 ~]# mysql -uroot -p123
root@localhost 17:28: [(none)]> 

查看集群状态,可以看到,当前集群中有三台节点

root@localhost 17:29: [(none)]> show global status like '%wsrep_cluster_s%';
+--------------------------+--------------------------------------+
| Variable_name            | Value                                |
+--------------------------+--------------------------------------+
| wsrep_cluster_size       | 3                                    |
| wsrep_cluster_state_uuid | 0cad17e7-84a6-11eb-8897-8b2704f9d718 |
| wsrep_cluster_status     | Primary                              |
+--------------------------+--------------------------------------+

root@localhost 17:29: [(none)]> show global status like '%wsrep_ready%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| wsrep_ready   | ON    |
+---------------+-------+

4、验证复制

在任意节点创建库表,往表中插入一下数据,在另外两个节点上查看数据是否同步

pxc-node2:
root@localhost 17:28: [(none)]> create database mytest;

pxc-node3:
root@localhost 17:28: [(none)]> use mytest;
root@localhost 17:28: [mytest]> create table test(id int primary key auto_increment,name varchar(20));

pxc-node1:
root@localhost 17:27: [(none)]> use mytest
root@localhost 17:29: [mytest]> show tables;
+------------------+
| Tables_in_mytest |
+------------------+
| test             |
+------------------+
root@localhost 17:29: [mytest]> insert into test values(1,'zhangsan');
root@localhost 17:29: [mytest]> select * from mytest.test;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+

pxc-node2:
root@localhost 17:29: [(none)]> select * from mytest.test;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
pxc-node3:
root@localhost 17:29: [mytest]> select * from mytest.test;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值