Mariadb Galera Cluster 故障快速拉起

Openstack 的控制节点使用了3个节点的Mariadb Galera Cluster集群。当Mariadb集群因故障重启时，有时会遇到Mariadb Galera Cluster集群无法正常启动的情况。有很多方式能将数据库拉起，但是如何做到快速启动，又不丢失数据呢？

经分析日志发现Mariadb Galera Cluster节点宕机时会在日志中打印出如下信息：

[Note] WSREP: New cluster view: global state: 874d8e7e-5980-11e8-8c23-83493ba049c2:3111, view# -1: non-P
rimary, number of nodes: 0, my index: -1, protocol version 3

对比三个节点日志中的 New cluster view: global state状态，可知道那个节点中的数据是最新的。

用这个最新的节点中的数据以wsrep_new_cluster的方式将数据拉起即可。

[mysql@test45 logs]$ grep "New cluster view" mariadb.log |awk  -F: 'END { print $1":"$2":"$3 $6":"$7}'
180518 14:59:00 [Note] WSREP 874d8e7e-5980-11e8-8c23-83493ba049c2:2840, view# 3

[mysql@test44 logs]$ grep "New cluster view" mariadb.log |awk  -F: 'END { print $1":"$2":"$3 $6":"$7}'
180518 15:55:03 [Note] WSREP 874d8e7e-5980-11e8-8c23-83493ba049c2:3068, view# 4

[mysql@test43 logs]$ grep "New cluster view" mariadb.log |awk  -F: 'END { print $1":"$2":"$3 $6":"$7}'
180518 15:55:41 [Note] WSREP 874d8e7e-5980-11e8-8c23-83493ba049c2:3111, view# -1

根据红色字体标记的数字得知三个节点数据的状态 ：3111>3068>2840

所以 [mysql@test43 logs]$ 上的874d8e7e-5980-11e8-8c23-83493ba049c2:3111 节点上的数据是最新的。

修改【mysql@test43】节点$datadir 目录下的grastate.dat 文件。
将seqno设置为3111。

safe_to_bootstrap设置为1

[mysql@test43 script]$more grastate.dat 
# GALERA saved state
version: 2.1
uuid:    874d8e7e-5980-11e8-8c23-83493ba049c2
seqno:   -1
safe_to_bootstrap: 0

修改为：
[mysql@test43 data]$  vim ../data/grastate.dat 
# GALERA saved state
version: 2.1
uuid:    874d8e7e-5980-11e8-8c23-83493ba049c2
seqno:   3111
safe_to_bootstrap: 1

注意：在启动数据库前，最好对数据目录做备份，以防万一出问题可以还原事故现场。

1. 在【mysql@test43】节点以wsrep_new_cluster的方式启动mysql

mysqld_safe --defaults-file=/data/conf/my.cnf  --user=mysql --wsrep_new_cluster &

2.以正常方式启动其它两个节点

mysqld_safe --defaults-file=/data/conf/my.cnf  --user=mysql&

根据这两个节点数据的情况，会做SST 或IST.

如果数据库是以docker拉起的，可以修改my.cnf 配置文件中的wsrep_cluster_address 参数，启动mysql。

如将 wsrep_cluster_address = gcomm://172.x.x.100:4567,172.x.x.101::4567,172.x.x.102::4567

调整为：wsrep_cluster_address = gcomm://

docker start mariadb

待集群正常启动后，切记还恢复wsrep_cluster_address 参数设置。