项目背景：公司主数据库使用阿里云RDS在大陆区域，海外服务器需要跨外网读取大陆的RDS，受跨国网络环境不稳定的影响，造成海外用户系统访问速度有时很慢，用户体验差。阿里云的方案有云企业网可以实现海外和国内服务器同一内网段访问（最低2M的专线），但费用不菲（大概20000RMB/年）且利用率低。因此考虑在海外ECS自建mysql，通过公网IP与大陆区域RDS主库同步，海外用户直接访问海外ECS的mysql从库，提高数据库访问速度。
前言
1、GTID的概念
全局事务标识：global transaction identifiers；
GTID是一个事务一一对应，并且全局唯一ID；
一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致；
GTID用来代替传统复制方法，不再使用MASTER_LOG_FILE+MASTER_LOG_POS开启复制。而是使用MASTER_AUTO_POSTION=1的方式开始复制；
MySQL-5.6.5开始支持的，MySQL-5.6.10后开始完善；
在传统的slave端，binlog是不用开启的，但是在GTID中slave端的binlog是必须开启的，目的是记录执行过的GTID（强制）。
2、GTID的组成
GTID = source_id:transaction_id
source_id，用于鉴别原服务器，即mysql服务器唯一的的server_uuid，由于GTID会传递到slave，所以也可以理解为源ID。
transaction_id，为当前服务器上已提交事务的一个序列号，通常从1开始自增长的序列，一个数值对应一个事务。
示例：3D598FA47-71CA-11E1-9E88-C80AJ8Y29562:97
前面的一串为服务器的server_uuid，即3D598FA47-71CA-11E1-9E88-C80AJ8Y29562，后面的97为transaction_id
3、GTID的优势
更简单的实现failover，不用以前那样在需要找log_file和log_pos；
更简单的搭建主从复制；
比传统的复制更加安全；
GTID是连续的没有空洞的，保证数据的一致性，零丢失。
4、GTID的工作原理
当一个事务在主库端执行并提交时，产生GTID，一同记录到binlog日志中；
binlog传输到slave,并存储到slave的relaylog后，读取这个GTID的这个值设置gtid_next变量，即告诉Slave，下一个要执行的GTID值；
sql线程从relay log中获取GTID，然后对比slave端的binlog是否有该GTID；
如果有记录，说明该GTID的事务已经执行，slave会忽略；
如果没有记录，slave就会执行该GTID事务，并记录该GTID到自身的binlog，在读取执行事务前会先检查其他session持有该GTID，确保不被重复执行；
在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描。
配置RDS主库
1、登录 RDS 控制台，选择目标实例。
2、配置RDS数据库账号、密码 (ecstb/ecstb) 和授权数据库rdsdb 。
3、将ECS从实例的 IP 地址加入主实例的 IP 白名单中。
在本文的操作中是为ECS服务器配置了EIP（弹性固定IP，如45.88.70.90）
ECS从库安装及配置
1、安装 MySQL
最好是安装版本与主库RDS数据版本一致，或者高于主库
#mysql -V
mysql Ver 14.14 Distrib 5.6.45, for Linux (x86_64) using EditLine wrapper
本文所用RDS数据库版本为
Server version: 5.6.16-log Source distribution
2、创建数据库，同步RDS数据
首先，在ECS服务器上远程导出RDS的数据库rdsdb
#mysqldump -u ecstb -p rdsdb -h xxxxxxx.mysql.rds.aliyuncs.com > /tmp/rdsdb.sql
进入ECS的mysql建立rdsdb空库
mysql> create database rdsdb character set utf8;
将之前导出的RDS数据库导入ECS
mysql> use rdsdb;
mysql> source /tmp/rdsdb.sql;
3、停止从库mysql 服务
#service mysqld stop
4、修改ECS从库 mysql 配置文件，在[mysqld]最后添加如下
#vi /etc/my.cnf
####RDS to mysql ####
server-id =1001 #不可与RDS主库id相同
port = 3306
replicate-do-db =rdsdb #需要同步的数据库
binlog_format = row #日志文件格式
log-bin = mysql-bin
log-bin-index = mysql-bin.index
relay-log = relay-log
relay_log_index = relay-log.index
slave-skip-errors = all
gtid_mode = on #开启gtid模式
enforce_gtid_consistency = on
log-slave-updates = 1
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
保存后重启mysql服务
#service mysqld restart
5、配置主从同步
连接RDS主库，查询GTID
#mysql -u ecstb -p -h xxxxxxx.mysql.rds.aliyuncs.com
mysql> show global variables like 'gtid_purged';
+---------------------+-------------------------------------------------------------------------------+
| Variable_name | Value |
+---------------------+-------------------------------------------------------------------------------+
| gtid_purged | 533ac4e6-9565-11e8-abb5-7cd30abca02e:1-3099396 |
+---------------------+-------------------------------------------------------------------------------+
1 row in set (0.14 sec)
进入ECS从库
mysql> stop slave;
mysql> set global gtid_purged = '533ac4e6-9565-11e8-abb5-7cd30abca02e:1-3099396';
注意：设置gtid_purged值时，gtid_executed值必须为空否则报错，该值清空的方法就是reset master命令
mysql>reset master;
执行同步
CHANGE MASTER TO
MASTER_HOST='xxxxxxx.mysql.rds.aliyuncs.com',
MASTER_PORT=3306,
MASTER_USER='ecstb',
MASTER_PASSWORD='ecstb_passwd',
master_auto_position=1;
mysql>start slave;
mysql>show slave status\G;
这里看到有两个Yes ，说明RDS到ECS自建mysql的主从同步已经成功！
【2019-10-15更新 两台CentOS 7 如何构建基于GTID的Mysql主从同步】
1、主从信息
主库 10.150.0.30
从库 10.150.0.31
数据库名 DBXXX
2、首先，将DBXXX从主库导出
Master# mysqldump -u root -p DBXXX >/tmp/DBXXX.sql
用scp命令将DBXXX.sql复制到从库主机
Master# scp /tmp/DBXXX.sql root@10.150.0.31/tmp
3、【主库-30 配置 /etc/my.cnf 】
Master# vi /etc/my.cnf
[mysqld] 下面增加如下:
############ Master 30 ############
server-id=30
port = 3306
replicate-do-db=DBXXX
binlog_format = row
log-bin = mysql-bin
log-bin-index = mysql-bin.index
relay-log = relay-log
relay_log_index = relay-log.index
slave-skip-errors = all
gtid_mode = on
enforce_gtid_consistency = on
log-slave-updates = 1
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
#####################################
主库重启mysql服务
Master# service mysqld restart
4、将主库导出的数据库DBXXX手工导入到从库
进入从库mysql
Slave#mysql -u root -p
mysql> CREATE DATABASE `DBXXX` CHARACTER SET utf8; 创建数据库
mysql> use DBXXX; 进入数据库
mysql> source /tmp/DBXXX.sql; 导入数据（从主库scp到从库的/tmp目录）
5、【从库-31 配置 /etc/my.cnf 】
Slave# vi /etc/my.cnf
[mysqld] 下面增加如下:
############ Slave 31 ################
server-id=31
port = 3306
replicate-do-db=DBXXX
binlog_format = row
log-bin = mysql-bin
log-bin-index = mysql-bin.index
relay-log = relay-log
relay_log_index = relay-log.index
slave-skip-errors = all
gtid_mode = on
enforce_gtid_consistency = on
log-slave-updates = 1
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
######################################
从库重启mysql服务
Slave# service mysqld restart
6、进入从库mysql
#mysql -u root -p
mysql> 复制运行如下代码：
CHANGE MASTER TO
MASTER_HOST='10.150.0.30',
MASTER_PORT=3306,
MASTER_USER='User_of_Master',
MASTER_PASSWORD='PW_of_Master',
master_auto_position=1;
mysql> start slave； 启动主从服务进程
mysql> show slave status\G; 查看主从状态
熟悉的双Yes，同步成功！！
【2019-12-09更新 新增同步数据库】
1、从主库(10.150.0.30)导出数据
# mysqldump -u root -p DB_new -h 10.150.0.30 > /tmp/DB_new_191209.sql
2、进入从库的mysql
mysql> CREATE DATABASE `DB_new` CHARACTER SET utf8; #创建新数据库
mysql> use DB_new; #进入数据库
mysql> source /tmp/DB_new_191209.sql; #导入数据
3、修改/etc/my.cnf 从库配置文件
增加要备份的数据库DB_new
replicate-do-db=DB_new
4、重启从库的mysql服务
#service mysqld restart
5、进入从库mysql，查看主从同步状态，可以看到两个状态为Yes，新增的数据库同步正常
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.150.0.30
Master_User: root
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.001984
Read_Master_Log_Pos: 32377
Relay_Log_File: relay-log.000978
Relay_Log_Pos: 32603
Relay_Master_Log_File: mysql-bin.001984
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: DB_old,DB_new
114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
