mysql（二）复制与同步
| 节点 | 身份 |
|---|---|
| node1（172.25.136.1） | master |
| node2（172.25.136.2） | slave |
| node3（172.25.136.3） | slave |
mysql的主从复制
node1 2
下载所需的安装包后
yum install -y
mysql-community-client-5.7.24-1.el7.x86_64.rpm
mysql-community-common-5.7.24-1.el7.x86_64.rpm
mysql-community-libs-5.7.24-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm
mysql-community-server-5.7.24-1.el7.x86_64.rpm
#安装后会替换mariadb相关的库文件
node1
修改配置文件，配合官方文档学习
#负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，
#这个日志记载着需要传输给从服务器的各种修改动作。因此，主服务器必须激活
#二进制日志功能。从服务器必须具备足以让它连接主服务器并请求主服务器把二进制
#变更日志传输给它的权限
vim /etc/my.cnf
log-bin=mysql-bin ##文档最后加，二进制日志复制，id号来区分主机
server-id=1
启动mysql
systemctl start mysqld
此时会生成一个临时密码
eg：
#cat /var/log/mysqld.log | grep password
#2019-02-23T07:39:25.392617Z 1 [Note] A temporary password is
#generated for root@localhost: N7Nn<KkJsa!a
此时我们是不能连接到数据库的，因为没有对其作安全初始化（设定密码）
安全初始化
mysql_secure_installation
#密码要求有大小写，数字，特殊字符
#完成后可以登录数据库
创建并授权用来做复制的用户
#在Master的数据库中建立一个备份帐户：每个slave使用标准的MySQL用户名和密码连接master。
#进行复制操作的用户会授予REPLICATION SLAVE权限。
#用户名的密码都会存储在文本文件master.info中
mysql> grant replication slave on *.* to repl@'172.25.136.%' identified by 'Wsp+123ld';
#即建立一个密码为Wsp+123ld的repl账户
mysql> show plugins; ##查看插件，因为有密码插件，所以密码必须设置为复杂的
mysql> show master status; ##查看master状态
此时可以在别的机器上去用这个账户连接数据库，是可以登录的，但是查看不到任何信息，因为没有权限
mysql -h 172.25.136.1 -urepl -pWsp+123ld
node2
初始化mysql
修改/etc/my.cnf
vim /etc/my.cnf
server-id=2 ##文件最后加
启动mysql
systemctl start mysqld
配置master信息
mysql> change master to master_host='172.25.136.1',
master_user='repl', master_password='Wsp+123ld',
master_log_file='mysql-bin.000002', master_log_pos=1004;
#MASTER_LOG_POS 它是日志的开始位置
#其中master_log_file和maMASTER_LOG_POS的值为0，因为它是日志的开始位置ster_log_pos写在server1上执行show master status看到的信息
mysql> start slave;
mysql> show slave status\G ##查看主从复制状态
Slave_IO_Running: Yes
Slave_SQL_Running: Yes ##这两个参数是Yes，表示成功
测试
创建新数据测试主从同步是否生效
'注意：写操作只能在master节点上做，因为master节点不会去同步slave节点的内容'
mysql> create database westos; ##在server2上发现也能看到westos库
mysql> use westos
mysql> create table usertb (
-> username varchar(10) not null,
-> password varchar(15) not null); ##建表
mysql> desc usertb; ##查看表信息
mysql> insert into usertb values ('user1','123'); ##插入数据
mysql> select * from usertb; ##查看此时1 2上都可以可见数据
基于GTID的主从复制 + 半同步
由于同一事务的GTID在所有节点上的值一致
我们都不需要知道GTID的具体值
前提：需要做好前面的binlog复制’
在传统的复制里面，当发生故障，需要主从切换，需要找到binlog和pos点，然后将主节点指向新的主节点，相对来说比较麻烦，也容易出错。在MySQL 5.6里面，不用再找binlog和pos点，我们只需要知道主节点的ip，端口，以及账号密码就行，因为复制是自动的，MySQL会通过内部机制GTID自动找点同步
从服务器连接到主服务器之后，把自己执行过的GTID(Executed_Gtid_Set)<SQL线程> 、获取到的GTID(Retrieved_Gtid_Set）<IO线程>发给主服务器，主服务器把从服务器缺少的GTID及对应的transactions发过去补全即可。当主服务器挂掉的时候，找出同步最成功的那台从服务器，直接把它提升为主即可。如果硬要指定某一台不是最新的从服务器提升为主， 先change到同步最成功的那台从服务器， 等把GTID全部补全了，就可以把它提升为主了
show variables like 'log_%'; #查看二进制日志
node1
vim /etc/my.cnf ##在文件最后添加
gtid_mode=ON
enforce-gtid-consistency=true
mysql> use mysql
mysql> select * from gtid_executed; ##是空的，因为还没重启 ##在slave上面看
Empty set (0.00 sec)
root@server1 mysql]# mysqlbinlog mysql-bin.000002 ##可以看到之前做的操作都在里面
[root@server1 mysql]# cat auto.cnf ##看到server1的uuid
[auto]
server-uuid=f84e8de1-38a2-11e9-b78c-5254009afece
systemctl restart mysqld
node2
'mysql5.6 slave必须开启binlog日志 但是5.7中不是必须的'
gtid_mode=ON(必选)
enforce-gtid-consistency（必选）
log_bin=ON（可选）--高可用切换，最好设置ON
log-slave-updates=ON（可选）--高可用切换，最好设置ON
vim /etc/my.cnf ##在文件最后添加
gtid_mode=ON
enforce-gtid-consistency=true
systemctl restart mysqld ##重启
在server2上查看主从复制状态是否正常
[root@server2 mysql]# pwd
/var/lib/mysql
[root@server2 mysql]# cat relay-log.info #查看relay-log
mysql> stop slave; ##先停止复制
Query OK, 0 rows affected (0.01 sec)
mysql> CHANGE MASTER TO ##修改master信息
-> MASTER_HOST = '172.25.136.1',
-> MASTER_USER = 'repl',
-> MASTER_PASSWORD = 'Wsp+123ld',
-> MASTER_AUTO_POSITION = 1; ##启用gtid，它是自动的
mysql> start slave;
mysql> show slave status\G ##查看状态，可以看到下面两个参数是空的
Retrieved_Gtid_Set:
Executed_Gtid_Set:
测试
##在server1上插入数据
mysql> insert into usertb values ('user2','123');
Query OK, 1 row affected (0.01 sec)
mysql> insert into usertb values ('user3','123');
Query OK, 1 row affected (0.00 sec)
#再在server2上查看状态
show slave status\G
Retrieved_Gtid_Set: f84e8de1-38a2-11e9-b78c-5254009afece:1-2
Executed_Gtid_Set: f84e8de1-38a2-11e9-b78c-5254009afece:1-2
##发现这两个参数变了，从1位置开始复制的
再在server1查看gtid模式复制的起始和结束位置
mysql> use mysql
mysql> select * from gtid_executed;
+--------------------------------------+----------------+--------------+
| source_uuid | interval_start | interval_end |
+--------------------------------------+----------------+--------------+
| f84e8de1-38a2-11e9-b78c-5254009afece | 1 | 1 |
| f84e8de1-38a2-11e9-b78c-5254009afece | 2 | 2 |
+--------------------------------------+----------------+--------------+
2 rows in set (0.00 sec)
几种常用复制
- 异步复制（Asynchronous replication）
MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。 - 全同步复制（Fully synchronous replication）
指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。 - 半同步复制（Semisynchronous replication）
介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。
在2010年MySQL 5.5版本之前，一直采用的是这种异步复制的方式。主库的事务执行不会管备库的同步进度，如果备库落后，主库不幸crash，那么就会导致数据丢失。于是在MySQL在5.5中就顺其自然地引入了半同步复制，主库在应答客户端提交的事务前需要保证至少一个从库接收并写到relay log中
对照官方文档 https://dev.mysql.com/doc/refman/5.7/en/replication-semisync-installation.html
1）正常的复制为：事务一（t1）写入binlog buffer；dumper线程通知slave有新的事务t1；binlog buffer进行checkpoint；slave的io线程接收到t1并写入到自己的的relay log；slave的sql线程写入到本地数据库。 这时，master和slave都能看到这条新的事务，即使master挂了，slave可以提升为新的master。
2）异常的复制为：事务一（t1）写入binlog buffer；dumper线程通知slave有新的事务t1；binlog buffer进行checkpoint；slave因为网络不稳定，一直没有收到t1；master挂掉，slave提升为新的master，t1丢失。
3）很大的问题是：主机和从机事务更新的不同步，就算是没有网络或者其他系统的异常，当业务并发上来时，slave因为要顺序执行master批量事务，导致很大的延迟。
为了弥补以上几种场景的不足，MySQL从5.5开始推出了半同步复制。相比异步复制，半同步复制提高了数据完整性，因为很明确知道，在一个事务提交成功之后，这个事务就至少会存在于两个地方。即在master的dumper线程通知slave后，增加了一个ack（消息确认），即是否成功收到t1的标志码，也就是dumper线程除了发送t1到slave，还承担了接收slave的ack工作。如果出现异常，没有收到ack，那么将自动降级为普通的复制，直到异常修复后又会自动变为半同步复制。
半同步
1.在主库上（server1）安装插件
mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
2.查看插件是否安装
mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME LIKE '%semi%';
3.激活插件
mysql> SET GLOBAL rpl_semi_sync_master_enabled =1;
4.在slave节点上（server2）也安装插件
mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
5.激活插件
SET GLOBAL rpl_semi_sync_slave_enabled =1;
6.重启IO线程使半同步生效
mysql> STOP SLAVE IO_THREAD;
mysql> START SLAVE IO_THREAD;
7.在master节点上查看
mysql> show status like '%rpl%';
看到
| Rpl_semi_sync_master_status | ON |
表示已开启
mysql> show variables like '%rpl%';
+-------------------------------------------+------------+
| Variable_name | Value |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled | ON | 是否开启半同步
| rpl_semi_sync_master_timeout | 10000 | 切换复制的timeout
| rpl_semi_sync_master_trace_level | 32 |用于开启半同步复制模式时的调试级别,默认是32
| rpl_semi_sync_master_wait_for_slave_count | 1 |至少有N个slave接收到日志
| rpl_semi_sync_master_wait_no_slave | ON |是否允许master 每个事物提交后都要等待slave的receipt信号。默认为on
| rpl_semi_sync_master_wait_point | AFTER_SYNC | 等待的point
| rpl_stop_slave_timeout | 31536000 |
+----控制stop slave 的执行时间，在重放一个大的事务的时候,突然执行stop slave,
命令 stop slave会执行很久,这个时候可能产生死锁或阻塞,严重影响性能----+
#https://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html #具体参数可以看官方文档
#默认延迟10s
8.在slave节点上查看
mysql> show variables like '%rpl%';
+---------------------------------+----------+
| Variable_name | Value |
+---------------------------------+----------+
| rpl_semi_sync_slave_enabled | ON |是否开启半同步
| rpl_semi_sync_slave_trace_level | 32 |用于开启半同步复制模式时的调试级别,默认是32
| rpl_stop_slave_timeout | 31536000 |
+---------------------------------+----------+
9.停止slave上的io线程再测试
mysql> STOP SLAVE IO_THREAD;
10.在master上插入数据
mysql> use westos;
mysql> insert into usertb values ('user6','123');
Query OK, 1 row affected (10.01 sec) #等待10s才成功，因为上面超时时间是10s，10s后如果没有收到slave节点的返回，就会切换到异步复制
查看半同步状态也是off，待同步的事务也是1
mysql> show status like '%rpl%';
+--------------------------------------------+-------+
| Variable_name | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients | 0 |
| Rpl_semi_sync_master_net_avg_wait_time | 0 |
| Rpl_semi_sync_master_net_wait_time | 0 |
| Rpl_semi_sync_master_net_waits | 0 |
| Rpl_semi_sync_master_no_times | 1 |
| Rpl_semi_sync_master_no_tx | 1 |
| Rpl_semi_sync_master_status | OFF |
| Rpl_semi_sync_master_timefunc_failures | 0 |
| Rpl_semi_sync_master_tx_avg_wait_time | 0 |
| Rpl_semi_sync_master_tx_wait_time | 0 |
| Rpl_semi_sync_master_tx_waits | 0 |
| Rpl_semi_sync_master_wait_pos_backtraverse | 0 |
| Rpl_semi_sync_master_wait_sessions | 0 |
| Rpl_semi_sync_master_yes_tx | 0 |
+--------------------------------------------+-------+
再次插入时就不会延迟，因为已经是异步了
再次插入时就不会延迟，因为已经是异步了
mysql> insert into usertb values ('user7','123');
Query OK, 1 row affected (0.00 sec)
11.slave上开启io线程
mysql> START SLAVE IO_THREAD;
查看进程
mysql> show processlist;输出结果显示了有哪些线程在运行
查看表信息，已经复制过来
mysql> select * from westos.usertb;
+----------+----------+
| username | password |
+----------+----------+
| user1 | 123 |
| user2 | 123 |
| user3 | 123 |
| user6 | 123 |
| user7 | 123 |
+----------+----------+
12.master上查看进程
mysql> show processlist;
########################################################################
说明各列的含义和用途
id列:一个标识
user列: 显示当前用户，如果不是root，这个命令就只显示你权限范围内的sql语句
host列:显示这个语句是从哪个ip 的哪个端口上发出的。可用来追踪出问题语句的用户
db列:显示这个进程目前连接的是哪个数据库
command列:显示当前连接的执行的命令，一般就是休眠（sleep），查询（query），连接（connect）
time列:此这个状态持续的时间，单位是秒
state列:显示使用当前连接的sql语句的状态
########################################################################
mysql组复制（全同步复制）
node1
1.关闭mysqld
systemctl stop mysqld
2.删除mysql数据 ##注意 ：删除数据之前先复制uuid /var/lib/mysql/auto.cnf
rm -fr /var/lib/mysql/*
3.修改配置文件 ##官网 https://dev.mysql.com/doc/refman/5.7/en/group-replication-configuring-instances.html
vim /etc/my.cnf
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
server_id=1
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE #关闭binlog校验
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW #组复制依赖基于行的复制格式
transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="c36cc649-3f17-11e9-960e-525400cf2a01" ##可以看/var/lib/mysql/auto.cnf
loose-group_replication_start_on_boot=off
loose-group_replication_local_address= "172.25.136.1:24901"
loose-group_replication_group_seeds= "172.25.136.1:24901,172.25.136.2:24901,172.25.136.3:24901"
loose-group_replication_bootstrap_group=off ##插件是否自动引导，这个选项一般都要off掉，只需要由发起组复制的节点开启，并只启动一次，如果是on，下次再启动时，会生成一个同名的组，可能会发生脑裂
loose-group_replication_ip_whitelist="127.0.0.1,172.25.136.0/24"
loose-group_replication_enforce_update_everywhere_checks=ON
loose-group_replication_single_primary_mode=OFF #后两行是开启多主模式的参数
4.启动mysqld
systemctl start mysqld
5.初始化数据库
[root@server1 mysql]# grep password /var/log/mysqld.log
2019-03-14T07:50:42.947487Z 1 [Note] A temporary password is generated for root@localhost: J)hjM=V39sw>
登录数据库，先修改密码
mysql> alter user root@localhost identified by 'Wsp+123ld';
6.配置 #看官网复制 https://dev.mysql.com/doc/refman/5.7/en/group-replication-user-credentials.html
mysql> SET SQL_LOG_BIN=0; #关闭二进制日志，防止传到其他server上
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Wsp+123ld';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
mysql> FLUSH PRIVILEGES;
mysql> SET SQL_LOG_BIN=1; ##开启日志
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Wsp+123ld' FOR CHANNEL 'group_replication_recovery';
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
mysql> SHOW PLUGINS; ##查看插件
| group_replication | ACTIVE | GROUP REPLICATION | group_replication.so | GPL |
+----------------------------+----------+--------------------+----------------------+---------+
mysql> SET GLOBAL group_replication_bootstrap_group=ON; ##组复制发起节点开启这个参数
mysql> START GROUP_REPLICATION;
mysql> SET GLOBAL group_replication_bootstrap_group=OFF;
mysql> SELECT * FROM performance_schema.replication_group_members; ##查看server1是否online
node2/3
[root@server2 mysql]# systemctl stop mysqld
rm -fr /var/lib/mysql/*
vim /etc/my.cnf
server_id=2
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW
transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="c36cc649-3f17-11e9-960e-525400cf2a01" ##注意：这里和server1的保持一致！！！！！！
loose-group_replication_start_on_boot=off
loose-group_replication_local_address= "172.25.136.2:24901"
loose-group_replication_group_seeds= "172.25.136.1:24901,172.25.136.2:24901,172.25.136.3:24901"
loose-group_replication_bootstrap_group=off
loose-group_replication_ip_whitelist="127.0.0.1,172.25.136.0/24"
loose-group_replication_enforce_update_everywhere_checks=ON
loose-group_replication_single_primary_mode=OFF
#启动mysqld
systemctl start mysqld
#初始化
grep password /var/log/mysqld.log
#进入数据库
mysql> alter user root@localhost identified by 'Wsp+123ld'; #修改root用户密码
mysql> SET SQL_LOG_BIN=0;
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Wsp+123ld';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
mysql> FLUSH PRIVILEGES;
mysql> SET SQL_LOG_BIN=1;
mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Wsp+123ld' FOR CHANNEL 'group_replication_recovery';
mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';
#这里不需要做server1上做的SET GLOBAL group_replication_bootstrap_group=ON;
mysql> START GROUP_REPLICATION;
'这里开启组复制可能会报错,查看mysql日志'
'cat /var/log/mysqld.log ,找到解决办法'
2019-03-14T08:51:52.838185Z 0 [Note] Plugin group_replication reported: 'To force this member into the group you can use the group_replication_allow_local_disjoint_gtids_join option'
mysql -pWsp+123ld
mysql> STOP GROUP_REPLICATION;
mysql> set global group_replication_allow_local_disjoint_gtids_join=on; ##直接做这一步 不用等报错
mysql> START GROUP_REPLICATION;
恢复正常
测试
在server1上查看
mysql> SELECT * FROM performance_schema.replication_group_members;
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| group_replication_applier | 43a9e177-46c2-11e9-9b8a-52540039a8e5 | server3 | 3306 | ONLINE |
| group_replication_applier | 926e543f-4635-11e9-bb87-525400cf2a01 | server2 | 3306 | ONLINE |
| group_replication_applier | de5a155a-462d-11e9-b9df-5254004c61ed | server1 | 3306 | ONLINE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
看到3台都是online，表示正常
这时在任何一个节点都可以看到刚才插入的数据
在任何节点写入数据，其他节点也能看到
如在server3上：
mysql> INSERT INTO t1 VALUES (2, 'wsp');
在server2和server1上查看：
mysql> select * from t1;
+----+------+
| c1 | c2 |
+----+------+
| 1 | Luis |
| 2 | wsp |
+----+------+
可以看到刚插入的数据
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
