mysql（二）复制与同步

最新推荐文章于 2024-06-19 11:55:29 发布

乄陆柒

最新推荐文章于 2024-06-19 11:55:29 发布

阅读量144

点赞数

分类专栏：数据库文章标签： mysql

本文链接：https://blog.csdn.net/c13891506947/article/details/106999647

版权

数据库专栏收录该内容

5 篇文章 0 订阅

订阅专栏

mysql（二）复制与同步

文章目录

mysql（二）复制与同步

节点	身份
node1（172.25.136.1）	master
node2（172.25.136.2）	slave
node3（172.25.136.3）	slave

mysql的主从复制

node1 2

下载所需的安装包后
yum install -y 
mysql-community-client-5.7.24-1.el7.x86_64.rpm 
mysql-community-common-5.7.24-1.el7.x86_64.rpm 
mysql-community-libs-5.7.24-1.el7.x86_64.rpm 
mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm 
mysql-community-server-5.7.24-1.el7.x86_64.rpm
#安装后会替换mariadb相关的库文件

node1

修改配置文件，配合官方文档学习
#负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，
#这个日志记载着需要传输给从服务器的各种修改动作。因此，主服务器必须激活
#二进制日志功能。从服务器必须具备足以让它连接主服务器并请求主服务器把二进制
#变更日志传输给它的权限
vim /etc/my.cnf

log-bin=mysql-bin	##文档最后加，二进制日志复制，id号来区分主机
server-id=1

启动mysql
systemctl start mysqld
此时会生成一个临时密码
eg：
#cat /var/log/mysqld.log | grep password

#2019-02-23T07:39:25.392617Z 1 [Note] A temporary password is
#generated for root@localhost: N7Nn<KkJsa!a
此时我们是不能连接到数据库的，因为没有对其作安全初始化（设定密码）

安全初始化
mysql_secure_installation
#密码要求有大小写，数字，特殊字符
#完成后可以登录数据库

创建并授权用来做复制的用户
#在Master的数据库中建立一个备份帐户：每个slave使用标准的MySQL用户名和密码连接master。
#进行复制操作的用户会授予REPLICATION SLAVE权限。
#用户名的密码都会存储在文本文件master.info中

mysql> grant replication slave on *.* to repl@'172.25.136.%' identified by 'Wsp+123ld';
#即建立一个密码为Wsp+123ld的repl账户
mysql> show plugins;	##查看插件，因为有密码插件，所以密码必须设置为复杂的
mysql> show master status;	##查看master状态

此时可以在别的机器上去用这个账户连接数据库，是可以登录的，但是查看不到任何信息，因为没有权限
mysql -h 172.25.136.1 -urepl -pWsp+123ld

node2

初始化mysql
修改/etc/my.cnf
vim /etc/my.cnf

server-id=2	##文件最后加

启动mysql
systemctl start mysqld

配置master信息
mysql> change master to master_host='172.25.136.1', 
master_user='repl', master_password='Wsp+123ld', 
master_log_file='mysql-bin.000002', master_log_pos=1004;

#MASTER_LOG_POS 它是日志的开始位置
#其中master_log_file和maMASTER_LOG_POS的值为0，因为它是日志的开始位置ster_log_pos写在server1上执行show master status看到的信息

mysql> start slave;

mysql> show slave status\G	##查看主从复制状态
Slave_IO_Running: Yes
Slave_SQL_Running: Yes		##这两个参数是Yes，表示成功

测试

创建新数据测试主从同步是否生效
'注意：写操作只能在master节点上做，因为master节点不会去同步slave节点的内容'
mysql> create database westos;	##在server2上发现也能看到westos库
mysql> use westos
mysql> create table usertb (
    -> username varchar(10) not null,
    -> password varchar(15) not null);	##建表

mysql> desc usertb;	##查看表信息

mysql> insert into usertb values ('user1','123');	##插入数据

mysql> select * from usertb;	##查看此时1 2上都可以可见数据

基于GTID的主从复制 + 半同步

由于同一事务的GTID在所有节点上的值一致
我们都不需要知道GTID的具体值
前提：需要做好前面的binlog复制’
在传统的复制里面，当发生故障，需要主从切换，需要找到binlog和pos点，然后将主节点指向新的主节点，相对来说比较麻烦，也容易出错。在MySQL 5.6里面，不用再找binlog和pos点，我们只需要知道主节点的ip，端口，以及账号密码就行，因为复制是自动的，MySQL会通过内部机制GTID自动找点同步

从服务器连接到主服务器之后，把自己执行过的GTID(Executed_Gtid_Set)<SQL线程> 、获取到的GTID(Retrieved_Gtid_Set）<IO线程>发给主服务器，主服务器把从服务器缺少的GTID及对应的transactions发过去补全即可。当主服务器挂掉的时候，找出同步最成功的那台从服务器，直接把它提升为主即可。如果硬要指定某一台不是最新的从服务器提升为主，先change到同步最成功的那台从服务器，等把GTID全部补全了，就可以把它提升为主了

show variables like 'log_%'; #查看二进制日志

node1

vim /etc/my.cnf		##在文件最后添加

gtid_mode=ON
enforce-gtid-consistency=true

mysql> use mysql
mysql> select * from gtid_executed;	##是空的，因为还没重启 ##在slave上面看
Empty set (0.00 sec)

root@server1 mysql]# mysqlbinlog mysql-bin.000002	##可以看到之前做的操作都在里面

[root@server1 mysql]# cat auto.cnf 	##看到server1的uuid
[auto]
server-uuid=f84e8de1-38a2-11e9-b78c-5254009afece

systemctl restart mysqld

node2

'mysql5.6 slave必须开启binlog日志 但是5.7中不是必须的'

gtid_mode=ON(必选)
enforce-gtid-consistency（必选）
log_bin=ON（可选）--高可用切换，最好设置ON
log-slave-updates=ON（可选）--高可用切换，最好设置ON


vim /etc/my.cnf         ##在文件最后添加

gtid_mode=ON
enforce-gtid-consistency=true


systemctl restart mysqld	##重启

在server2上查看主从复制状态是否正常
[root@server2 mysql]# pwd
/var/lib/mysql
[root@server2 mysql]# cat relay-log.info	#查看relay-log

mysql> stop slave;	##先停止复制
Query OK, 0 rows affected (0.01 sec)

mysql> CHANGE MASTER TO		##修改master信息
    -> MASTER_HOST = '172.25.136.1',
    -> MASTER_USER = 'repl',
    -> MASTER_PASSWORD = 'Wsp+123ld',
    -> MASTER_AUTO_POSITION = 1;	##启用gtid，它是自动的

mysql> start slave;

mysql> show slave status\G	##查看状态，可以看到下面两个参数是空的
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set:

测试

##在server1上插入数据
mysql> insert into usertb values ('user2','123');
Query OK, 1 row affected (0.01 sec)

mysql> insert into usertb values ('user3','123');
Query OK, 1 row affected (0.00 sec)

#再在server2上查看状态
show slave status\G	
           Retrieved_Gtid_Set: f84e8de1-38a2-11e9-b78c-5254009afece:1-2
            Executed_Gtid_Set: f84e8de1-38a2-11e9-b78c-5254009afece:1-2		
            ##发现这两个参数变了，从1位置开始复制的


再在server1查看gtid模式复制的起始和结束位置
mysql> use mysql

mysql> select * from gtid_executed;
+--------------------------------------+----------------+--------------+
| source_uuid                          | interval_start | interval_end |
+--------------------------------------+----------------+--------------+
| f84e8de1-38a2-11e9-b78c-5254009afece |              1 |            1 |
| f84e8de1-38a2-11e9-b78c-5254009afece |              2 |            2 |
+--------------------------------------+----------------+--------------+
2 rows in set (0.00 sec)

几种常用复制

异步复制（Asynchronous replication）
MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。
全同步复制（Fully synchronous replication）
指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。
半同步复制（Semisynchronous replication）
介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。

在2010年MySQL 5.5版本之前，一直采用的是这种异步复制的方式。主库的事务执行不会管备库的同步进度，如果备库落后，主库不幸crash，那么就会导致数据丢失。于是在MySQL在5.5中就顺其自然地引入了半同步复制，主库在应答客户端提交的事务前需要保证至少一个从库接收并写到relay log中

对照官方文档 https://dev.mysql.com/doc/refman/5.7/en/replication-semisync-installation.html
1）正常的复制为：事务一（t1）写入binlog buffer；dumper线程通知slave有新的事务t1；binlog buffer进行checkpoint；slave的io线程接收到t1并写入到自己的的relay log；slave的sql线程写入到本地数据库。这时，master和slave都能看到这条新的事务，即使master挂了，slave可以提升为新的master。
2）异常的复制为：事务一（t1）写入binlog buffer；dumper线程通知slave有新的事务t1；binlog buffer进行checkpoint；slave因为网络不稳定，一直没有收到t1；master挂掉，slave提升为新的master，t1丢失。
3）很大的问题是：主机和从机事务更新的不同步，就算是没有网络或者其他系统的异常，当业务并发上来时，slave因为要顺序执行master批量事务，导致很大的延迟。

为了弥补以上几种场景的不足，MySQL从5.5开始推出了半同步复制。相比异步复制，半同步复制提高了数据完整性，因为很明确知道，在一个事务提交成功之后，这个事务就至少会存在于两个地方。即在master的dumper线程通知slave后，增加了一个ack（消息确认），即是否成功收到t1的标志码，也就是dumper线程除了发送t1到slave，还承担了接收slave的ack工作。如果出现异常，没有收到ack，那么将自动降级为普通的复制，直到异常修复后又会自动变为半同步复制。

半同步

1.在主库上（server1）安装插件

mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';

2.查看插件是否安装

mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME LIKE '%semi%';

3.激活插件
mysql> SET GLOBAL rpl_semi_sync_master_enabled =1;


4.在slave节点上（server2）也安装插件
mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';

5.激活插件
SET GLOBAL rpl_semi_sync_slave_enabled =1;

6.重启IO线程使半同步生效
mysql> STOP SLAVE IO_THREAD;
mysql> START SLAVE IO_THREAD;

7.在master节点上查看
mysql> show status like '%rpl%';
看到
| Rpl_semi_sync_master_status                | ON    |
表示已开启


mysql> show variables like '%rpl%';
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | ON         | 是否开启半同步
| rpl_semi_sync_master_timeout              | 10000      | 切换复制的timeout
| rpl_semi_sync_master_trace_level          | 32         |用于开启半同步复制模式时的调试级别,默认是32
| rpl_semi_sync_master_wait_for_slave_count | 1          |至少有N个slave接收到日志
| rpl_semi_sync_master_wait_no_slave        | ON         |是否允许master 每个事物提交后都要等待slave的receipt信号。默认为on 
| rpl_semi_sync_master_wait_point           | AFTER_SYNC | 等待的point
| rpl_stop_slave_timeout                    | 31536000   |
+----控制stop slave 的执行时间，在重放一个大的事务的时候,突然执行stop slave,
命令 stop slave会执行很久,这个时候可能产生死锁或阻塞,严重影响性能----+
#https://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html #具体参数可以看官方文档
#默认延迟10s

8.在slave节点上查看
mysql> show variables like '%rpl%';
+---------------------------------+----------+
| Variable_name                   | Value    |
+---------------------------------+----------+
| rpl_semi_sync_slave_enabled     | ON       |是否开启半同步
| rpl_semi_sync_slave_trace_level | 32       |用于开启半同步复制模式时的调试级别,默认是32
| rpl_stop_slave_timeout          | 31536000 |
+---------------------------------+----------+

9.停止slave上的io线程再测试
mysql> STOP SLAVE IO_THREAD;

10.在master上插入数据
mysql> use westos;
mysql> insert into usertb values ('user6','123');
Query OK, 1 row affected (10.01 sec)	#等待10s才成功，因为上面超时时间是10s，10s后如果没有收到slave节点的返回，就会切换到异步复制

查看半同步状态也是off，待同步的事务也是1
mysql> show status like '%rpl%';
+--------------------------------------------+-------+
| Variable_name                              | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients               | 0     |
| Rpl_semi_sync_master_net_avg_wait_time     | 0     |
| Rpl_semi_sync_master_net_wait_time         | 0     |
| Rpl_semi_sync_master_net_waits             | 0     |
| Rpl_semi_sync_master_no_times              | 1     |
| Rpl_semi_sync_master_no_tx                 | 1     |
| Rpl_semi_sync_master_status                | OFF   |
| Rpl_semi_sync_master_timefunc_failures     | 0     |
| Rpl_semi_sync_master_tx_avg_wait_time      | 0     |
| Rpl_semi_sync_master_tx_wait_time          | 0     |
| Rpl_semi_sync_master_tx_waits              | 0     |
| Rpl_semi_sync_master_wait_pos_backtraverse | 0     |
| Rpl_semi_sync_master_wait_sessions         | 0     |
| Rpl_semi_sync_master_yes_tx                | 0     |
+--------------------------------------------+-------+

再次插入时就不会延迟，因为已经是异步了
再次插入时就不会延迟，因为已经是异步了
mysql> insert into usertb values ('user7','123');
Query OK, 1 row affected (0.00 sec)


11.slave上开启io线程
mysql> START SLAVE IO_THREAD;

查看进程
mysql> show processlist;输出结果显示了有哪些线程在运行
查看表信息，已经复制过来
mysql> select * from westos.usertb;
+----------+----------+
| username | password |
+----------+----------+
| user1    | 123      |
| user2    | 123      |
| user3    | 123      |
| user6    | 123      |
| user7    | 123      |
+----------+----------+


12.master上查看进程
mysql> show processlist;

########################################################################
说明各列的含义和用途
id列:一个标识
user列: 显示当前用户，如果不是root，这个命令就只显示你权限范围内的sql语句
host列:显示这个语句是从哪个ip 的哪个端口上发出的。可用来追踪出问题语句的用户
db列:显示这个进程目前连接的是哪个数据库
command列:显示当前连接的执行的命令，一般就是休眠（sleep），查询（query），连接（connect）
time列:此这个状态持续的时间，单位是秒
state列:显示使用当前连接的sql语句的状态

########################################################################

mysql组复制（全同步复制）

node1

1.关闭mysqld
systemctl stop mysqld

2.删除mysql数据  ##注意 ：删除数据之前先复制uuid /var/lib/mysql/auto.cnf
rm -fr /var/lib/mysql/*

3.修改配置文件	##官网 https://dev.mysql.com/doc/refman/5.7/en/group-replication-configuring-instances.html

vim /etc/my.cnf

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

server_id=1
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE #关闭binlog校验
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW #组复制依赖基于行的复制格式

transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="c36cc649-3f17-11e9-960e-525400cf2a01"	##可以看/var/lib/mysql/auto.cnf
loose-group_replication_start_on_boot=off
loose-group_replication_local_address= "172.25.136.1:24901"
loose-group_replication_group_seeds= "172.25.136.1:24901,172.25.136.2:24901,172.25.136.3:24901"
loose-group_replication_bootstrap_group=off	##插件是否自动引导，这个选项一般都要off掉，只需要由发起组复制的节点开启，并只启动一次，如果是on，下次再启动时，会生成一个同名的组，可能会发生脑裂
loose-group_replication_ip_whitelist="127.0.0.1,172.25.136.0/24"
loose-group_replication_enforce_update_everywhere_checks=ON
loose-group_replication_single_primary_mode=OFF  #后两行是开启多主模式的参数

4.启动mysqld
systemctl start mysqld

5.初始化数据库
[root@server1 mysql]# grep password /var/log/mysqld.log

2019-03-14T07:50:42.947487Z 1 [Note] A temporary password is generated for root@localhost: J)hjM=V39sw>

登录数据库，先修改密码
mysql> alter user root@localhost identified by 'Wsp+123ld';

6.配置	#看官网复制 https://dev.mysql.com/doc/refman/5.7/en/group-replication-user-credentials.html

mysql> SET SQL_LOG_BIN=0;	#关闭二进制日志，防止传到其他server上
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Wsp+123ld';

mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';

mysql> FLUSH PRIVILEGES;

mysql> SET SQL_LOG_BIN=1;	##开启日志

mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Wsp+123ld' FOR CHANNEL 'group_replication_recovery';

mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';

mysql> SHOW PLUGINS;	##查看插件
| group_replication          | ACTIVE   | GROUP REPLICATION  | group_replication.so | GPL     |
+----------------------------+----------+--------------------+----------------------+---------+

mysql> SET GLOBAL group_replication_bootstrap_group=ON;	##组复制发起节点开启这个参数

mysql> START GROUP_REPLICATION;

mysql> SET GLOBAL group_replication_bootstrap_group=OFF;

mysql> SELECT * FROM performance_schema.replication_group_members;	##查看server1是否online

node2/3

[root@server2 mysql]# systemctl stop mysqld

rm -fr /var/lib/mysql/*

vim /etc/my.cnf

server_id=2
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW

transaction_write_set_extraction=XXHASH64
loose-group_replication_group_name="c36cc649-3f17-11e9-960e-525400cf2a01" ##注意：这里和server1的保持一致！！！！！！
loose-group_replication_start_on_boot=off
loose-group_replication_local_address= "172.25.136.2:24901"
loose-group_replication_group_seeds= "172.25.136.1:24901,172.25.136.2:24901,172.25.136.3:24901"
loose-group_replication_bootstrap_group=off
loose-group_replication_ip_whitelist="127.0.0.1,172.25.136.0/24"
loose-group_replication_enforce_update_everywhere_checks=ON
loose-group_replication_single_primary_mode=OFF

#启动mysqld
systemctl start mysqld

#初始化
grep password /var/log/mysqld.log

#进入数据库
mysql> alter user root@localhost identified by 'Wsp+123ld'; #修改root用户密码

mysql> SET SQL_LOG_BIN=0;

mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'Wsp+123ld';

mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';

mysql> FLUSH PRIVILEGES;

mysql> SET SQL_LOG_BIN=1;

mysql> CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='Wsp+123ld' FOR CHANNEL 'group_replication_recovery';

mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so';


#这里不需要做server1上做的SET GLOBAL group_replication_bootstrap_group=ON;

mysql> START GROUP_REPLICATION;
'这里开启组复制可能会报错,查看mysql日志'
'cat /var/log/mysqld.log ,找到解决办法'
2019-03-14T08:51:52.838185Z 0 [Note] Plugin group_replication reported: 'To force this member into the group you can use the group_replication_allow_local_disjoint_gtids_join option'

mysql -pWsp+123ld

mysql> STOP GROUP_REPLICATION;

mysql> set global group_replication_allow_local_disjoint_gtids_join=on; ##直接做这一步 不用等报错

mysql> START GROUP_REPLICATION;

恢复正常

测试

在server1上查看
mysql> SELECT * FROM performance_schema.replication_group_members;
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| CHANNEL_NAME              | MEMBER_ID                            | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE |
+---------------------------+--------------------------------------+-------------+-------------+--------------+
| group_replication_applier | 43a9e177-46c2-11e9-9b8a-52540039a8e5 | server3     |        3306 | ONLINE       |
| group_replication_applier | 926e543f-4635-11e9-bb87-525400cf2a01 | server2     |        3306 | ONLINE       |
| group_replication_applier | de5a155a-462d-11e9-b9df-5254004c61ed | server1     |        3306 | ONLINE       |
+---------------------------+--------------------------------------+-------------+-------------+--------------+

看到3台都是online，表示正常


这时在任何一个节点都可以看到刚才插入的数据
在任何节点写入数据，其他节点也能看到
如在server3上：
mysql> INSERT INTO t1 VALUES (2, 'wsp');

在server2和server1上查看：
mysql> select * from t1;
+----+------+
| c1 | c2   |
+----+------+
|  1 | Luis |
|  2 | wsp  |
+----+------+

可以看到刚插入的数据