一、为什么需要主从复制
- 读写分离:在复杂的系统中,有一句sql语句需要锁表,导致暂时不能使用读服务,就会影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样即使主库出现锁表的情景,通过读从库也可以保证业务的正常运作。
- 做数据的热备。
- 架构的扩展:业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问频率,提供单个节点的I/O性能。
二、什么是MySQLl的主从复制
MySQL主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或者多个从节点;
默认采用异步复制方式,这样从节点不用一直访问主节点服务器来更新自己的数据,数据的更新可以在远程连接上进行,从节点可以复制主数据中所有数据库或者特定数据库,或者特定表。
三、MySQL主从复制原理
- master服务器将数据库的改变记录二进制binlog日志:当master上的数据发生改变时,则将改变的数据写入二进制日志中;
- slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件;
- 同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至节点本地的relay-log(中继日志)中,从节点将启动SQL线程从relay-log(中继日志)中读取二进制日志,在本地重放(解析成sql语句逐一执行)。使得其数据和主节点的保持一致,最后I/O线程和
SQL线程将进入睡眠状态,等待下一次被唤醒。
注意:
1、master将操作语句记录到binlog日志中,然后授予slave远程连接的权限(master一定要开启binlog二进制日志功能;通常为了数据安全考虑,slave也开启binlog功能)。
2、slave开启两个线程:IO线程和SQL线程。其中:IO线程负责读取master的binlog内容到中继日志relay log里;SQL线程负责从relay log日志里读出binlog内容,并更新到slave的数据库里,这样就能保证slave数据和master数据保持一致了。
3、Mysql复制至少需要两个Mysql的服务,当然Mysql服务可以分布在不同的服务器上,也可以在一台服务器上启动多个服务。
4、Mysql复制最好确保master和slave服务器上的Mysql版本相同(如果不能满足版本一致,那么要保证master主节点的版本低于slave从节点的版本)。
5、master和slave两节点间时间需同步。
具体步骤:
1、从库通过手工执行change master to 语句连接主库,提供了连接的用户一切条件(user 、password、port、ip),并且让从库知道,二进制日志的起点位置(file名 position 号); start slave
2、从库的IO线程和主库的dump线程建立连接。
3、从库根据change master to 语句提供的file名和position号,IO线程向主库发起binlog的请求。
4、主库dump线程根据从库的请求,将本地binlog以events的方式发给从库IO线程。
5、从库IO线程接收binlog events,并存放到本地relay-log中,传送过来的信息,会记录到master.info中。
6、从库SQL线程应用relay-log,并且把应用过的记录到relay-log.info中,默认情况下,已经应用过的relay 会自动被清理purge。
四、MySQL主从形式
1、一主一从
2、主主复制
3、一主多从
4、多主一从
5、级联复制
五、mysql主从同步延时分析
mysql的主从复制都是单线程的操作,主库对所有DDL和DML产生的日志写进binlog,由于binlog是顺序写,所以效率很高,slave的sql thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随机的,不是顺序,所以成本要高很多,另一方面,由于sql thread也是单线程的,当主库的并发较高时,产生的DML数量超过slave的SQL thread所能处理的速度,或者当slave中有大型query语句产生了锁等待,那么延时就产生了。
解决方案:
1.业务的持久化层的实现采用分库架构,mysql服务可平行扩展,分散压力。
2.单个库读写分离,一主多从,主写从读,分散压力。这样从库压力比主库高,保护主库。
3.服务的基础架构在业务和mysql之间加入memcache或者redis的cache层。降低mysql的读压力。
4.不同业务的mysql物理上放在不同机器,分散压力。
5.使用比主库更好的硬件设备作为slave,mysql压力小,延迟自然会变小。
6.使用更加强劲的硬件设备
mysql5.7之后使用MTS并行复制技术,永久解决复制延时问题
六、主从复制安装配置
1、环境准备
#操作系统:
centos6.5
#mysql版本:
5.7
#两台虚拟机:
node1:192.168.85.111(主)
node2:192.168.85.112(从)
2、在两台数据库中分别创建数据库
--注意两台必须全部执行
create database lsq;
3、在主(node1)服务器进行如下配置
#修改配置文件,执行以下命令打开mysql配置文件
vi /etc/my.cnf
#在mysqld模块中添加如下配置信息
log-bin=master-bin #二进制文件名称
binlog-format=ROW #二进制日志格式,有row、statement、mixed三种格式,row指的是把改变的内容复制过去,而不是把命令在从服务器上执行一遍,statement指的是在主服务器上执行的SQL语句,在从服务器上执行同样的语句。MySQL默认采用基于语句的复制,效率比较高。mixed指的是默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。
server-id=1 #要求各个服务器的id必须不一样
binlog-do-db=lsq #同步的数据库名称
4、配置从服务器登录主服务器的账号授权
--授权操作
set global validate_password_policy=0;
set global validate_password_length=1;
grant replication slave on *.* to 'root'@'%' identified by '123456';
--刷新权限
flush privileges;
5、从服务器的配置
#修改配置文件,执行以下命令打开mysql配置文件
vi /etc/my.cnf
#在mysqld模块中添加如下配置信息
log-bin=master-bin #二进制文件的名称
binlog-format=ROW #二进制文件的格式
server-id=2 #服务器的id
6、重启主服务器的mysqld服务
#重启mysql服务
service mysqld restart
#登录mysql数据库
mysql -uroot -p
#查看master的状态
show master status;
7、重启从服务器并进行相关配置
#重启mysql服务
service mysqld restart
#登录mysql
mysql -uroot -p
#连接主服务器
change master to master_host='192.168.101.100',master_user='root',master_password='123456',master_port=3306,master_log_file='master-bin.000001',master_log_pos=154;
#启动slave
start slave
#查看slave的状态
show slave status\G(注意没有分号)
Slave_IO_Running:连接到主库,并读取主库的日志到本地,生成本地日志文件
Slave_SQL_Running:读取本地日志文件,并执行日志里的SQL命令。
8、验证
此时可以在主服务器进行相关的数据添加删除工作,在从服务器看相关的状态
主节点:
从节点: