目录
1、mysql主从复制原理
1.1 mysql的复制类型
基于SQL语句的复制(STATEMENT默认)
基于行的复制(ROW)
混合类型的复制(MIXED)
1.2 mysql主从复制的工作原理
主服务器 master 记录数据库通过 dump 线程将操作记录到 Binary log。
从服务器开启 I/O 线程向主服务器发送同步日志请求。
主服务器把二进制日志内容发送给从服务器。
从服务器将二进制日志记录的操作同步到relay log (中继日志) (存在从服务器的缓存中)。
从服务器中的sql线程将relay log日志记录的操作在从服务器执行后写入从服务器数据库。
1、首先client端(tomcat)将数据写入到master节点的数据库中,master节点会通知存储引擎提交事务,同时会将数据以(基于行、基于sql、基于混合)的方式保存在二进制日志钟
2、slave节点会开启I/O线程,用于监听master的二进制日志的更新,一旦发生更新内容,则向master的dump线程发出同步请求
3、master的dump线程在接收到slave的I/O请求后,会读取二进制文件中更新的数据,并发送给slave的I/O线程
4、slave的I/O线程接收到数据后,会保存在slave节点的中继日志中
5、同时,slave节点钟的SQL线程,会读取中继日志钟的熟,更新在本地的mysql数据库中
6、最终,完成slave——>复制master数据,达到主从同步的效果
2、MySQL读写分离原理
读写分离基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
2.1 读写分离存在意义
因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的。
但是数据库的“读”(读10000条数据可能只要5秒钟)。
所以读写分离,解决的是,数据库的写入,影响了查询的效率
2.2 常见的两种 MySQL 读写分离分
2.2.1 基于程序代码内部实现
在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。
优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。
2.2.2 基于中间代理层实现
代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序:
MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目,通过其自带的 lua 脚本进行SQL 判断。
Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。
2.2.3 Amoeba
读取请求发送给从服务器是,采用轮询调度算法
amoeba使用的java语言编写,配置文件为xml
amoeba主要负责对外的一个代理IP
访问这个IP时,发送的请求为“写”请求,则会转给主服务器
当发送的请求为读时,会通过调度转发给从服务器,使用轮询算法,轮流分配给两台从服务器
amoeba可以视为调度器,如果主服务器挂掉(单点故障),则会有MHA解决这个问题
由于使用MySQL Proxy需要写大量的Lua脚本,这些Lua脚本不是现成的,而需要自己编写,这对于并不熟悉MySQL Proxy内置变量和MySQL Protocol的人来说是非常困难的。Amoeba是一个非常容易使用,可移植性非常强的软件,因此它在生产环境中被广泛用于数据库的代理层。
2.3 MySQL读写分离原理
读写分离就是只在主服务器上写,只在从服务器上读。
基本的原理是让主数据库处理事务性查询,而从数据库处理 select 查询。
数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库。
数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询(select)多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能。
三、MySQL主从复制和读写分离实验部署
3.1 案例拓扑图
3.2 实验思路
- 客户端访问代理服务器
- 代理服务器写入到主服务器
- 主服务器将增删改写入自己二进制日志
- 从服务器将主服务器的二进制日志同步至自己中继日志
- 从服务器重放中继日志到数据库中
- 客户端读,则代理服务器直接访问从服务器
- 降低负载,起到负载均衡作用
3.3 环境配置
master :192.168.10.3
slave1:192.168.10.4
slave2:192.168.10.5
4、搭建 MySQL 主从复制
4.1 Mysql主从服务器时间同步
主服务器设置(192.168.10.3)
yum -y install ntp
vim /etc/ntp.conf
末尾添加
server 127.127.10.0 #设置本地是时钟源,注意修改网段
fudge 127.127.10.0 stratum 8 #设置时间层级为8(限制在15内)
systemctl start ntpd
从服务器设置(192.168.10.4)
yum -y install ntp ntpdate
service ntpd start
/usr/sbin/ntpdate 192.168.10.3 #进行时间同步,指向Master服务器IP
crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.10.3
4.2 主服务器的mysql配置
vim /etc/my.cnf
server-id = 1
log-bin=master-bin #添加,主服务器开启二进制日志
log-slave-updates=true #添加,允许从服务器更新二进制日志
binlog_format = MIXED
systemctl restart mysqld
mysql -u root -p
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.10.%' IDENTIFIED BY '147369';
#给从服务器授权
FLUSH PRIVILEGES;
show master status;
#File 列显示日志名,Fosition 列显示偏移量
4.3 从服务器的mysql配置
vim /etc/my.cnf
server-id = 2 #修改,注意id与Master的不同,两个Slave的id也要不同
relay-log=relay-log-bin #添加,开启中继日志,从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index #添加,定义中继日志文件的位置和名称
relay_log_recovery = 1 #选配项
#当 slave 从库宕机后,假如 relay-log 损坏了,导致一部分中继日志没有处理,则自动放弃所有未执行的 relay-log,并且重新从 master 上获取日志,这样就保证了relay-log 的完整性。默认情况下该功能是关闭的,将 relay_log_recovery 的值设置为 1 时, 可在 slave 从库上开启该功能,建议开启。
systemctl restart mysqld
mysql -u root -p
change master to master_host='192.168.10.3' , master_user='myslave',master_password='147369',master_log_file='master-bin.000005',master_log_pos=154;
#配置同步,注意 master_log_file 和 master_log_pos 的值要与Master查询的一致,这里的是例子,每个人的都不一样
start slave; #启动同步,如有报错执行 reset slave;
show slave status\G #查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes,代表同步正常。
Slave_IO_Running: Yes #负责与主机的io通信
Slave_SQL_Running: Yes #负责自己的slave mysql进程
4.4 验证主从复制效果