MySQL主从复制与读写分离

目录

一、MySQL主从复制的理论

1、mysql支持的复制类型

2、主从复制的工作过程（主写从复制）

​编辑

 配置主从复制

进行服务器时间同步

 配置主服务器

配置从服务器1 

 配置从服务器2

验证

主从复制的优点

---

一、MySQL主从复制的理论

1、mysql支持的复制类型

STATEMENT∶基于语句的复制。在服务器上执行sql语句，在从服务器上执行同样的语句，mysql默认采用基于语句的复制，执行效率高。

ROW∶ 基于行的复制。把改变的内容复制过去， 而不是把命令在从服务器上执行一遍。

MIXED∶混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

2、主从复制的工作过程（主写从复制）

主服务器在更新数据前，会写入二进制日志

从服务器开启I/O线程，Master节点为每个I/O线程启动一个dump线程用于发送二进制事件到从服务器的中继日志中

从服务器的sql线程开启，读取中继日志，并且进行重放，从而实现与主服务器的数据一致

1. 首先client端（tomcat）将数据写入到master节点的数据库中，master节点会通知存储引擎提交事务，同时会将数据以（基于行、基于sql、基于混合）的方式保存在二进制日志中
2. SLAVE节点会开启I/O线程，用于监听master的二进制日志的更新，一旦发生更新内容，则向master的dump线程发出同步请求
3. master的dump线程在接收到SLAVE的I/O请求后，会读取二进制文件中更新的数据，并发送给SLAVE的I/O线程
4. SLAVE的I/O线程接收到数据后，会保存在SLAVE节点的中继日志中
5. 同时，SLAVE节点钟的SQL线程，会读取中继日志钟的数据，更新在本地的mysql数据库中
6. 最终，完成slave——>复制master数据，达到主从同步的效果

核心重点

• 两个日志：二进制和中继日志
• 三个线程：master的dump和alave的I/O、SQL

主要原理： master将数据保存在二进制文件中，I/O向dump发出同步请求，dump把数据发送给I/O线程，I/O写入本地的中继日志，SQL线程读取本地的中继日志数据，同步到自己的数据库中，完成同步。

 配置主从复制

主服务器：192.168.23.40
从服务器1：192.168.23.20
从服务器2：192.168.23.30

进行服务器时间同步

#关闭防火墙
systemctl stop firewalld
setenforce 0

ntpdate ntp1.aliyun.com

 配置主服务器

vim /etc/my.cnf

log-bin=master-bin        #开启二进制日志
binlog_format=MIXED       #二进制日志格式
log-slave-updates=true    #开启从服务器同步

systemctl restart mysqld.service

给从服务器授权
grant replication slave on *.* to 'myslave'@'192.168.23.%' identified by '123456';
#刷新
flush privileges;
#查看主服务器二进制文件
show master status;

配置从服务器1 

vim /etc/my.cnf

server-id = 2           ##slave1和slave2的id不能相同
log-bin=master-bin
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index

systemctl restart mysqld.service

change master to master_host='192.168.23.40',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=451;

flush privileges;    #刷新
start slave;         #开启
show slave status\G  #查看

 

 配置从服务器2

vim /etc/my.cnf

server-id = 3           ##同一集群的slave ID不能相同
log-bin=master-bin
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index

systemctl restart mysqld.service

change master to master_host='192.168.23.40',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=451;

flush privileges;    #刷新
start slave;         #开启
show slave status\G  #查看

 

 

验证

在主服务器中写入一些数据

 在从服务器1上查看

在从服务器2上查看 

主从复制的优点

数据备份（Data Backup）：只是简单的对数据库进行备份，降低数据丢失的风险。
线下统计：用于报表等对数据时效性要求不高的场合。
负载均衡（Load Balance）、读写分离：主要用于在MySQL集群，解决单点故障或做故障切换；以降低单台服务器的负载和风险，如实现读写分离，可以使得服务器访问负荷比较均衡。
数据分发(Data DistributIOn)、灾备：主要用于多数据中心或异地备份，实现数据分发与同步。
高可用和数据容错(High Availability and Failover)：MySQL自带的健康监控和检测，根据配置的时间间隔，可以检测主库是否正常工作，一旦发现主库宕机或无法正常工作，就会选择到最好的一个备库上。
读写分离
读写分离就是只在主服务器上写，只在从服务器上读。基本的原理是让主数据库处理事务性操作，而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。目前较为常见的 MySQL 读写分离分为以下两种：

1、基于程序代码内部实现
在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；缺点是需要开发人员来实现，运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

2、基于中间代理层实现
代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

MySQL-Proxy：MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行SQL 判断。
Atlas：是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。
Amoeba：由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
由于使用MySQL Proxy 需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。
Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。
 

MySQL主从搭建
amoeba服务器软件安装
amoeba（192.168.32.19）

1、安装Java环境
因为amoeba是基于jdk1.5开发的，所以官方推荐使用jdk1.5或1.6版本，高版本不建议使用
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

 #因为此jdk 是bin文件（二进制可执行文件）所以直接执行即可
cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin # 输入yes，按enter

 

#添加环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

#加载
source /etc/profile
#查看版本
java -version

 

安装Amoeba软件
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
如显示amoeba start|stop 说明安装成功

 

配置 Amoeba读写分离，两个 Slave 读负载均衡 

#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问
grant all on *.* to 'test'@'192.168.32.%' identified by '123456';

再回到amoeba服务器配置amoeba服务：

cd /usr/local/amoeba/conf/

cp amoeba.xml amoeba.xml.bak
vim amoeba.xml

 

#修改主配置文件
#以下配置的是第三个账户 (客户端找amoeba的用户身份）
#30行修改账户名(这里是client访问amoeba服务器时使用的账号)
<property name="user">amoeba</property>
#32行修改账户密码(这里是数据库访问amoeba服务器时使用账号时用的密码)
<property name="password">123456</property>
#115行修改默认池
<propertyname="defaultPoo1">master</propertv>
#117行取消注释
//取消下面的注释符号-->，改到这里
#118-119修改"读池"和"写池"
118 <propertyname="writePool">master</property> 
119 <propertyname="readPool">slaves</property> 

#修改数据库配置文件

cp dbServers.xml dbServers.xml.bak
vim dbServers.xml
#23行注释
mysql schema：Mysql所有数据库信息（show databases）
<property name="schema">mysql</property>
#26行，amoeba访问三台mysql数据库的账户和密码(账户为test)
<property name="user">test</property>
#29行，修改访问数据库的密码
<property name="password">123456</property>
#45行，修改数据库主服务器名/地址
<dbServer name="master"	parent="abstractServer">	
#48行，修改master服务器ip
<property name="ipAddress">192.168.32.11</property>
#52行修改从服务器名
<dbServer name="slave1"  parent="abstractServer">	
#55行修改从服务器地址
<property name="ipAddress">192.168.32.12</property>

#紧接复制52-57行，粘贴，添加第二台服务器名
<dbServer name="slave2"	parent="abstractServer">	
#修改第二台服务器IP
<property name="ipAddress">192.168.32.13</property>
#66行，修改多个服务器池(multiPoo1)的名称(修改为slaves)<dbServer name="slaves" virtual-"true">
#72行，添加两个从服务器的服务器名(slave1 slave2)<property name="poolNames">slave1,slave2</property>

  

第一个配置文件
1、amoeba.xml
-》定义的是全局的配置
① 客户端的访问用户名与密码
② 后端服务器池的名字（read pool（slaves） 和write pool（master） ）
2、dbServers.xml
-》定义amoeba 访问数据库的相关配置
① amoeba 访问数据库使用什么用户名 test（和数据库之前grant的用户对应）
② amoeba 访问数据库使用什么密码 123.com （和数据库之前grant的密码对应）
③ read pool 和write pool 配置，分别为：
write pool：master角色，ip为192.168.32.11
read pool：slave1角色，ip为192.168.32.12 slave2角色，ip为192.168.32.13
④ 定义了读池的load balance 负载均衡的策略——》“1” RR轮询模式
名字：slaves ——》对应 slave1，slave2

/usr/local/amoeba/bin/amoeba start &

#另开终端，查看是否启动
netstat-natp | grep java
netstat-natp | grep 8066 

测试
下载 mariadb 客户端
yum -y install mariadb

systemctl stop firewalld
setenforce 0

#远程登录 amoeba 服务器
mysql -u amoeba -p123456 -h 192.168.32.19 -P8066