MySQL主从复制与读写分离

主从复制与读写分离

原因

保证主库和从库数据一直，防止单点故障，数据丢失
在企业应用中，成熟的业务通常数据量都比较大
单台MySQL在安全性、高可用性和高并发方面都无法满足实际的需求
配置多台主从数据库服务器以实现读写分离

主从复制

类型

基于语句的复制
基于行的复制
混合类型的复制（语句、行、日志文件）

复制的基本过程

Master将用户对数据库更新的操作以二进制格式保存到Binary Log日志文件中。

Slave上面的IO进程连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容。

Master接收来自Slave的IO进程的请求后，通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息，返回给Slave的IO进程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息已经到Master端的bin-log文件的名称以及bin-log的位置。

Slave的IO进程接收到信息后，将接收到的日志内容依次添加到Slave端的relay-log文件的最末端，并将读取到的Master端的bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清除的告诉Master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我”。

SlaveSql进程检测到relay-log中新增了内容后，会马上解析relay-log的内容称为在Master端真实执行时候的那些可执行的内容，并在自身执行。

读写分离

原理

只在主服务器上写，只在从服务器上读
主数据库处理事务性查询，从数据库处理select查询
数据库复制用于将事务性查询的变更同步到集群中的从数据库

配置MySQL读写分离

环境

三台装有MySQL的服务器：
master：192.168.1.20
slave01：192.168.1.30
slave02：192.168.1.40
一台Amoeba代理服务器：
Amoeba：192.168.1.15
一台客户机
client：192.168.1.50

步骤

关闭所有的防火墙！！！
时间同步 (所有设备时间保持一致)，详情见NTP时间同步。

主从复制

主库

vi /etc/my.cnf           #数据库配置文件
server-id=1              #mysql服务器id，每个服务器不能相同
log_bin=master-bin       #主服务器日志文件
log_slave_updates=true   #允许中继日志读取主服务器的二进制日志

systemctl restart mysqld
mysql -uroot -p123456    #登陆主服务器，给从服务器授权
grant replication slave on *.* to 'myslave'@'192.168.1.%' identified by '123456'; 
#为所有从服务器授权所有数据库
flush privileges;        #更新权限
show master status;      #查看主的状态，记下position的值(同步的位置)

注：
这一步后不要再在数据库中进行任何操作，否则读取数据的位置会变。

从库

vi /etc/my.cnf 
server-id = 2                           #三台数据库id不同
relay_log=relay-log-bin                 #从主服务器上同步日志文件记录到本地中继日志
relay_log_index=slave-relay-bin.index   #定义中继日志的索引

systemctl restart mysqld
mysql -uroot -p123456
change master to master_host='192.168.1.20',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=602; #添加要同步数据的master服务器的账号、二进制日志文件、开始同步的位置（position）
start slave;           #启动从服务器
show slave status \G   #查看从服务器状态

在主服务器上新建数据库

create database sy;
show databases;

在从服务器上查询

主从复制完成。

读写分离

amoeba服务器
安装jdk环境（需要java环境）

tar zxvf jdk-8u91-linux-x64.tar.gz
mv jdk1.8.0_91/ /usr/local/java
vi /etc/profile.d/java.sh          #环境文件最后添加
export JAVA_HOME=/usr/local/java   #设置java根目录
export PATH=$PATH:$JAVA_HOME/bin   #在PATH环境变量中添加JAVA根目录下的bin子目录

source /etc/profile.d/java.sh 
echo $PATH
java -version 

部署amoeba

unzip amoeba-mysql-3.0.5-RC-distribution.zip
mv amoeba-mysql-3.0.5-RC/ /usr/local/amoeba   #移动至用户目录，便于直接调取命令
chmod -R 755 /usr/local/amoeba/               #赋予权限

vi /usr/local/amoeba/jvm.properties  
JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss196k -XX:PermSize=16m -XX:MaxPermSize=96m"      #32行注释掉
JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k"    #33行添加

amoeba配置文件修改用户名及密码，用于客户端连接

vi /usr/local/amoeba/conf/amoeba.xml 
<property name="user">amoeba</property>      #28行修改root为amoeba
<property name="password">123456</property>  #30行添加数据库登陆密码

                 <property name="defaultPool">master</property>  #83行修改multiPool为master
 
                 <!--  #85行删除
                 <property name="writePool">master</property>    #86行主库写权限
                 <property name="readPool">slaves</property>     #87行从库读权限
                 -->   #88行删除

修改dbServers.xml 文件

vi /usr/local/amoeba/conf/dbServers.xml
                         <!-- mysql schema -->   #22注释行
                         <property name="schema">mysql</property>   #23MySQL5.7版本没有默认的test库，所以修改为mysql（5.7默认的数据库）

                         <property name="user">test</property>  #26

                         <property name="password">123456</property>   #28

#配置三台MySQL服务器主机名和地址
          <dbServer name="master"  parent="abstractServer">   #43修改server1为master
                  <factoryConfig>
                          <!-- mysql ip -->
                          <property name="ipAddress">192.168.1.20</property>   #46修改为主库master的IP地址
                  </factoryConfig>
          </dbServer>
  
          <dbServer name="slave1"  parent="abstractServer">   #50修改为slave1
                  <factoryConfig>
                          <!-- mysql ip -->
                          <property name="ipAddress">192.168.1.30</property>   #53修改为从库1的IP
                  </factoryConfig>

#添加slave2模块
           <dbServer name="slave2"  parent="abstractServer"> 
                   <factoryConfig>
                           <!-- mysql ip -->
                           <property name="ipAddress">192.168.1.40</property>
                    </factoryConfig>

           <dbServer name="slaves" virtual="true">   #57
                   <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                          <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                          <property name="loadbalance">1</property>

                          <!-- Separated by commas,such as: server1,server2,server1 -->
                          <property name="poolNames">slave1,slave2</property>   #63修改为slave1，slave2
                   </poolConfig>
           </dbServer>

/usr/local/amoeba/bin/launcher #启动anoeba
netstat -anpt | grep 8066

在三台MySQL上给amoeba授权

grant all on *.* to 'test'@'192.168.1.%' identified by '123456';

验证

客户机

yum -y install mariadb* 
mysql -uamoeba -p123456 -h 192.168.1.15 -P 8066   #amoeba地址

主库

从库1

从库2

从库1关闭服务

主库添加数据

从库1查看数据为空

从库2正常复制数据

从库1开启服务后，自动同步数据

关闭两台从库服务

stop slave;

向从库1中写入数据

向从库2中写入数据

客户端查看数据库

发现访问的数据为轮询机制。

在客户端上写入数据

只有主库会记录

开启同步

在开启同步后，主服务器上的数据会同步到各从服务器上中，但从服务器上的自己增加的数据不会同步，只会本地保存。

客户端访问依然保持轮询