文章目录
MySQL 主从复制(Replication)
- Replication 可以实现将数据从一台数据库服务器(master)复制到一台或多台数据库服务器
(slave) - 默认情况下属于异步复制,无需维持长连接
- 通过配置,可以复制所有的库或者几个库,甚至库中的一些表
- 是 MySQL 内建的,本身自带的
Replication 的原理
简单的说就是 master 将数据库的改变写入二进制日志,slave 同步这些二进制日志,并根据这些二进制日志进行数据操作
- DML:SQL 操作语句,update, insert,delete
- Relay log :中继日志
Replication 的作用
- Fail Over 故障切换
- Backup Server 备份服务,无法对 SQL 语句执行产生的故障恢复,有限的备份
- High Performance 高性能,可以多台 slave,实现读写分离
Replication 工作原理
整体上来说,复制有 3 个步骤:
(1) master 将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件 )
(2) slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
(3) slave 重做中继日志中的事件,修改 salve 上的数据。
MySQL 主从复制中:
第一步:master 记录二进制日志。在每个事务更新数据完成之前,master 在二进制日志记录这些改变。MySQL 将事务写入二进制日志,即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后,master 通知存储引擎提交事务。
第二步:slave 将 master 的 binary log 拷贝到它自己的中继日志。首先,slave 开始一个工作线程—I/O线程。I/O 线程在master 上打开一个普通的连接,然后开始 binlog dump process。Binlog dumpprocess 从 master 的二进制日志中读取事件,如果已经执行完 master 产生的所有文件,它会睡眠并等待 master 产生新的事件。I/O 线程将这些事件写入中继日志。
第三步:SQL slave thread(SQL 从线程)处理该过程的最后一步。SQL 线程从中继日志读取事件,并重新执行其中的事件而更新 slave 的数据,使其与 master 中的数据一致。
Replication 常见方案
1.One master and Muti salve 一主多备
一般用来做读写分离的,master 写,其他 slave 读,这种架构最大问题 I/O 压力集中在 Master 上<多台同步影响 IO>
2.M-S-S
使用一台 slave 作为中继,分担 Master 的压力,slave 中继需要开启 bin-log,并配置log-slave-updates
Slave 中继可使用 Black-hole 存储引擎,不会把数据存储到磁盘,只记录二进制日志。
3.M-M 双主互备 (互为主从)
很多人误以为这样可以做到 MySQL 负载均衡,实际没什么好处,每个服务器需要做同样的同步更新,破坏了事物的隔离性和数据的一致性。
4.M-M-M
监控三台机器互相作对方的 master
天生的缺陷:复制延迟,slave 上同步要慢于 master,如果大并发的情况那延迟更严重mysql 在 5.6 已经自身可以实现 fail over 故障切换。
5、One slave Muti master 一从对多主
好处:节省成本,将多个 master 数据自动化整合
缺陷:对库和表数据的修改较多
Amoeba
Amoeba是什么?
Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发,它位于与Client、DBServer(s)之间,对客户端透明。具有 负载均衡、高可用性、SQL过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果 。
通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能,目前Amoeba已在很多 企业的生产线上面使用。
分布式数据库代理的相关概念
Amoeba在分布式数据库领域将致力解决数据切分,应付客户端“集中式”处理分布式数据。这里集中式是一个相对概念,客户端不需要知道某种数据的物理存储地。避免这种逻辑出现在业务端,大大简化了客户端操作分布式数据的复杂程度。
分布式数据库系统的优点
- 降低费用 。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用户在自己的本地录用、查询、维护等操作,实行局部控制,降低通信代价,避免集中式需要更高要求的硬件设备。而且分布式数据库在单台机器上面数据量较少,其响应速度明显提升。
- 提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。
- 易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统,在分布式数据库中增加一个新的节点,不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在集中式系统中扩大系统和系统升级,由于有硬件不兼容和软件改变困难等缺点,升级的代价常常是昂贵和不可行的。
Amoeba不能做什么?
- 目前还不支持事务
- 暂时不支持存储过程(近期会支持)
- 不适合从amoeba导数据的场景或者对大数据量查询的query并不合适(比如一次请求返回10w以上甚至更多数据的场合)
- 暂时不支持分库分表,amoeba目前只做到分数据库实例,每个被切分的节点需要保持库表结构一致
实战案例(主从复制、读写分离、负载均衡)
有三个数据库节点分别命名为Master、Slave1、Slave2如下:
- Master: Master (只写)
- Slaves:Slave1、Slave2 (2个平等的数据库。只读/负载均衡) 案例实现Master、Slaves之间数据库主从复制、读写分离,负载均衡的高可用Mysql架构。
系统环境:
主机 | 操作系统 | IP地址 | 软件包 |
---|---|---|---|
amoeba服务器 | CentOS 7.0 x86_64 | 192.168.180.130 | jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz |
Master服务器 | CentOS 7.0 x86_64 | 192.168.180.131 | mysql-boost-5.7.20.tar.gz |
Slave1服务器 | CentOS 7.0 x86_64 | 192.168.180.132 | mysql-boost-5.7.20.tar.gz |
Slave2服务器 | CentOS 7.0 x86_64 | 192.168.180.133 | mysql-boost-5.7.20.tar.gz |
客户端 | CentOS 7.0 x86_64 | 192.168.180.129 | mysql-boost-5.7.20.tar.gz |
软件包:
jdk和amoeba软件包点我获取,提取码1128
开始部署:
一般情况下,我们的集群为内网环境,无法和外网进行联网同步时间,那么这里我们使Slaves服务器与Master服务器进行时间同步。
一 、Master服务器同步时间
配置节点:
Master服务器 : 192.168.180.131
1.修改ntp.conf配置文件
vim /etc/ntp.conf
#修改NTP配置
#添加到配置文件末尾
server 127.127.180.0
#设置本地是时钟源,注意修改网段
fudge 127.127.180.0 stratum 8
#设置时间层级为8(限制在15内)
2.启动ntpd服务
service ntpd restart
3、关闭防火墙及selinux
systemctl stop firewalld
setenforce 0
二、mysql主从服务器
配置节点:
Master服务器 : 192.168.180.131
1.修改my.cnf
vim /etc/my.cnf
server-id = 1
#修改id号
log-bin=master-bin
#新增,主服务器日志文件
log-slave-updates=true
#新增,从服务器更新二进制日志
2.重启mysql服务
systemctl restart mysqld.service
3.登录mysql
mysql -uroot -p123456
#root是用户 123456是密码,第一次登陆mysql可以用mysqladmin -uroot -password '123456'设置密码
4.为Slaves从服务器同步创建用户
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.180.%' IDENTIFIED BY '123456';
5.以上修改直接生效
FLUSH PRIVILEGES;
6.查看master状态信息
show master status;
Slave1 从服务器配置
配置节点:
Slave1服务器 : 192.168.180.132
1.修改my.cnf
vim /etc/my.cnf
server-id = 11
#修改id号
relay-log=relay-log-bin
#新增,从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index
#新增,定义relay-log的位置和名称
2.重启mysql服务
systemctl restart mysqld.service
3.登录mysql
mysql -u root -p 123456
4.添加向主服务器同步数据命令
change master to master_host='192.168.180.131',master_user='myslave',
master_password='123456',master_log_file='master-bin.000001',master_log_pos=0;
5.开启slave从服务器
start slave;
6、查看slave状态
show slave status\G;
注意:Slave_IO_Running和Slave_SQL_Running状态都为‘Yes’,复制状态正常。
Slave2从服务器配置
配置节点:
Slave1服务器 : 192.168.180.133
1.修改my.cnf
vim /etc/my.cnf
server-id = 12 #修改id号
relay-log=relay-log-bin #新增,从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index #新增,定义relay-log的位置和名称
2.重启mysql服务
systemctl restart mysqld.service
3.登录mysql
mysql -u root -p123456
4、添加向主服务器同步数据命令
change master to master_host='192.168.180.131',master_user='myslave',
master_password='123456',master_log_file='master-bin.000001',master_log_pos=0;
5.开启slave从服务器
start slave;
6.查看slave状态
show slave status\G;
7.验证主从同步
在Master主服务器上创建数据库:
Master服务器 : 192.168.180.131
create database db_test;
分别查看Slave从服务器上数据库:
Slave1服务器 : 192.168.180.132
Slave2服务器 : 192.168.180.133
三、amoeba服务器
配置节点:
Amoeba服务器 : 192.168.180.130
1.关闭防火墙及selinux
systemctl stop firewalld
setenforce 0
2、复制jdk包及安装
cp jdk-6u14-linux-x64.bin /usr/local/
chmod +777 jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin
然后会有提示,然后需要你输入yes
3.修改jdk目录名称
mv jdk1.6.0_14/ /usr/local/jdk1.6
4.添加jdk、jre、amoeba环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
5、刷新环境变量
source /etc/profile
6.创建amoeba目录
mkdir /usr/local/amoeba
7.解压amoeba软件包至/usr/local/amoeba目录下
tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
8.修改amoebab目录权限
chmod -R 755 /usr/local/amoeba/
9.验证amoeba是否安装成功
/usr/local/amoeba/bin/amoeba
#显示amoeba start|stop说明安装成功
10.分别在三台mysql上添加权限提供给amoeba访问
(这三台mysql都要执行同样的操作)
(1) 登录mysql
mysql -uroot -p123456
(2) 为amoeba授权访问
三台mysql都要操作,操作都一样
grant all on *.* to amoeba@'192.168.180.%' identified by '123456';
#三台都要操作,操作都一样
11.回到amoeba服务器,修改其配置文件
配置环境:
Amoeba服务器 : 192.168.180.130
cd /usr/local/amoeba/conf
12.编辑amoeba.xml配置文件
vim amoeba.xml
#---30行--
<property name="user">amoeba</property> #访问amoeba的用户名
#----32行---------
<property name="password">123456</property> #密码
#---117行-去掉注释-
<property name="defaultPool">master</property> #默认为主服务器
<property name="writePool">master</property> #写入为主服务器
<property name="readPool">slaves</property> #读取为slaves池,现有slave1、slave2服务器
13.修改dbServers.xml配置文件
vi dbServers.xml
26 <property name="user">amoeba</property>
27
28 <!--mysql password -->
29 <property name="password">123456</property>
43 </dbServer>
44
45 <dbServer name="master" parent="abstractServer">
46 <factoryConfig>
47 <!-- mysql ip -->
48 <property name="ipAddress">192.168.180.131</property>
49 </factoryConfig>
50 </dbServer>
51
52 <dbServer name="slave1" parent="abstractServer">
53 <factoryConfig>
54 <!-- mysql ip -->
55 <property name="ipAddress">192.168.180.132</property>
56 </factoryConfig>
57 </dbServer>
58
59 <dbServer name="slave2" parent="abstractServer">
60 <factoryConfig>
61 <!-- mysql ip -->
62 <property name="ipAddress">192.168.180.133</property>
63 </factoryConfig>
64 </dbServer>
65
66 <dbServer name="slaves" virtual="true">
67 <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
68 <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
69 <property name="loadbalance">1</property>
70
71 <!-- Separated by commas,such as: server1,server2,server1 -->
72 <property name="poolNames">slave1,slave2</property>
73 </poolConfig>
74 </dbServer>
14.启动amoeba服务
/usr/local/amoeba/bin/amoeba start&
15.查看java服务
netstat -anpt | grep java
#查看8066端口是否开启,默认端口为TCP 8066
四、客户端
环境节点:
客户机:192.168.180.129
1、登录amoeba服务器
mysql -u amoeba -p123456 -h 192.168.180.130 -P8066
2.关闭防火墙及selinux
systemctl stop firewalld
setenforce 0
五、客户端测试访问
一、验证主从复制
1.在Master服务器上创建表
操作环境:
Master服务器 192.168.180.131
mysql -u root -p123456
create database db_test;
use db_test;
create table zang (id int(10),name varchar(10),address varchar(20));
2.Slave1服务器上:
刚才创建的表
3.Slave2服务器上:
刚才创建的表
二、验证读写分离
1.分别在两台Slave1、Slave2从服务器上关闭同步
操作环境:
Slave1服务器 192.168.180.132
Slave2服务器 192.168.180.133
stop slave;
两台都关掉
2.在客户端上插入记录,不会同步到从服务器
操作环境:
客户机 192.168.180.129
use db_test;
insert into zcy values('1','zhang','this_is_master');
3.Slave1从服务器上插入记录
操作环境:
Slave1服务器 192.168.180.132
use db_test;
insert into zang values('2','zheng','this_is_slave1');
4.Slave2从服务器上插入记录
操作环境:
Slave1服务器 192.168.180.133
use db_test;
insert into zang values('3','chen','this_is_slave2');
5.在客户端上测试----第一次会向从服务器Slave1 读数据-第二次会从服务器Slave2读取
#多次执行该sql语句查看
操作环境:
客户机 192.168.180.129
use db_test;
select * from zcy;
第一次会向从服务器Slave1 读数据-第二次会从服务器Slave2读取
三、验证负载均衡
在客户端上反复执行查询语句,已经轮询访问slave1、slave2服务器了