MySQL主从复制与读写分离

最新推荐文章于 2022-09-27 02:04:45 发布
最新推荐文章于 2022-09-27 02:04:45 发布
阅读量156 收藏
点赞数
文章标签： mysql 数据库 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50085977/article/details/123079259
版权

目录

MySQL主从复制与读写分离

一、案例概述

二、MySQL 主从复制原理

1、MySQL 支持的复制类型

2、MySQL主从复制的工作过程

三、MySQL读写分离原理

1、读写分离存在意义

2、常见的 MySQL 读写分离分为两种

四、MySQL主从复制和读写分离实验部署

实验思路

一、搭建 MySQL 主从复制

1、Mysql主从服务器时间同步

2、主服务器的mysql配置

3、从服务器的mysql配置

4、验证主从复制效果

二、搭建 MySQL 读写分离

1、安装 Java 环境

2、配置 Amoeba读写分离，两个 Slave 读负载均衡

3、测试读写分离

MySQL主从复制与读写分离

一、案例概述

在实际的生产环境中，如果对数据库的读和写都在同一个数据库服务器中操作，无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，一般来说 都是通过主从复制（Master-Slave）来同步数据，再通过读写分离来提升数据库并发负载能力的方案来进行部署与实施

二、MySQL 主从复制原理

MySQL 的主从复制和 MySQL 的读写分离两者有着紧密联系，首先要部署主从复制，
只有主从复制完成了，才能在此基础上进行数据的读写分离。

1、MySQL 支持的复制类型

  • 基于语句的复制（STATEMENT）。在主服务器上执行的 SQL 语句，在从服务器上执行同样的语句。MySQL 默认采用基于语句的复制，效率比较高。
  • 基于行的复制（ROW）。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。
  • 混合类型的复制（MIXED）。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

2、MySQL主从复制的工作过程

在这里插入图片描述

 如上图所示
主MySQL服务器做的增删改，都会写入自己的二进制日志（Binary log），然后从MySQL服务器打开自己的I/O线程连接主服务器，进行读取主服务器的二进制日志，备份写入到从服务器的中继日志（Relay log）当中，然后从服务器打开SQL线程，将中继日志中的数据重放到自己的服务器中，复制完成。
 

三、MySQL读写分离原理

读写分离基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

1、读写分离存在意义

  • 因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。
  • 但是数据库的“读”（读10000条数据可能只要5秒钟）。
  • 所以读写分离，解决的是，数据库的写入，影响了查询的效率

2、常见的 MySQL 读写分离分为两种

1、基于程序代码内部实现

在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；缺点是需要开发人员来实现，运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

2、基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序：
MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行SQL 判断。
Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。
Amoeba。由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

由于使用MySQL Proxy需要写大量的Lua脚本，这些Lua脚本不是现成的，而需要自己编写，这对于并不熟悉MySQL Proxy内置变量和MySQL Protocol的人来说是非常困难的。

Amoeba是一个非常容易使用，可移植性非常强的软件，因此它在生产环境中被广泛用于数据库的代理层。

四、MySQL主从复制和读写分离实验部署

实验思路

1、客户端访问代理服务器
2、代理服务器写入到主服务器
3、主服务器将增删改写入自己二进制日志
4、从服务器将主服务器的二进制日志同步至自己中继日志
5、从服务器重放中继日志到数据库中
6、客户端读，则代理服务器直接访问从服务器
7、降低负载，起到负载均衡作用

主机操作系统IP地址所需工具/软件/安装包
MasterCentOS7192.168.184.10ntp 、 mysql-boost-5.7.20.tar.gz
AmoebaCentOS7192.168.184.20jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
Slave1CentOS7192.168.184.30ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
Slave2CentOS7192.168.184.40ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz
客户端CentOS7192.168.184.50——
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

在这里插入图片描述

一、搭建 MySQL 主从复制

1、Mysql主从服务器时间同步

主服务器设置（192.168.184.10）

yum -y install ntp

vim /etc/ntp.conf

末尾添加

server 127.127.184.0							#设置本地是时钟源，注意修改网段
fudge 127.127.184.0 stratum 8					#设置时间层级为8（限制在15内）

service ntpd start

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

 从服务器设置（192.168.184.30）、（192.168.184.40）

yum -y install ntp ntpdate

service ntpd start
/usr/sbin/ntpdate 192.168.184.10			#进行时间同步，指向Master服务器IP

crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.184.10

2、主服务器的mysql配置

vim /etc/my.cnf
server-id = 1
log-bin=master-bin							#添加，主服务器开启二进制日志
log-slave-updates=true						#添加，允许从服务器更新二进制日志

systemctl restart mysqld

mysql -u root -p
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.184.%' IDENTIFIED BY '123123';			#给从服务器授权
FLUSH PRIVILEGES;

show master status;

#File 列显示日志名，Fosition 列显示偏移量

3、从服务器的mysql配置

vim /etc/my.cnf
server-id = 2						#修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin						#添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index		#添加，定义中继日志文件的位置和名称

systemctl restart mysqld

mysql -u root -p
change master to master_host='192.168.184.10' , master_user='myslave',master_password='123123',master_log_file='master-bin.000002',master_log_pos=604;
				#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致，这里的是例子，每个人的都不一样

start slave;						#启动同步，如有报错执行 reset slave;
show slave status\G					#查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程

 

 #一般 Slave_IO_Running: No 的可能性：
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

4、验证主从复制效果

主服务器上进入执行 create database db_test;

在这里插入图片描述

 去从服务器上查看 show databases;

 

二、搭建 MySQL 读写分离

Amoeba（192.168.184.20）

1、安装 Java 环境

因为 Amoeba 基于是 jdk1.5 开发的，所以官方推荐使用 jdk1.5 或 1.6 版本，高版本不建议使用。
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin 
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes，按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

 在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

 ameba安装包

在这里插入图片描述

在这里插入图片描述

2、配置 Amoeba读写分离，两个 Slave 读负载均衡

先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

grant all on *.* to test@'192.168.184.%' identified by '123.com';

 amoeba服务器配置amoeba服务

cd /usr/local/amoeba/conf/

cp amoeba.xml amoeba.xml.bak
vim amoeba.xml									#修改amoeba配置文件

30修改

<property name="user">amoeba</property>

32修改

<property name="password">123123</property>

115修改

<property name="defaultPool">master</property>

117去掉注释–

<property name="writePool">master</property>
<property name="readPool">slaves</property>
cp dbServers.xml dbServers.xml.bak

vim dbServers.xml								#修改数据库配置文件

23注释掉
作用：默认进入test库 以防mysql中没有test库时，会报错

<!-- mysql schema 
<property name="schema">test</property>
-->

26修改

<!-- mysql user -->
<property name="user">test</property>

28-30去掉注释

<property name="password">123.com</property>

45修改，设置主服务器的名Master

<dbServer name="master"  parent="abstractServer">

48修改，设置主服务器的地址

<property name="ipAddress">192.168.184.10</property>

52修改，设置从服务器的名slave1

<dbServer name="slave1"  parent="abstractServer">

55修改，设置从服务器1的地址

<property name="ipAddress">192.168.184.30</property>

58复制上面6行粘贴，设置从服务器2的名slave2和地址

<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.184.40</property>

65修改

<dbServer name="slaves" virtual="true">

71修改

<property name="poolNames">slave1,slave2</property>

/usr/local/amoeba/bin/amoeba start&					#启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java							#查看8066端口是否开启，默认端口为TCP 8066

3、测试读写分离

在客户端服务器上进行测试：
使用yum快速安装MySQL虚拟客户端

yum install -y mysql mysql-server

mysql -u amoeba -p123123 -h 192.168.184.20 -P8066

通过amoeba服务器代理访问mysql ，在通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从服务器

在主服务器上

use db_test;
create table test (id int(10),name varchar(10),address varchar(20));

两台从服务器上

stop slave;											#关闭同步
use db_test;

在slave1上

insert into test values('1','zhangsan','this_is_slave1');

在slave2上

insert into test values('2','lisi','this_is_slave2');

在主服务器上

insert into test values('3','wangwu','this_is_master');

在客户端服务器上

use db_test;
select * from test;		//客户端会分别向slave1和slave2读取数据，显示的只有在两个从服务器上添加的数据，没有在主服务器上添加的数据

insert into test values('4','qianqi','this_is_client');		//只有主服务器上有此数据

再在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据
start slave;

熬夜秃头小王子
关注
MySQL数据库主从复制与读写分离（图文详解！）
qq_35456705的博客
03-02 1406
MySQL数据库主从复制与读写分离 文章目录MySQL数据库主从复制与读写分离前言一、主从复制的原理及过程1.MySQL 支持的复制类型2.主从复制的过程二、MySQL读写分离1.读写分离的概念2.读写分离存在意义3.什么时候要读写分离4.MySQL 读写分离原理5.常见的 MySQL 读写分离三、MySQL主从复制和读写分离实验部署 前言 在实际的生产环境中，如果对mysql数据库的读和写都在一台数据库服务器中操作，无论是在安全性、高可用性，还是高并发等各个方面都是不能满足实际需求的。因此，一般通过主从复
Mysql主从复制与读写分离
weixin_48861962的博客
11-01 968
一、MySQL主从复制与读写分离 1.1 主从分离和读写分离的相关概述 1）主从复制与读写分离、 在实质际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实院需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync，但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的数据、语句做备份。 2）为什么要读写分离 因为数据库的"写"（
企业中最常用的——MySQL主从复制与读写分离
panrenjun的博客
02-28 1306
文章目录MySQL主从复制与读写分离一、案例概述二、MySQL主从复制与读写分离理论1、什么是读写分离2、为什么要读写分离3、什么时候要读写分离4、主从复制与读写分离5、mysql 支持的复制类型6、主从复制的工作过程7、MySQL读写分离原理8、常见的 MySQL 读写分离分为两种三、MySQL主从复制与读写分离实验部署（一）、搭建MySQL主从复制1、MySQL主从服务器时间同步2、主服务器的MySQL配置3、从服务器的MySQL配置 MySQL主从复制与读写分离 一、案例概述 在实际的生产环境中，如果
MySQL 主从复制与读写分离
m0_59430185的博客
11-01 261
文章目录引言一、基本概念1.读写分离(1) 什么是读写分离(2) 为什么要读写分离(3) 什么时候要读写分离(4) 主从复制与读写分离2. MySQL 主从复制(1) mysql 支持的复制类型(2) 主从复制的工作过程(3) mysql 主从复制高延迟的原因(4) mysql 主从复制高延迟的解决办法3. 常见的 MySQL 读写分离方式(1) 基于程序代码内部实现(2) 基于中间代理层实现二、MySQL 主从复制架构搭建1. 服务器配置2. 实验前准备3. mysql 主从服务器时间同步4. 主服务器的
MySQL主从复制和读写分离
kid00013的博客
06-05 210
目录1.MySQL主从复制原理2.主从复制实现过程2.1主服务器设置 192.168.112.99 2.2 从服务器设置 192.168.112.100 192.168.112.1012.3 主从测试3.MySQL读写分离原理4.读写分离实现过程4.1 安装jdk 4.2 安装amoeba4.3 测试读写分离主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库，主数据库一般是准实时的业务数据库。一台服务器充当主服务器，而另外一台服务器充当从服务器。此时主服务器会将更新信息写入到一个特
MHA高可用配置和故障切换
qq_57377057的博客
09-27 1720
MySQL服务器中，单台服务器无法承受服务量就配置多台MySQL服务器，多台MySQL服务器或者MySQL服务器五冗余的情况下，配置主从复制。没有上去看服务器的读和写的压力不均衡可使用MySQL的读写分离，MySQL的读写分离中Master存在单点故障，就得用到MHA。
MySQL主从复制与读写分离配置详解
最新发布
10-31
内容概要：本文详细介绍了如何在两台MySQL服务器上配置主从复制和读写分离，以实现数据同步更新和降低数据库压力。具体步骤包括安装MySQL、配置主服务器和从服务器、导入数据库以及配置MySQL配置文件。通过具体的...
MySQL主从复制与读写分离.docx
04-13
MySQL 主从复制与读写分离 MySQL 主从复制是指将一个 MySQL 服务器的数据实时同步到另一个 MySQL 服务器中，以实现数据的高可用性和读写分离。下面是 MySQL 主从复制与读写分离的详细知识点： MySQL 主从复制 ...
Mysql主从复制和读写分离
m0_55390780的博客
08-13 130
1.什么是主从复制 MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。 2.主从数据库的好处和缺点 优点 容灾：做数据的热备，作为后备数据库，主数据库服务器故障后，可切换到从数据库继续工作，避免数据丢失。 扩展：架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足...
mysql的主从复制和读写分离
左直拳的马桶_日用桶
04-11 379
从本质上来说，目前一些主流应用得数据库都是单机系统，像oracle、sql server等。但mysql作为一种发端自开源的数据库，很有自己的想法，很容易就可以支持多个数据库实例一同工作，一主多从，实行主从复制，读写分离，隐隐然有分布式数据库之风。 当然，这应该不是分布式数据库。主从模式，应该算集群模式吧。分布式是指一份数据拆成多个小部分，分别存储在不同的机器上；而集群则是一份数据同时存在多台机器...
MySQL的主从复制与读写分离
weixin_50945964的博客
12-01 153
简介 在实际的生产环境中，如果对mysql数据库读和写都在一台数据库服务器中操作，无论是在安全性，高可用性还是高并发等各方面都是不能满足实际需求的。今天我们将首先讲解MySQL主从复制和Mysql读写分离的原理，然后介绍如何配置MySQL主从复制和MySQL读写分离。 结构图 一. mysql主从复制读写分离 1.MySQL主从复制的作用和原理 1）Mysql主从复制的作用 保证mysql数据的可靠性和稳定性 避免单点故障 1）MySQL主从复制特点 可靠性强 稳定性强 避免数据丢失 3）MySQL主从复
mysql主从复制和读写分离
free6666的博客
08-14 580
一个完整的mysql读写分离环境包括以下几个部分： ·        应用程序client ·        databaseproxy ·        database集群 在本次实战中，应用程序client基于c3p0连接后端的database proxy。database proxy负责管理client实际访问database的路由策略，采用开源框架amoeba。databa
Mysql的主从复制与读写分离
z17735905638的博客
05-31 154
Mysql主从复制读写分离 1、Mysql的主从复制 1）Mysql主从复制的作用 避免单节点故障 保证数据库的可靠性 2）Mysql可靠性解决方案 主从复制 主主复制 mysql MHA mysql MMM mysql 双机热备 2、Mysql读写分离 1）Mydql读写分离的作用 加快用户访问速度 增加访问并发量 2）读写分离方式 mysql proxy：需要二次开发，使用复杂 amoeba：java语言编写，配置简单实用方便 3、mysql主从复制的原理和复制的类型 1）mysql主从复制的原理 开启
MySql主从复制与读写分离
m0_50749129的博客
05-30 97
配置NTP服务器 安装NTP [root@centos01 ~]# yum -y install ntp 修改NTP配置文件 [root@centos01 ~]# vim /etc/ntp.conf 启动服务设置开机自动启动 从服务器同步时间 修改从mysql主配置文件 修改从服务器主配置文件 [root@centos02 ~]# vim /etc/my.cnf 重新启动服务 [root@centos02 ~]# systemctl restart mysqld 配置主从复制 创建主从复制
mysql主从复制与读写分离
qinwunan的博客
08-08 7062
主从复制与读写分离如何一步步的
MySQL主从复制与读写分离实战配置
MySQL主从复制与读写分离是一种常见的数据库集群架构，用于提高数据库性能和可用性。在本文中，作者分享了在Linux环境下实现这一功能的具体步骤。首先，环境准备阶段非常重要，包括设置MySQL主服务器（IP: 192.168....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值