Mysql主从复制与读写分离

最新推荐文章于 2024-03-28 19:43:24 发布
最新推荐文章于 2024-03-28 19:43:24 发布
阅读量110 收藏
点赞数
分类专栏： mysql linux 文章标签： 数据库 linux mysql java 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kele_baba/article/details/118378725
版权
linux 同时被 2 个专栏收录
62 篇文章 2 订阅
订阅专栏
mysql
11 篇文章 0 订阅
订阅专栏

Mysql主从复制与读写分离

1、什么是读写分离?

读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSBRT、UPDATE、DBLBTE)，而从数据库处理SBL.CT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

2、为什么要读写分离呢?

因为数据库的"写”(写10000条数据可能要3分钟）操作是比较耗时的。但是数据库的"读”(读10000条数据可能只要5秒钟）。
所以读写分离，解决的是，数据库的写入，影响了查询的效率。

3、什么时候要读写分离?

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力,提高性能。

4、主从复制与读写分离

在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync，但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的数据、语句做备份。

5、mysq支持的复制类型

(1)STATENENT:基于语句的复制。在服务器上执行sql语句，在从服务器上执行同样的语句，mysgql默认采用基于语句的复制，执行效率高。
(2)ROW:基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。
(3）MIXED:混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

6、主从复制的工作过程

在这里插入图片描述

(1)在每个事务更新数据完成之前，Master 在二进制日志(Binary log)记录这些改变。写入二进制日志完成后，Master通知存储引擎提交事务。

(2)slave 将 Master的复制到其中继日志（Relay log)。首先slave 开始一个工作线程（I/0)，I/O线程在Master上打开一个普通的连接，然后开始 Bin-log dump process。Bin-log dump process 从 Master的二进制日志中读取事件，如果已经跟上 Master，它会睡眠并等待Master产生新的事件，I/o线程将这些事件写入中继日志。

(3)SQI slave thread (SQL从线程）处理该过程的最后一步，SQL线程从中继日志读取事件，并重放其中的事件而更新slave数据，使其与Master 中的数据一致，只要该线程与I/o线程保持一致，中继日志通常会位于0S缓存中，所以中继日志的开销很小。

复制过程有一个很重要的限制，即复制在slave 上是串行化的，也就是说Master 上的并行更新操作不能在Slave上并行操作。

MySQL主从复制延迟

1、master服务器高并发,形成大量事务
2、网络延迟
3、主从硬件设备导致
cpu主频、内存io、硬盘io
4、本来就不是同步复制、而是异步复制
从库优化Mysql参数。比如增大innodb buffer pool size，让更多操作在Mysql内存中完成，减少磁盘操作。
从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机，使用物理主机，这样提升了i/o方面性。从库使用sSD磁盘
网络优化,避免跨机房实现同步

7、MySQL读写分离原理

读写分离就是只在主服务器上写，只在从服务器上读。基本的原理是让主数据库处理事务性查询，而从数据库处理select查询。数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库。

8、目前较为常见的MySQL读写分离分为以下两种:

1) 基于程序代码内部实现

在代码中根据 select、insert进行路由分类，这类方法也是目前生产环境应用最广泛的。
优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现，运维人员无从下手。

但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

2) 基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

(1)MySQI-Proxy。MySQL-Proxy为 MysQL开源项目，通过其自带的 lua脚本进行sQ 判断。

(2) Atlas。是由奇虎360的web平台部基础架构团队开发维护的一个基于wySQL协议的数据中间层项目。它是在mysql-proxy
0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。

(3）
Amoeba。由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支"事务和存储过程。

由于使用MySQI Proxy需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉sySQgI Proxy内置变量和MySQL Protocol的人来说是非常困难的。

Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层

一. 搭建 Mysql主从复制

主机操作系统IP地址所需工具/软件/安装包
MasterCentOS7192.168.118.12ntp 、 mysql-boost-5.7.20.tar.gz
AmoebaCentOS7192.168.118.16jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
Slave1CentOS7192.168.118.17ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
Slave2CentOS7192.168.118.18ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz
客户端CentOS7192.168.118.15----------
所有服务器上面 全部关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

1、Mysql主从服务器时间同步

主服务器设置（192.168.118.12）

yum -y install ntp

vim /etc/ntp.conf

末尾添加

server 127.127.118.0							#设置本地是时钟源，注意修改网段
fudge 127.127.118.0 stratum 8					#设置时间层级为8（限制在15内）

service ntpd start

在这里插入图片描述

从服务器设置（192.168.118.17）、（192.168.118.18）

yum -y install ntp ntpdate

service ntpd start
/usr/sbin/ntpdate 192.168.118.12			#进行时间同步，指向Master服务器IP

crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.118.12

在这里插入图片描述

2、主服务器的mysql配置

vim /etc/my.cnf
server-id = 1
binlog_format = MIXED
log-bin=master-bin							#添加，主服务器开启二进制日志
log-slave-updates=true						#添加，允许从服务器更新二进制日志

systemctl restart mysqld

mysql -u root -p
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.118.%' IDENTIFIED BY '123123';			#给从服务器授权
FLUSH PRIVILEGES;

show master status;

#File 列显示日志名，Fosition 列显示偏移量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3、从服务器的mysql配置

vim /etc/my.cnf
server-id = 2						#修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin						#添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index		#添加，定义中继日志文件的位置和名称

systemctl restart mysqld

mysql -u root -p
change master to master_host='192.168.118.12' , master_user='myslave',master_password='123123',master_log_file='master-bin.000001',master_log_pos=604;
				#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致，这里的是例子，每个人的都不一样

start slave;						#启动同步，如有报错执行 reset slave;
show slave status\G					#查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
#一般 Slave_IO_Running: No 的可能性：
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

4、验证主从复制效果

主服务器上进入执行 create database db_test;

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

二. 搭建 Mysql 读写分离

Amoeba（192.168.118.16）

1、安装 Java 环境

因为 Amoeba 基于是 jdk1.5 开发的，所以官方推荐使用 jdk1.5 或 1.6 版本，高版本不建议使用。
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin 
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes，按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

2、配置 Amoeba读写分离，两个 Slave 读负载均衡

先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

grant all on *.* to test@'192.168.118.%' identified by '123.com';

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
amoeba服务器配置amoeba服务

cd /usr/local/amoeba/conf/

cp amoeba.xml amoeba.xml.bak
vim amoeba.xml									#修改amoeba配置文件

<property name="user">amoeba</property>  30修改

<property name="password">123123</property>   32修改

<property name="defaultPool">master</property> 115修改

<property name="writePool">master</property>
<property name="readPool">slaves</property>    117去掉注释–


cp dbServers.xml dbServers.xml.bak

vim dbServers.xml								#修改数据库配置文件

<!-- mysql schema 
<property name="schema">test</property>   23注释掉
作用：默认进入test库 以防mysql中没有test库时，会报错

<!-- mysql user -->
<property name="user">test</property>   26修改

<property name="password">123.com</property>   28-30去掉注释

<dbServer name="master"  parent="abstractServer">  45修改，设置主服务器的名Master

<property name="ipAddress">192.168.118.12</property>   48修改，设置主服务器的地址

<dbServer name="slave1"  parent="abstractServer">  52修改，设置从服务器的名slave1

<property name="ipAddress">192.168.118.16</property>   55修改，设置从服务器1的地址

<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.118.17</property>  58复制上面6行粘贴，设置从服务器2的名slave2和地址

<dbServer name="slaves" virtual="true">   65修改

<property name="poolNames">slave1,slave2</property>   71修改

/usr/local/amoeba/bin/amoeba start&				 	#启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java							#查看8066端口是否开启，默认端口为TCP 8066
-->

3、测试读写分离

在客户端服务器上进行测试：

使用yum快速安装MySQL虚拟客户端

yum install -y mysql mysql-server
mysql -u amoeba -p123123 -h 192.168.118.16 -P8066

通过amoeba服务器代理访问mysql ，在通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从服务器

在主服务器上

use db_test;
create table test (id int(10),name varchar(10),address varchar(20));

两台从服务器上

stop slave;											#关闭同步
use db_test;

在slave1上

insert into test values('1','zhangsan','this_is_slave1');

在slave2上

insert into test values('2','lisi','this_is_slave2');

在主服务器上

insert into test values('3','wangwu','this_is_master');

use db_test;
select * from test;		//客户端会分别向slave1和slave2读取数据，显示的只有在两个从服务器上添加的数据，没有在主服务器上添加的数据

insert into test values('4','qianqi','this_is_client');		//只有主服务器上有此数据

再在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据
start slave;

在这里插入图片描述

在这里插入图片描述

kele_baba
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL主从复制与读写分离
07-30
MySQL主从复制与读写分离是数据库架构中的重要策略，旨在提高系统的可用性、扩展性和数据安全性。在大型系统中，随着数据量的增长和访问压力的增加，单一数据库服务器往往无法满足性能需求。主从复制和读写分离是...
mysql主从复制与读写分离
gcc001224的博客
06-28 566
在实际的生产环境中，如果对MySQL数据库的读和写都在一台数据库服务中操作，无论在安全性、高可用性，还是高并发性等各个方面都是完全不能满足实际需求的，一般来说都是通过主从复制（Master-Slave)的方式来同步数据，再通过读写分离来提升数据库的并发负载能力这样的方案进行部署与实施 两日志、三线程 主库将更新写入Binlog日志文件后，不需要等待数据更新是否已经复制到从库中，就可以继续处理更多的请求。Master将事件写入binlog，但并不知道Slave是否或何时已经接收且已处理。在异步复制的机制的情况
MySQL 主从复制与读写分离
octoben的博客
06-16 1561
1.1 什么是读写分离? 读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) ，而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库,,,...
MySQL主从复制和读写分离
最新发布
2301_81272194的博客
03-28 1864
关于MySQL主从复制和读写分离相关内容
深入浅出MySQL主从复制与读写分离原理及其实践
hy199707的博客
03-28 858
在大型互联网应用中，数据库作为核心组件，其稳定性和性能直接影响着整个系统的健壮性。MySQL作为广泛应用的关系型数据库管理系统，提供了强大的主从复制与读写分离功能，帮助企业搭建高性能、高可用的数据库架构。本文将详细介绍MySQL主从复制与读写分离的原理，并探讨其在实际应用中的实践。
MySQL主从复制与读写分离原理及用法详解
09-08
MySQL主从复制与读写分离是数据库高可用性和负载均衡的重要技术。主从复制允许数据从一个服务器（主服务器）自动同步到其他服务器（从服务器），而读写分离则是将读操作分散到从服务器，以减轻主服务器的压力，提高...
MySQL主从复制与读写分离.docx
04-13
MySQL 主从复制与读写分离 MySQL 主从复制是指将一个 MySQL 服务器的数据实时同步到另一个 MySQL 服务器中，以实现数据的高可用性和读写分离。下面是 MySQL 主从复制与读写分离的详细知识点： MySQL 主从复制 ...
CentOS服务器平台搭建mysql主从复制与读写分离的方法
09-09
主要介绍了CentOS服务器平台搭建mysql主从复制与读写分离的方法,结合实例形式较为详细的分析了CentOS平台搭建mysql主从复制与读写分离的步骤、设置方法、相关操作技巧与注意事项,需要的朋友可以参考下
Docker搭建本地私有仓库
kele_baba
08-06 8335
Docker搭建本地私有仓库一. Docker搭建本地私有仓库步骤1.首先下载 registry 镜像2.在 daemon.json 文件中添加私有镜像仓库的地址并重启。（下面那个是阿里的加速源）3.运行 registry 容器4.为镜像打标签5.上传到私有仓库6.列出私有仓库的所有镜像7.先删除原有的 centos 镜像，在从本地仓库下载进行测试 一. Docker搭建本地私有仓库步骤 1.首先下载 registry 镜像 docker pull registry 2.在 daemon.json 文件
Linux中FTP文件传输
kele_baba
04-29 2709
Linux中FTP文件传输一. FTP服务二. FTP实验1.yum 安装vsfpd2. 设置匿名用户访问的FTP服务（最大权限）#修改配置文件3. 匿名访问测试 一. FTP服务 FTP服务是用来传输文件的协议 FTP服务器默认使用TCP协议的20、21号端口与客户端进行通信 20端口用于建立数据连接，并传输文件数据 21端口用于建立控制连接，并传输FTP控制命令 FTP数据连接分为主动模式和被动模式 FTP数据连接分为主动模式和被动模式 主动模式：服务器主动发起数据连接 被动模式：服务器被动等待数
消息队列之Kafka系统架构———Zookeeper+Kafka集群部署
kele_baba
07-22 1533
Kafka系统架构———Zookeeper+Kafka集群部署一. Kafka 概述1. 什么是消息队列2. 为什么需要消息队列（MQ）3. 使用消息队列的好处4. 消息队列的两种模式二. Kafka 定义三. Kafka 简介四. Kafka 的特性五. Kafka 系统架构1. Broker2. Topic3. Partition==3.1 Partation 数据路由规则==3.2 分区的原因4. Leader5. Follower6. Replica7. Producer8. Consumer9.
Linux中DNS域名解析
kele_baba
04-27 1513
DNS域名一. DNS域名二、DNS的域名结构三、DNS服务器类型四、DNS域名解析服务器 一. DNS域名 DNS是"域名系统”的英文缩写。它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。 DNS服务使用TCP和UDP的53端口，TCP的53端口用于连接DNS服务器，UDP的53端口用于解析DNS。 每一级域名长度的限制是63个字符，域名总长度则不能超过253个字符。 二、DNS的域名结构 DNS系统的结构为分布式数据结构 1、根域：位于树状结构最顶层，用"."表示 2、
Linux中SSH远程管理及密钥验证
kele_baba
04-29 1499
@TOCOpenSSH 服务器 SSH 协议 是一种安全通道协议 对通信数据进行了加密处理，用于远程管理
docker容器中---------------yum 安装出现的报错错误操作记录
kele_baba
07-27 1499
docker容器中 yum 安装出现的报错 Loaded plugins: fastestmirror, langpacks Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os error was 12: Timeout on http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os: (
Linux 磁盘设备文件管理
kele_baba
04-15 860
Linux 磁盘设备文件管理一. 磁盘结构1. 磁盘物理结构2. 磁盘数据结构3. 硬盘的存储容量4. 磁盘接口类型5. MBR与磁盘分区表示6. 磁盘分区结构二. 文件系统类型1. XFS文件系统2. SWAP，交换文件系统3. Linux支持的其他文件系统类型三、创建新的磁盘1. 查看或管理磁盘分区：fdisk2. 交互模式中的常用指令3. 创建分区步骤3.1 创建文件系统（格式化）：mkfs 一. 磁盘结构 1. 磁盘物理结构 盘片 ：硬盘有多个盘片，每盘片2面 磁头 ：每面一个磁头 2. 磁盘数据
一个开源的应用容器引擎Docker 概述以及安装
kele_baba
07-23 654
一个开源的应用容器引擎Docker 概述以及安装一. Docker 概述二. 为什么容器越来越受欢迎？三. Docker与虚拟机的区别四. Docker核心概念镜像容器仓库五. Docker安装 一. Docker 概述 Docker是一个开源的应用容器引擎，基于go语言开发并遵循了apache2.0协议开源。 Docker是在Linux容器里运行应用的开源工具，是一种轻量级的“虚拟机”。 Docker 的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器。 Docker
Linux之系统安全管理
kele_baba
04-23 498
Linux 之系统安全管理一. 账号安全控制1. 系统账号清理2. 密码安全控制3. 命令历史限制4. 终端自动注销5. 使用 su 命令切换用户5.1 su 切换用途5.2 密码验证5.3 限制使用 su 命令的用户二. PAM安全认证1. su命令的安全隐患2. PAM认证原理3. PAM安全认证流程三. 使用sudo机制提升权限1. su命令的缺点2. sudo的用途和用法3. 配置sudo授权 一. 账号安全控制 1. 系统账号清理 将非登录用户的shell 设为 /sbin/nologin
MySQL主从复制与读写分离实战配置
MySQL主从复制与读写分离是一种常见的数据库集群架构，用于提高数据库性能和可用性。在本文中，作者分享了在Linux环境下实现这一功能的具体步骤。首先，环境准备阶段非常重要，包括设置MySQL主服务器（IP: 192.168....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值