MySQL主从复制原理、半同步操作步骤及原理

最新推荐文章于 2024-08-05 16:11:08 发布

abcdocker

最新推荐文章于 2024-08-05 16:11:08 发布

阅读量1.7w

点赞数 6

分类专栏： MySQL 文章标签： mysql 服务器数据运维

本文链接：https://blog.csdn.net/abcdocker/article/details/71249760

版权

本文详细介绍了MySQL主从复制的原理，包括文件级别的异机同步方案和数据库级别的主从复制。讲解了主从复制的环境搭建、操作步骤，以及半同步复制的实现和优缺点。还讨论了主从复制延迟问题的原因和解决策略，提供了Web用户的专业设置方案，并提出了数据备份策略。最后，文章提到了MySQL的半同步操作和常见的高可用方案。

摘要由CSDN通过智能技术生成

MySQL主从复制原理、半同步操作步骤及原理

标签（空格分隔）： mysql

1.1 企业Linux运维场景数据同步方案

1.1.1 文件级别的异机同步方案

1、scp/sftp/nc 命令可以实现远程数据同步。
2、搭建ftp/http/svn/nfs 服务器，然后在客户端上也可以把数据同步到服务器。
3、搭建samba文件共享服务，然后在客户端上也可以把数据同步到服务器。
http://taokey.blog.51cto.com/4633273/1203553
4、利用rsync/csync2/union等均可以实现数据同步提示：union可实现双同步，csync2可实现多机同步。
以上文件同步方式如果结合定时任何或者inotify，sersync等功能，可以实现定时以及定时的数据同步。
5、文件级别也可以利用mysql，mongodb等软件作为容器实现。
6、程序向两个服务器同时写入数据，双写就是一个同步机制特点：简单、方便、效率和文件系统级别要差一点，但是同步的节点可以提供访问。软件的自身同步机制（mysql，oracle，mongdb，ttserver，redis….）文件放到数据库，同步到从库，再把文件拿出来。
7、DRBD文件系统级别（基于块设备复制，直接复制block）

1.1.2 文件系统级别的异机同步方案

1、drbd基于文件系统同步，相当于网络RAID1，可以同步几乎任何业务数据。mysql数据库的官方推荐drbd同步数据，所有单点服务例如：NFS、MFS（DRBD）MySQL等都可以用drbd做复制，效率很高，缺点：备机服务不可用
2、数据库同步方案：
a.自身同步机制： mysql replication，mysql主从复制（逻辑的SQL重写）物理复制方法<===drbd（从库不提供读写） oracle dataguard（物理的磁盘块，逻辑的SQL语句重写）9i从库不提供腹泻的，11g的从库实现了readonly
b.第三方drbd，参考URL Heartbeat+DRBD+MySQL高可用架构方案与实施过程细节
http://oldboy.blog.51cto.com/2561410/1240412

1.2 MySQL主从复制

　　MySQL的主从复制方案，和上述文件及文件系统级别同步是类似的，都输数据的传输。只不过MySQL无需借助第三方工具，而是其自带的同步复制功能，另外一点，MySQL的主从复制并不是从硬盘给上文件直接同步，而是逻辑的binlog日志同步到本地的应用执行的过程

提示：官方说主从不要超过9台，推荐不超过5台。

1、单向主从复制逻辑图
image_1bfc7hm45cbkdpstuh1c7vbnm9.png-28.4kB

2、双向主主同步逻辑图，此架构可以在Master1端或Master2端进行数据写入
image_1bfc7i6qjbvg1gacai610q1vftm.png-25.6kB

3、线性级联单向双主同步逻辑图，此架构只能在Master1端进行数据写入
image_1bfc7igll1g8e1sklbp21jqpupl13.png-30.7kB

4、环状级联单向多主同步逻辑图，任何一个点都可以写入数据
image_1bfc7iq4p1ell87b16ioqmt1iep1g.png-35.4kB

5、环状级联单向多主多从同步逻辑图，此架构只能在任意一个Master端进行数据写入
image_1bfc7j3ogodi36t3un16vb12u21t.png-56.2kB

MySQL官方的同步架构图
image_1bfc7jkeq38srhv175c1fl915152a.png-141.7kB

工作中第一种方案和第二种方案最常用

1.3 MySQL主从复制原理介绍

  MySQL的主从复制是一个异步的复制过程（虽然一般情况下感觉是实时的），数据将从一个Mysql数据库（我们称之为Master）复制到另一个Mysql数据库（我们称之为Slave），在Master与Slave之间实现整个主从复制的过程是由三个线程参与完成的。其中有两个线程（SQL线程和IO线程）在Slave端，另一个线程（I/O线程）在Master端。

  要实现MySQL的主从复制，首先必须打开Master端的binlog记录功能，否则就无法实现。因为整个复制过程实际上就是Slave从aster端获取binlog日志，然后再在Slave上以相同顺序执行获取的binlog日志中的记录的各种SQL操作

image_1bfc7ljlrihrul5au0rhtnld2n.png-407.9kB
image_1bfc7lsuj9s111851lrh1osjv6s34.png-103.7kB

画图：

1）在Slave 服务器上执行sart slave命令开启主从复制开关，开始进行主从复制。

2）此时，Slave服务器的IO线程会通过在master上已经授权的复制用户权限请求连接master服务器，并请求从执行binlog日志文件的指定位置（日志文件名和位置就是在配置主从复制服务时执行change
master命令指定的）之后开始发送binlog日志内容

3）Master服务器接收到来自Slave服务器的IO线程的请求后，其上负责复制的IO线程会根据Slave服务器的IO线程请求的信息分批读取指定binlog日志文件指定位置之后的binlog日志信息，然后返回给Slave端的IO线程。返回的信息中除了binlog日志内容外，还有在Master服务器端记录的IO线程。返回的信息中除了binlog中的下一个指定更新位置。

4）当Slave服务器的IO线程获取到Master服务器上IO线程发送的日志内容、日志文件及位置点后，会将binlog日志内容依次写到Slave端自身的Relay Log（即中继日志）文件（Mysql-relay-bin.xxx）的最末端，并将新的binlog文件名和位置记录到master-info文件中，以便下一次读取master端新binlog日志时能告诉Master服务器从新binlog日志的指定文件及位置开始读取新的binlog日志内容

5）Slave服务器端的SQL线程会实时检测本地Relay Log 中IO线程新增的日志内容，然后及时把Relay LOG 文件中的内容解析成sql语句，并在自身Slave服务器上按解析SQL语句的位置顺序执行应用这样sql语句，并在relay-log.info中记录当前应用中继日志的文件名和位置点

主从复制条件

1、开启Binlog功能
2、主库要建立账号
3、从库要配置master.info（CHANGE MASTER to...相当于配置密码文件和Master的相关信息）
4、start slave 开启复制功能

知识点

1.3个线程，主库IO，从库IO和SQL及作用
2.master.info（从库）作用
3.relay-log 作用
4.异步复制
5.binlog作用（如果需要级联需要开启Binlog）

小结：

主从复制是异步的逻辑的SQL语句级的复制
复制时，主库有一个I/O线程，从库有两个线程，I/O和SQL线程
实现主从复制的必要条件是主库要开启记录binlog功能
作为复制的所有Mysql节点的server-id都不能相同
binlog文件只记录对数据库有更改的SQL语句（来自主库内容的变更），不记录任何查询（select，show）语句

1.4 环境搭建

我们准备的是多实例，一台服务器开启3个服务端口不同
环境准备：

[root@db02 3307]# netstat -lntup|grep 330
    tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      3074/mysqld         
    tcp        0      0 0.0.0.0:3307                0.0.0.0:*                   LISTEN      33364/mysqld        
    tcp        0      0 0.0.0.0:3308                0.0.0.