数据库的主从复制原理（超级详细）

最新推荐文章于 2025-09-14 11:14:20 发布
原创 最新推荐文章于 2025-09-14 11:14:20 发布 · 8.9k 阅读 · 52 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #linux #云计算 #数据库

概念

MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表

主要用途

1. 读写分离

在开发工作中，有时候会遇见某个sql 语句需要锁表，导致暂时不能使用读的服务，这样就会影响现有业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。

2. 数据实时备份

当系统中某个节点发生故障时，可以方便的故障切换

3. 高可用HA和架构扩展

随着系统中业务访问量的增大，如果是单机部署数据库，就会导致I/O访问频率过高。有了主从复制，增加多个数据存储节点，将负载分布在多个从节点上，降低单机磁盘I/O访问的频率，提高单个机器的I/O性能。

主从形式

1. 一主一从

在这里插入图片描述
一主多从，提高系统的读性能。一主一从和一主多从是最常见的主从架构，实施起来简单并且有效，不仅可以实现HA，而且还能读写分离，进而提升集群的并发能力。

2. 多主一从 （从5.7开始支持）

在这里插入图片描述
多主一从可以将多个mysql数据库备份到一台存储性能比较好的服务器上。

3. 双主复制

双主复制，也就是互做主从复制，每个master既是master，又是另外一台服务器的slave。这样任何一方所做的变更，都会通过复制应用到另外一方的数据库中。

4. 级联复制

级联复制模式下，部分slave的数据同步不连接主节点，而是连接从节点。因为如果主节点有太多的从节点，就会损耗一部分性能用于replication，那么我们可以让3~5个从节点连接主节点，其它从节点作为二级或者三级与从节点连接，这样不仅可以缓解主节点的压力，并且对数据一致性没有负面影响。

主从复制原理

MySQL主从复制涉及到三个线程，一个运行在主节点（log dump thread），其余两个(I/O thread, SQL thread)运行在从节点，如下图所示:
在这里插入图片描述

1. 主节点 binary log dump 线程

当从节点连接主节点时，主节点会创建一个log dump 线程，用于发送bin-log的内容。在读取bin-log中的操作时，此线程会对主节点上的bin-log加锁，当读取完成，甚至在发动给从节点之前，锁会被释放。

2.从节点I/O线程

当从节点上执行start slave命令之后，从节点会创建一个I/O线程用来连接主节点，请求主库中更新的bin-log。I/O线程接收到主节点binlog dump 进程发来的更新之后，保存在本地relay-log中。

3.从节点SQL线程

SQL线程负责读取relay log中的内容，解析成具体的操作并执行，最终保证主从数据的一致性。

对于每一个主从连接，都需要三个进程来完成。当主节点有多个从节点时，主节点会为每一个当前连接的从节点建一个binary log dump 进程，而每个从节点都有自己的I/O进程，SQL进程。从节点用两个线程将从主库拉取更新和执行分成独立的任务，这样在执行同步数据任务的时候，不会降低读操作的性能。比如，如果从节点没有运行，此时I/O进程可以很快从主节点获取更新，尽管SQL进程还没有执行。如果在SQL进程执行之前从节点服务停止，至少I/O进程已经从主节点拉取到了最新的变更并且保存在本地relay日志中，当服务再次起来之后，就可以完成数据的同步。

要实施复制，首先必须打开Master 端的binary log（bin-log）功能，否则无法实现。

因为整个复制过程实际上就是Slave 从Master 端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。如下图所示：
在这里插入图片描述

复制的基本过程如下：

  • 从节点上的I/O 进程连接主节点，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容；
  • 主节点接收到来自从节点的I/O请求后，通过负责复制的I/O进程根据请求信息读取指定日志指定位置之后的日志信息，返回给从节点。返回信息中除了日志所包含的信息之外，还包括本次返回的信息的bin-log file 的以及bin-log position；从节点的I/O进程接收到内容后，将接收到的日志内容更新到本机的relay log中，并将读取到的binary log文件名和位置保存到master-info 文件中，以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log 的哪个位置开始往后的日志内容，请发给我”
  • Slave 的 SQL线程检测到relay-log 中新增加了内容后，会将relay-log的内容解析成在祝节点上实际执行过的操作，并在本数据库中执行。

主从复制模式

MySQL 主从复制默认是异步的模式。MySQL增删改操作会全部记录在binary log中，当slave节点连接master时，会主动从master处获取最新的bin log文件。并把bin log中的sql relay。

1. 异步模式

异步模式如下图所示，这种模式下，主节点不会主动push bin log到从节点，这样有可能导致failover的情况下，也许从节点没有即时地将最新的bin log同步到本地
在这里插入图片描述

全同步模式

全同步模式是指主节点和从节点全部执行了commit并确认才会向客户端返回成功

总结

Mysql 主从复制是mysql 高可用，高性能的基础，有了这个基础，mysql 的部署会变得简单、灵活并且具有多样性，从而可以根据不同的业务场景做出灵活的调整。

MYSQL——数据库主从备份原理
庄小焱
12-31 4031
摘要 大家知道 binlog 可以用来归档，也可以用来做主备同步，为什么备库执行了 binlog 就可以跟主库保持一致了呢？毫不夸张地说，MySQL 能够成为现下最流行的开源数据库，binlog 功不可没。而它的几乎所有的高可用架构，都直接依赖于 binlog。虽然这些高可用架构已经呈现出越来越复杂的趋势，但都是从最基本的一主一备演化过来的。 一、MySQL主备的基本原理 在状态 1 中，客户端的读写都直接访问节点 A，而节点 B 是 A 的备库，只是将 A 的更新都同步过来，到本地执行。这样可以
mysql-主从同步原理
wenwenkaii的博客
05-26 1051
1、主从同步也叫AB复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库；主数据库一般是准实时的业务数据库。2、主从复制的作用1.做数据的热备，作为后备数据库，主数据库服务器故障后，可切换到从数据库继续工作，避免数据丢失。2.架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率,提高单个机器的I/O性能。3.读写分离，使数据库能支撑更大的并发。1--在从服务器可以执行查询工作(即我们常说的读功能)，降低主服务器压力;
Redis 主从复制的原理，进来了解一下
doubututou的博客
10-15 246
一.复制过程 复制的过程步骤如下： 从节点执行 slaveof 命令 从节点只是保存了 slaveof 命令中主节点的信息，并没有立即发起复制 从节点内部的定时任务发现有主节点的信息，开始使用 socket 连接主节点 连接建立成功后，发送 ping 命令，希望得到 pong 命令响应，否则会进行重连 如果主节点设置了权限，那么就需要进行权限验证；如果验证失败，复制终止。 权限验证通过后，进行数据同步，这是耗时最长的操作，主节点将把所有的数据全部发送给从节点。 当主节点把当前的数据同步给从节点后，便完成了
数据库主从复制
weixin_51167520的博客
01-14 2403
实验环境：centos7.3 两台 master节点配置 查看网卡 修改主机名称 修改DNS映射 改下面文件中的SELINUX=permissive 重启虚拟机 安装mariadb-server 添加服务并启动 初始化数据库密码： (1) 启用二进制日志； (2) 设置一个在当前集群中惟一的server-id(主/从服务器的ID不能重复)； 二进制日志，在Mariadb安装完成之后默认就是启动的，这里只是将mysql-bin改为了 master-bin当然不改也是可以的，另外serve
MySQL主从复制原理深度解析（源码级详解）
NeoLshu的博客
09-14 1409
本文基于MySQL 8.0.32源码，深入解析了主从复制技术栈的核心架构与实现原理。主从复制过程始于客户端SQL操作，主库通过Binlog文件同步变更，从库I/O线程接收事件并写入Relay Log，协调器调度工作线程并行执行事务。系统采用GTID机制确保数据一致性，通过事务验证避免重复执行。文章详细剖析了I/O线程的Binlog拉取机制、SQL线程/协调器的演进历程（从单线程到WRITESET并行技术），以及工作线程的并行执行原理。源码分析涵盖Binlog请求、事件处理循环、事务调度等关键流程，完整呈现了
烂泥：学习mysql数据库主从同步复制原理
lanni654321的专栏
11-21 806
本文由秀依林枫提供友情赞助，首发于烂泥行天下。 说明本篇文章部分转载自互联网。 MySQL的Replication（英文为复制）是一个多MySQL数据库做主从同步的方案，特点是异步复制，广泛用在各种对MySQL有更高性能、更高可靠性要求的场合。与之对应的是另一个同步技术是MySQL Cluster，但因为MySQL Cluster配置比较复杂，所以使用者较少。 MySQL的Replicati
mysql 主从复制原理
08-21 1752
主从形式 mysql主从复制 灵活 一主一从 主主复制 一主多从---扩展系统读取的性能，因为读是在从库读取的； 多主一从---5.7开始支持 联级复制--- 用途及条件 mysql主从复制用途 实时灾备，用于故障切换 读写分离，提供查询服务 备份，避免影响业务 主从部署必要条件： 主库开启binlo...
Redis 主从复制 原理与用法
南山行者
12-31 1万+
Redis 复制功能的几个重要方面： 1. 一个Master可以有多个Slave； 2. Redis使用异步复制。从2.8开始，Slave会周期性（每秒一次）发起一个Ack确认复制流（replication stream）被处理进度； 3. 不仅主服务器可以有从服务器， 从服务器也可以有自己的从服务器， 多个从服务器之间可以构成一个图状结构； 4. 复制在Master端是非阻塞模式的，这意
主从数据库相关知识及原理
weixin_67978454的博客
06-09 1347
主从数据库
MySQL数据库主从复制原理与实战：打造高可用数据库系统，实现数据冗余
[MySQL数据库主从复制原理与实战：打造高可用数据库系统，实现数据冗余](https://img-blog.csdnimg.cn/156c904ef9fe42559badaa65ea2032d5.png) # 1. MySQL数据库主从复制概述** MySQL主从复制是一种数据库复制技术...
MySQL主从不一致问题相关处理
热门推荐
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-26 1万+
某业务采取mysql的主从架构，但因为存储的问题，导致备库一直无法存储，数据同步一致性问题一直也未恢复，某次安全检查要求完成主备倒换演练，必须限期恢复主备，但是在恢复过程中，同步显示正常一段时间后，便会出现sql线程异常，主备数据不一致导致的同步错误情况。主数据库上面设置的max_allowed_packet比从数据库大，当一个大的sql语句，能在主数据库上面执行完毕，从数据库上面设置过小，无法执行，导致的主从不一致。根据上面的NR行数，查看附近的行，定位数据不一致的地方，后续手动补全。
Redis主从复制的原理
master_chenchen的博客
01-14 1485
在现代分布式系统中，Redis作为一款高性能的内存数据库，其主从复制功能是确保数据高可用性和扩展性的关键技术之一。通过主从复制，我们可以创建一个或多个Redis服务器（即从节点）来镜像原始服务器（即主节点）的数据。这种机制不仅有助于提高读取性能，因为客户端可以将读请求分发到不同的从节点上；而且增强了系统的容错能力，当主节点发生故障时，可以从节点接管服务，保证业务连续性。
mysql主从复制原理
u014495560的博客
02-18 550
1、为什么需要主从复制？ 在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。 做数据的热备 架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。 ...
主从复制原理
张铎
12-20 4344
主从复制原理 MySQL数据库的主从复制方案，是其自带的功能，并且 主从复制并不是复制磁盘上的数据库文件，而是通过binlog 日志复制到需要同步的从服务器上。 MySQL数据库支持单向、双向、链式级联等不同业务场景的复制。在复制的过程中，一台服务器当主服务器（Master），接收来自用户的内容更新，而一个或多个其它的服务器来当从服务器（Slaver），接收来自Master上binlog文件的的日志内容，解析出SQL,重新更新到Slave，使得主从服务器的数据达到一致。 主从复制的逻辑有以下几种： 一主一从
主从复制的原理
赵筱蕊的博客
05-16 305
用途及条件 mysql主从复制用途 实时灾备，用于故障切换 读写分离，提供查询服务 备份，避免影响业务 主从部署必要条件： 主库开启binlog日志（设置log-bin参数） 主从server-id不同 从库服务器能连通主库 主从原理 主从复制一共有三个进程，从库生成两个线程，一个I/O线程，一个SQL线程； I/O线程去请求主库的 binglog ，并将得到的binglog...
数据库主从架构原理
Zhww_吾本杞人的主页
11-07 898
在很多大型的购物网站中如、如京东、天猫等都会用到高可用架构常见就有Redis分布式+Mysql分布式架构，据不完全统计京东就有2亿的用户量请不要担心京东数据量问题，因为它们有成千上万台数据库服务器分别管理不同地域的用户，就是我们来解决也可以根据用户访问的DNS地址，京东可以分配到不同的服务器上的。同时也可以分库分表，大库拆分成小库大表拆分成小表的策略来解决。而高可用架构的组成当中最为基础常用的方法
MySQL数据库主从复制（同步）原理
weixin_48134870的博客
09-30 368
一、什么是主从复制？ 1.1 理解主从复制 1.2 主从复制的作用 二、主从复制的原理 一、什么是主从复制？** 1.1 理解主从复制 首先，主从复制是一种数据备份的方案，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库，主数据库一般是准实时的业务数据库。 1.2 主从复制的作用 做数据的热备： 作为后备数据库，主数据库服务器故障后，可切换到从数据库继续工作，避免数据丢失。 架构的扩展： 业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个
Mysql主从服务器原理与服务搭建，超详细可跟做，小白也能学
著名艺术家
09-14 3095
将数据库进行到底原理为什么要主从服务器主从知识扩展Mysql主从服务搭建（1）建立时间同步环境（2）编译安装MySQL数据库（3）登录Master主服务器配置 20.0.0.21（4）登录salve 从服务器配置（5）验证 原理 为什么要主从服务器 在企业网站中，后端MySQL数据库只有一台时，会有以下问题： 单点故障，服务不可用 无法处理大量的并发数据请求 数据丢失—大灾难 改造办法： 增加MySQL数据库服务器，对数据进行备份，形成主备 确保主备MySQL数据库
mysql主从数据库的原理和实现
最新发布
11-04
<think>我们首先回答用户的问题：MySQL主从数据库的原理和实现 ### MySQL主从复制原理 MySQL主从复制（Replication）允许数据从一个MySQL数据库服务器（主服务器）复制到一个或多个MySQL数据库服务器（从服务器）。复制是异步的，从服务器不需要一直连接主服务器来接收更新。 **复制原理**： 1. **主服务器（Master）**：当主服务器上的数据发生改变（增删改）时，这些改变会写入二进制日志（Binary Log）中。 2. **从服务器（Slave）**：从服务器有两个线程： - **I/O线程**：连接主服务器，请求二进制日志中的事件，并将这些事件写入本地的中继日志（Relay Log）。 - **SQL线程**：读取中继日志中的事件，并在从服务器上执行这些事件，从而重放主服务器上的操作。 **步骤详细说明**： 1. 主服务器将更改记录到二进制日志（binlog）中。 2. 从服务器的I/O线程向主服务器请求binlog的内容，并将获取的binlog事件写入从服务器的中继日志。 3. 从服务器的SQL线程读取中继日志中的事件，并在从服务器上执行这些SQL事件。 **注意**：主从复制默认是异步的，这意味着主服务器上的更改不会立即在从服务器上反映。如果需要强一致性，可以考虑半同步复制或组复制。 ### 实现步骤 下面将展示如何配置MySQL主从复制（假设使用MySQL 8.0版本）。 #### 环境准备 - 两台MySQL服务器（可以是虚拟机、容器或物理机），分别作为主服务器（Master）和从服务器（Slave）。 - 确保两台服务器网络互通，并且MySQL端口（默认3306）开放。 #### 主服务器配置（Master） 1. **修改主服务器的配置文件（my.cnf或my.ini）**： ```ini [mysqld] server-id=1 # 服务器唯一ID，必须唯一 log-bin=mysql-bin # 启用二进制日志 binlog_format=ROW # 推荐使用ROW格式 ``` 2. **重启MySQL服务**： ```bash sudo systemctl restart mysql ``` 3. **创建复制用户**： 登录主服务器MySQL，创建一个用于复制的用户，并授予复制权限。 ```sql CREATE USER 'repl'@'%' IDENTIFIED BY 'password'; GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%'; FLUSH PRIVILEGES; ``` 4. **查看主服务器状态**： 记录File和Position的值，从服务器连接时需要。 ```sql SHOW MASTER STATUS; ``` 输出类似： ``` +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000001 | 155 | | | | +------------------+----------+--------------+------------------+-------------------+ ``` #### 从服务器配置（Slave） 1. **修改从服务器的配置文件**： ```ini [mysqld] server-id=2 # 服务器唯一ID，必须唯一且不同于主服务器 relay-log=mysql-relay-bin log_bin=mysql-bin read_only=ON # 可选，设置从服务器为只读（超级用户除外） ``` 2. **重启MySQL服务**： ```bash sudo systemctl restart mysql ``` 3. **配置从服务器连接主服务器**： 登录从服务器MySQL，执行： ```sql CHANGE MASTER TO MASTER_HOST='master_ip', MASTER_USER='repl', MASTER_PASSWORD='password', MASTER_LOG_FILE='mysql-bin.000001', -- 主服务器上SHOW MASTER STATUS得到的File MASTER_LOG_POS=155; -- 主服务器上SHOW MASTER STATUS得到的Position ``` 4. **启动复制**： ```sql START SLAVE; ``` 5. **检查从服务器状态**： ```sql SHOW SLAVE STATUS\G ``` 查看`Slave_IO_Running`和`Slave_SQL_Running`的值，如果都是`Yes`，则表示复制正常运行。 ### 代码说明 上述步骤中，我们主要使用了SQL语句和配置文件修改。没有复杂的代码，但需要严格按照步骤操作。 ### 注意事项 - 确保主从服务器的MySQL版本兼容（最好相同或从服务器版本高于主服务器）。 - 主从服务器时间同步。 - 主从服务器之间的网络延迟和带宽会影响复制延迟。 - 如果主服务器已有数据，需要先将主服务器数据导出并导入到从服务器，然后再配置复制（使用`mysqldump`或`xtrabackup`等工具）。 ### 主从复制延迟问题 异步复制不可避免会有延迟。可以通过以下方法减少延迟： - 优化主服务器上的SQL，减少大事务。 - 使用更好的硬件（如SSD）。 - 调整MySQL参数（如`sync_binlog`，`innodb_flush_log_at_trx_commit`等）。 - 考虑半同步复制（Semi-synchronous Replication）或并行复制（Multi-threaded Slave）。 ### 相关问题 根据我们的回答，提出以下相关问题： </think>### MySQL主从数据库的原理和实现 #### 原理 MySQL主从复制基于**二进制日志（Binlog）** 实现，核心流程如下： 1. **主库（Master）**：记录所有数据变更操作到二进制日志 2. **从库（Slave）**： - I/O线程：读取主库的二进制日志并写入本地中继日志（Relay Log） - SQL线程：执行中继日志中的SQL语句，实现数据同步 3. **异步机制**：默认异步复制，主库无需等待从库响应 #### 实现步骤（MySQL 8.0） ##### 1. 主库配置（Master） 修改配置文件`/etc/my.cnf`： ```ini [mysqld] server-id = 1 # 唯一服务器ID log-bin = mysql-bin # 启用二进制日志 binlog_format = ROW # 推荐使用ROW格式 binlog_do_db = example_db # 需要复制的数据库（可选） ``` 重启MySQL服务： ```bash sudo systemctl restart mysqld ``` 创建复制账号： ```sql CREATE USER 'repl_user'@'%' IDENTIFIED BY 'SecurePass123!'; GRANT REPLICATION SLAVE ON *.* TO 'repl_user'@'%'; FLUSH PRIVILEGES; ``` 查看主库状态： ```sql SHOW MASTER STATUS; ``` 记录输出的`File`（如mysql-bin.000001）和`Position`（如157） ##### 2. 从库配置（Slave） 修改配置文件`/etc/my.cnf`： ```ini [mysqld] server-id = 2 # 区别于主库的ID relay-log = mysql-relay-bin # 中继日志 read_only = ON # 设为只读（防止误操作） ``` 重启MySQL服务： ```bash sudo systemctl restart mysqld ``` 配置主从连接： ```sql CHANGE MASTER TO MASTER_HOST='192.168.1.100', # 主库IP MASTER_USER='repl_user', MASTER_PASSWORD='SecurePass123!', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=157; ``` 启动复制： ```sql START SLAVE; ``` ##### 3. 验证复制状态 ```sql SHOW SLAVE STATUS\G ``` 关键指标检查： ```markdown Slave_IO_Running: Yes # I/O线程状态 Slave_SQL_Running: Yes # SQL线程状态 Seconds_Behind_Master: 0 # 复制延迟（秒） ``` #### 故障排查命令 ```sql -- 主库查看连接信息 SHOW PROCESSLIST; -- 从库暂停/重置复制 STOP SLAVE; RESET SLAVE ALL; -- 跳过错误（谨慎使用） SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1; START SLAVE; ``` #### 关键注意事项 1. **数据一致性**：首次同步需手动导出主库数据（`mysqldump --master-data`） 2. **复制模式**： - `STATEMENT`：复制SQL语句（效率高，但可能不安全） - `ROW`（推荐）：复制行变更（安全，日志较大） - `MIXED`：混合模式 3. **延迟优化**： - 开启并行复制：`slave_parallel_workers=4` - 使用GTID复制（简化故障转移） ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

haixiangwang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值