mysql之主从复制原理及实践

已于 2024-10-11 20:23:26 修改
阅读量778 收藏 4
点赞数 10
分类专栏： 代码人生 文章标签： 数据库 mysql 后端 分布式
于 2024-10-11 20:22:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38917476/article/details/142862429
版权

引言

在现代数据库管理中，数据的高可用性和负载均衡是至关重要的。MySQL 的主从复制功能提供了一种有效的解决方案，可以通过将数据从一个主服务器复制到一个或多个从服务器，来实现数据的备份、读取负载分担和高可用性。本篇文章将深入探讨 MySQL 主从复制的原理、配置步骤以及实际应用场景。

一、主从复制原理

MySQL 的主从复制是基于事件的复制机制，主要包含以下几个关键概念：

  1. 主服务器（Master） ：

    • 主服务器负责处理所有的写操作和事务。所有的更改（如 INSERT、UPDATE 和 DELETE）首先在主服务器上执行。

  2. 从服务器（Slave） ：

    • 从服务器通过读取主服务器的二进制日志（binlog）来获取数据更改信息，并将这些更改应用到自身的数据库中。

  3. 二进制日志（binlog） ：

    • binlog 是 MySQL 中记录所有更改数据的日志文件。主服务器在执行每个更改操作时，会将该操作以事件的形式记录到 binlog 中。

  4. 复制线程：

    • 从服务器通过一个 I/O 线程连接到主服务器，读取 binlog 并将其存储到本地的中继日志（relay log）中。然后，由一个 SQL 线程从中继日志中读取事件并应用到从服务器的数据库中。

主实例搭建

  1. 使用以下命令启动 MySQL 主实例：

    docker run -p 3307:3306 --name mysql-master \
-v /docker/mysql-master/log:/var/log/mysql \
-v /docker/mysql-master/data:/var/lib/mysql \
-v /docker/mysql-master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
-d mysql:5.7

    参数说明：

    • -p 3307:3306：将容器的 3306 端口映射到主机的 3307 端口。
    • --name mysql-master：设置容器的名称为 mysql-master。
    • -v /docker/mysql-master/log:/var/log/mysql：将容器内的日志目录挂载到主机上，方便查看和管理日志。
    • -v /docker/mysql-master/data:/var/lib/mysql：将 MySQL 数据存储目录挂载到主机上，确保数据持久化。
    • -v /docker/mysql-master/conf:/etc/mysql：将配置文件目录挂载到主机上，便于修改配置。
    • -e MYSQL_ROOT_PASSWORD=123456：设置 MySQL 根用户密码（此处为示例，生产环境应设置复杂密码）。
    • -d mysql:5.7：在后台运行 MySQL 5.7 容器。

  2. 创建配置文件 my.cnf

    在 /docker/mysql-master/conf/ 目录下创建 my.cnf 文件，并添加以下配置内容：

    [mysqld]
## 设置 server_id，同一局域网中需要唯一
server_id = 1

## 指定不需要同步的数据库名称
binlog-ignore-db = mysql

## 开启二进制日志功能
log_bin = /var/log/mysql/mysql-bin.log

## 设置二进制日志使用内存大小（事务）
binlog_cache_size = 1M

## 设置使用的二进制日志格式（mixed, statement, row）
binlog_format = mixed

## 二进制日志过期清理时间。默认值为0，表示不自动清理
expire_logs_days = 7

## 跳过主从复制中遇到的所有错误或指定类型的错误，避免 slave 端复制中断
## 1062 错误为主键重复，1032 错误为主从数据库数据不一致
slave_skip_errors = 1062

    配置说明：

    • server_id = 1：为主服务器设置一个唯一的 ID。在主从复制环境中，每个服务器的 server_id 必须唯一。
    • binlog-ignore-db = mysql：指定不需要同步的数据库，这里忽略 mysql 数据库。通常 mysql 数据库包含用户权限信息，可以选择不同步。
    • log_bin = /var/log/mysql/mysql-bin.log：启用二进制日志功能，并将日志文件存储在指定路径 /var/log/mysql/mysql-bin.log 下。二进制日志是主从复制的基础。
    • binlog_cache_size = 1M：设置每个会话使用的二进制日志缓存大小，默认值为 1MB。适当的缓存大小可以提升大事务的写入效率。
    • binlog_format = mixed：设置二进制日志的格式为 mixed，此格式可以在 row（行格式）和 statement（语句格式）之间切换，以适应不同的写入需求。
    • expire_logs_days = 7：设置二进制日志的自动清理周期为 7 天，避免日志文件占用过多磁盘空间。可以根据需要调整。
    • slave_skip_errors = 1062：在主从复制过程中，跳过指定错误以避免复制中断。例如，1062 错误为主键重复错误，常用于忽略主从数据库不一致导致的特定问题。

  3. 配置完成后重启 MySQL 主实例

    使用以下命令重启 mysql-master 容器，使新配置生效：

    docker restart mysql-master

  4. 进入 mysql-master 容器

    重启后，可以使用以下命令进入正在运行的 mysql-master 容器：

    docker exec -it mysql-master bash

  5. 登录到 MySQL 客户端

    进入容器后，使用以下命令以 root 用户身份登录 MySQL：

    mysql -u root -p123456

  6. 创建数据同步用户

    在 MySQL 控制台中，创建一个用于数据同步的专用用户，确保该用户具备 REPLICATION SLAVE 权限。执行以下 SQL 命令：

    CREATE USER 'replica_user'@'%' IDENTIFIED BY 'replica_password';
GRANT REPLICATION SLAVE ON *.* TO 'replica_user'@'%';
FLUSH PRIVILEGES;
    • CREATE USER 'replica_user'@'%' IDENTIFIED BY 'replica_password';：创建名为 replica_user 的用户，并设置密码为 replica_password。
    • GRANT REPLICATION SLAVE ON *.* TO 'replica_user'@'%';：授予该用户 REPLICATION SLAVE 权限，以便该用户用于主从复制的数据同步。
    • FLUSH PRIVILEGES;：刷新权限，使新用户权限立即生效。
    具体示例

    比如，我们创建一个名为 slave 的同步用户，密码为 123456，用于从实例同步数据：

    CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%';
FLUSH PRIVILEGES;

配置完成后，slave 用户即可用于从实例的数据同步连接，接下来可以继续配置从实例。

从实例搭建

  1. 使用以下命令启动 MySQL 从实例：

    docker run -p 3308:3306 --name mysql-slave \
-v /docker/mysql-slave/log:/var/log/mysql \
-v /docker/mysql-slave/data:/var/lib/mysql \
-v /docker/mysql-slave/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
-d mysql:5.7

  2. 创建配置文件 my.cnf

    在 /docker/mysql-slave/conf/ 目录下创建 my.cnf 文件，并添加以下配置内容：

    [mysqld]
## 设置 server_id，与主服务器不同
server_id = 2

## 设置中继日志路径
relay_log = /var/log/mysql/mysql-relay-bin.log

## 指定不需要同步的数据库名称
binlog-ignore-db = mysql

## 二进制日志设置（如果需要从服务器充当主服务器进行多级复制）
log_bin = /var/log/mysql/mysql-slave-bin.log

## 设置二进制日志使用内存大小（事务）
binlog_cache_size = 1M

## 设置二进制日志格式
binlog_format = mixed

## 二进制日志过期清理时间
expire_logs_days = 7

## 跳过主从复制中遇到的所有错误或指定类型的错误，避免 slave 端复制中断
## 1062 错误为主键重复，1032 错误为主从数据库数据不一致
slave_skip_errors = 1062

    配置说明：

    • server_id = 2：设置从服务器的唯一 ID，确保与主服务器不同。
    • relay_log = /var/log/mysql/mysql-relay-bin.log：设置中继日志的文件路径，用于存储从服务器接收到的主服务器更改记录。
    • binlog-ignore-db = mysql：忽略同步 mysql 数据库（如不需要同步用户权限）。
    • log_bin = /var/log/mysql/mysql-slave-bin.log：设置从服务器的二进制日志文件路径（可选，适用于多级复制）。
    • binlog_cache_size = 1M：设置二进制日志缓存大小。
    • binlog_format = mixed：设置二进制日志格式为 mixed。
    • expire_logs_days = 7：设置二进制日志保留 7 天，防止日志占用过多磁盘空间。
    • slave_skip_errors = 1062：在主从复制过程中，跳过指定的错误，避免复制中断。

  3. 重启从实例容器

    完成配置文件设置后，使用以下命令重启 mysql-slave 容器以使更改生效：

    docker restart mysql-slave

主从数据库连接

  1. 登录主实例 MySQL 客户端并查看主数据库状态

    首先，通过以下命令进入 mysql-master 容器并登录 MySQL 客户端：

    docker exec -it mysql-master bash
mysql -u root -p123456

  2. 查看主数据库状态

    登录后，使用以下命令查看主实例的状态，以获取二进制日志的文件名和位置：

    SHOW MASTER STATUS;

    主数据库的状态如下：

在这里插入图片描述

记下 `File` 和 `Position` 字段的值（例如 `mysql-bin.000001` 和 `749`），稍后将用于配置从实例连接到主实例。

  1. 进入从实例容器

    使用以下命令进入 mysql-slave 容器：

    docker exec -it mysql-slave bash

  2. 登录从实例的 MySQL 客户端

    在 mysql-slave 容器中，使用以下命令登录 MySQL 客户端：

    mysql -u root -p123456

  3. 配置主从复制

    登录 MySQL 后，使用以下命令配置从实例连接到主实例。请将 MASTER_HOST、MASTER_PORT、MASTER_USER、MASTER_PASSWORD、MASTER_LOG_FILE 和 MASTER_LOG_POS 的值替换为实际的主实例 IP 地址、端口号、同步用户及其密码，以及在主实例中通过 SHOW MASTER STATUS 命令获取的 File 和 Position 值。包含所有必要的选项：

    CHANGE MASTER TO
    MASTER_HOST='主实例IP地址',
    MASTER_PORT=3306,
    MASTER_USER='replica_user',
    MASTER_PASSWORD='replica_password',
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=154,
    MASTER_CONNECT_RETRY=10;

    参数说明：

    • MASTER_HOST：主实例的 IP 地址。
    • MASTER_PORT：主实例的端口（此处假设为 3306）。
    • MASTER_USER：用于同步的用户（例如 replica_user）。
    • MASTER_PASSWORD：同步用户的密码（例如 replica_password）。
    • MASTER_LOG_FILE：主实例当前的二进制日志文件（例如 mysql-bin.000001）。
    • MASTER_LOG_POS：二进制日志的读取位置（例如 154）。
    • MASTER_CONNECT_RETRY：从实例连接失败时重试的间隔时间（单位为秒），此处设置为 10 秒。

    示例配置

    我们按照上面配置的主实例参数来配置主从复制，示例如下：

    CHANGE MASTER TO
    MASTER_HOST='172.17.0.10',
    MASTER_USER='slave',
    MASTER_PASSWORD='123456',
    MASTER_PORT=3306,
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=749,
    MASTER_CONNECT_RETRY=30;

    在此示例中：

    • MASTER_HOST：主实例的 IP 地址为 172.17.0.10。
    • MASTER_USER 和 MASTER_PASSWORD：用于同步的用户为 slave，密码为 123456。
    • MASTER_PORT：主实例的端口号为 3306。
    • MASTER_LOG_FILE 和 MASTER_LOG_POS：主实例的二进制日志文件为 mysql-bin.000001，位置为 749。
    • MASTER_CONNECT_RETRY：设置为 30 秒，即从实例在连接失败时会每 30 秒重试一次。

  4. 验证复制状态

    使用以下命令查看复制状态，确保配置成功：

    SHOW SLAVE STATUS\G;
    • 从数据库状态显示如下：

在这里插入图片描述

在输出中，确认 Slave_IO_Running 和 Slave_SQL_Running 的值为 No，表示主从复制还没开始工作。

  1. 启动从实例的复制进程

    运行以下命令启动从实例的复制进程：

    START SLAVE;

    查看同步状态

    运行 SHOW SLAVE STATUS\G;，查看从数据库状态，确认已经同步：

在这里插入图片描述

如果 `Slave_IO_Running` 和 `Slave_SQL_Running` 均为 `Yes`，则表示主从复制成功。

测试主从复制是否已成功搭建

  1. 登录主实例数据库并创建一个测试数据库

    首先，进入 mysql-master 容器并登录 MySQL：

    docker exec -it mysql-master bash
mysql -u root -p123456

    然后在主实例中创建一个测试数据库：

    CREATE DATABASE test_replication;

    创建完成后，您应该会看到如下输出，表示数据库已成功创建：

在这里插入图片描述

  1. 登录从实例数据库并检查是否已同步该数据库

    接下来，进入 mysql-slave 容器并登录 MySQL：

    docker exec -it mysql-slave bash
mysql -u root -p123456

    在从实例中检查是否已同步 test_replication 数据库：

    SHOW DATABASES;

在这里插入图片描述

在从实例中看到 test_replication 数据库已经存在，说明主从复制已经成功搭建。

洛卡卡了
关注
专栏目录
MySQL主从复制原理与实现
AI天才研究院
09-13 1983
MySQL是一个开源的关系型数据库管理系统，可以说它是当下最流行的关系型数据库之一。作为一种优秀的关系型数据库，MySQL自成一体地支持了许多高级特性，包括支持主从复制、SQL优化、高可用性等，使得其在企业级应用中广受欢迎。作为企业级数据库，MySQL备份还会提供各种实用工具帮助用户管理和维护MySQL数据。本文将以MySQL主从复制的基本原理为基础，阐述主从复制的工作流程、配置方式以及实现难点。最后，本文还将进一步探讨主从复制的可靠性、扩展性、健壮性、安全性、恢复及运维方面的挑战。
mysql5.6主从_MySQL5.6主从复制最佳实践
weixin_42313980的博客
01-18 530
MySQL5.6 主从复制的配置环境操作系统：CentOS-6.6-x86_64MySQL 版本：mysql-5.6.26.tar.gz主节点 IP：192.168.31.57 主机名：edu-mysql-01从节点 IP：192.168.31.59 主机名：edu-mysql-02MySQL 主从复制官方文档MySQL 主从复制(也称 A/B 复制)的原理Ma...
MySQL主从复制原理与实践：从配置到故障监控
二蛋的博客
01-19 1394
上文《MySQL数据被误删怎么办？介绍了MySQL在故障或者误删数据后，可以通过备份+binlog的方式进行数据恢复。但是，当备份文件和binlog都丢失了呢？所以单节点是不可靠的，为了避免单节点故障带来的数据丢失以及MySQL服务的可用性，生产环境通常都是采用高可用或者集群模式。而在这背后则离不开主从复制技术，所以本文对主从复制的原理和操作展开介绍，从而全面了解这一技术。不管是备份恢复还是主从复制，其目的都是为了提高MySQL的可靠性、可用性等。
mysql主从复制原理及实践
HuaZi_Myth的博客
12-14 379
Mysql主从复制原理及实践 mysql主从框架 MySQL主从架构是MySQL集群中最基本也是最常用的一种架构部署，能够满足很多业务需求，常见的有一主一从或者一主多从。可以防止单一主机的数据丢失，提高数据的安全性，务上可以实现读写分离，可以把一些读操作在从服务器上执行，减小主服务器的负担。 主从复制原理 mysql主从复制是指数据可以从一个mysql服务器节点复制...
mysql主从复制原理详解_MySql主从复制，从原理到实践！
weixin_39603537的博客
11-20 335
本文将从MySql主从复制的原理出发，详细介绍MySql在Docker环境下的主从复制搭建，以一个主实例和一个从实例实现主从复制为例。SpringBoot实战电商项目mall（25k+star）地址：https://github.com/macrozheng/mall什么是主从复制？主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从数据库上，然后在从数据库上对这些日志进行重新执行，从...
MySQL主从复制原理及其实践
蹊源的奇思妙想的博客
09-19 1818
MySql数据库主从复制的方式有两种 基于日志（binlog） 基于GTID（全局事务标识符） MySql主从复制（也称A/B复制）的原理 1. 数据存储：Master将数据改变记录到二进制日志(binary log)中，也就是配置文件log-bin指定的文件，这些记录叫做二进制日志事件(binary log events)； 2. 数据传输：Slave 通过 I/O 线程读取 Master ...
mysql8 进阶(二) 主从复制原理
llk15884975173的博客
02-20 732
Mysql8.0.12 主从复制原理 Docker 搭建
深入浅出MySQL主从复制与读写分离原理及其实践
hy199707的博客
03-28 948
在大型互联网应用中，数据库作为核心组件，其稳定性和性能直接影响着整个系统的健壮性。MySQL作为广泛应用的关系型数据库管理系统，提供了强大的主从复制与读写分离功能，帮助企业搭建高性能、高可用的数据库架构。本文将详细介绍MySQL主从复制与读写分离的原理，并探讨其在实际应用中的实践。
mysql主从同步原理及实践（最全）
不积跬步，无以至千里；不积小流，无以成江海。
09-04 922
1.为什么要做主从复制 在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运行。 做数据的热备，主库宕机后能够及时替换主库，保证业务可用性。 架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。 2.MySQL主从复制的流程 （1） 主库db的更新事件(upd
MySQL 主从复制原理与实践详解
09-08
以下是对MySQL主从复制原理、作用、实现方式以及实践操作的详细说明。 1. 原理： - 主服务器在执行写操作时，会将这些操作记录在二进制日志（binlog）中。binlog记录了所有改变数据库状态的语句。 - 从服务器会...
MySQL 主从复制模式全面实践
04-27
MySQL主从复制模式是数据库领域内一种重要的数据同步机制，它能够让一台主数据库服务器（master）的数据实时复制到一个或多个从数据库服务器（slave）上。...随着实践的深入，MySQL主从复制技术将继续发展和完善。
PostgreSQL的WAL日志优化及验证
Java_fenxiang的博客
10-05 857
在应用负载不变的情况下可以通过如下方法进行WAL优化登录后复制 1) 延长checkpoint时间间隔 FPI产生于checkpoint之后第一次变脏的page，在下次checkpoint到来之前，已经输出过FPI的page是不在需要再次输出FPI。因此checkpoint时间间隔越长，FPI产生的频度会越低。增大ch...
鲁班到家上门安装维修系统源码开发之结构功能解析
最新发布
weixin_43744973的博客
10-08 1077
鲁班到家上门安装维修系统的源码开发是一个复杂但富有成效的过程。通过详细的需求分析、技术选型、功能模块设计以及前后端分离开发，该系统不仅提升了服务效率，还通过数字化管理优化了用户体验。未来，该系统有望在智能家居售后服务领域发挥更加重要的作用，引领行业向更加高效、专业、透明的方向发展。
【2024】基于mysqldump的数据备份与恢复
皮皮的博客
10-03 990
本文记录了mysqldump对于MySQL数据库的备份与恢复用法
MySQL之复合查询与内外连接
zdlynj的博客
09-30 1503
前面我们讲解的mysql表的查询都是对一张表进行查询，即数据的查询都是在某一时刻对一个表进行操作的。而在实际开发中，我们往往还需要对多个表同时进行查询。我们这里使用的测试表，为雇员信息表(来自Oracle 9i的经典测试表)：EMP员工表，DEPT部门表，SALGRADE工资等级表。
ATAM需求说明-系统架构师（七十六）
ke1ying的博客
10-08 1039
1体系结构权衡分析法ATAM(Architecture Trade Off Analyzer Method)是一种常见的结构权衡分析法，该框架主要关注系统的（），针对性能、安全性、可用性和可修改性，在系统开发前进行分析、评价和这种。A共享数据库的集成方式通常将应用程序的数据存储在一个共享数据库中，通过制定统一的数据库模式来处理不同应用集成需求。场景和需求的收集，架构视图和场景的实现，属性模型的构造和分析，架构评价和折中。7企业信息资源集成管理的前提是对企业（）的集成，其核心是对企业（）的集成。
2024Java最新面试题总结（针对于一些小厂、中厂）
weixin_62375676的博客
10-07 1101
2024最新Java面试题，针对一些小厂，中厂
MySQL(B站CodeWithMosh)——2024.10.6(9)
unicorn_lemon的博客
10-06 1243
运算符：DELETE FROM、MAX、MIN、AVG、SUM、COUNT、GROUP BY
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@android:style/Theme.NoTitleBar"“属性。这样可以通过Android自带的主题去掉标题栏。 2. 使用自定义的主题，可以在样式表中添加以下代码： <style name="AppTheme" parent="Theme.AppCompat.NoActionBar"> <!-- ...其他样式... --> </style> 这种方式可以通过设置主题去除ActionBar和标题栏，同时保留其他布局元素。 3. 去掉代码中的setTitle()方法，这是一种最简单的方法，通过不设置Activity的标题来实现无标题。 以上就是三种常见的实现Android无标题的方式，开发者可以根据实际需求进行选择。值得注意的是，去除标题栏可能会影响用户的导航体验，因此在设计上需要考虑周全。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值