mysql的复制及备份

最新推荐文章于 2024-10-11 15:31:09 发布
最新推荐文章于 2024-10-11 15:31:09 发布
阅读量490 收藏 3
点赞数
分类专栏： # mysql 文章标签： mysql binlog 主从同步 复制-备份-恢复
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y3over/article/details/106742408
版权

概述

       MySQL整体来看，其实就有两块：一块是Server层，它主要做的是MySQL功能层面的事情；还有一块是引擎层，负责存储相关的具体事宜。InnoDB引擎特有的日志是redo log，而Server层的日志称为binlog。binlog记录了对MySQL数据库执行更改的所有操作，binlog文件写到一定大小后会切换到下一个（但一个事务的操作肯定在一个文件中，即大事务引发大文件），其大体作用：

  • 恢复：某些数据的恢复需要二进制日志。
  • 复制（replication）：通过复制和执行二进制日志使一台远程的MySQL数据库（一般为slave或standby）与一台MySQL数据库（一般为master或primary）进行同步。(阿里cannel开源框架)
  • 审计（audit）：用户可以通过二进制日志中的信息进行审计，判断是否有对数据库进行注入的攻击。

mysql复制原理在这里插入图片描述

  1. master在每个事务更新数据完成之前，将该操作记录串行地写入到binlog文件中，也称为二进制文件。
  2. slave开启一个I/O Thread，该线程与master建立连接，master则会启动binlog dump 线程并取binlog事件。如果读取的进度已经跟上了master，就进入睡眠状态并等待master产生新的事件。salve的I/O线程将接收到的事件写入到relay log(中继日志)中,且slave连接master的信息及同步进度数据都会保存在master.info文件中（具体内容参考下面复制方式）。
  3. slave 中的 SQL Thread会读取relay log（中继日志），并顺序执行该日志中的SQL事件，从而与主数据库中的数据保持一致。
mysql复制模式
  • ROW（行模式）：记录那条数据修改了，注意：记录的是这条记录的全部数据，即使只更新了一个字段，binlog里也会记录所有字段的数据
    • 优点：他不记录sql语句的上下文信息，日志内容会非常清楚的记录每条数据详细的变更细节，即使只更新了一个字段，binlog里也会记录所有字段的数据。因为可靠性强，基本选成这种
    • 缺点：binlog日志会非常大，mysql主从同步时，会产生大量磁盘IO
  • Statement（语句模式）: 每一条会修改数据的sql都会记录在binlog中。
    • 优点：不需要记录每一行的变化，减少了binlog日志量，节约了IO，提高性能。
    • 缺点：由于记录的只是执行语句，为了这些语句能在slave上正确运行，因此还必须记录每条语句在执行的时候的一些相关信息，以保证所有语句能在slave得到和在master端执行时候相同 的结果。另外mysql 的复制,像一些特定函数功能，slave可与master上要保持一致会有很多相关问题。
  • Mixed（混合模式）：在Mixed模式下，一般的语句修改使用statment格式保存binlog，如一些函数，statement无法完成主从复制的操作，则采用row格式保存binlog，MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式，也就是在Statement和Row之间选择一种。
MySQL主从复制方式

前提：binlog文件是顺序存储结构的。

  • 基于日志点复制
    1. 时间time,根据时间找time到binlog文件中与此时间最近的事务pos进行同步
    2. 位置pos,根据位置pos找到binlog文件中与此位置最近的事务pos进行同步
  • 基于GTID复制
    • GTID是全局事务ID，其保证为每个在master上提交的事务在复制集群中可以生产一个唯一ID。GTID的生成策略是source_id(也就是server的uuid，在auto.conf文件里面可以看到):transaction_id(自增序列)。解决Master-Master拓扑模式，binlog回路问题
    • 根据gtid,直接在binlog文件中找到进行同步

区别

  • 基于日志点复制
  1. 对sql查询没有什么限制
  2. 故障转移时重新获取master的日志点信息比较困难（因为偏移点是批量增长的，时间的话有可能一样）。如果指定错误会造成遗漏或者重复，造成主从不一致。
  • 基于GTID复制
  1. 不支持非事务引擎。对执行的sql有一定的限制。
  2. 可以很方便的进行故障转移，记录master最后事务的GTID值。（按事务分，比较清晰）

Mysql复制类型

  1. MySQL 5.5版本之前，一直采用的是这种异步复制的方式。主库的事务执行不会管备库的同步进度，如果备库落后，主库不幸crash，那么就会导致数据丢失.
  2. 在MySQL在5.5中就顺其自然地引入了半同步复制，主库在应答客户端提交的事务前需要保证至少一个从库接收并写到relay log中。
  3. MySQL在5.7.17中引入了一个全新的技术，称之为InnoDB Group Replication。目前官方MySQL 5.7.17基于Group replication的全同步技术已经问世，全同步技术带来了更多的数据一致性保障
异步复制

MySQL默认的复制即是异步的.

  1. 主库将事务Binlog事件写入到Binlog文件中
  2. 主库通知一下Dump线程发送这些新的Binlog
  3. 主库就会继续处理提交操作(sync binlog, engine Commit)
  4. 返回客户端（此时不会保证这些Binlog传到任何一个从库节点上）

在这里插入图片描述最大的问题
        master和slave事务更新的不同步，当业务并发上来时，slave因为要顺序执行master批量事务，导致很大的延迟。此时，master如果crash掉了，master上已经提交的事务可能没有传到slave上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。

半同步复制

为解决异步复制的不足，MySQL 5.5~5.6可安装semisync_master.so插件，使用after_commit模式的半同步复制

  1. 主库将事务Binlog事件写入到Binlog文件中
  2. 主库通知一下Dump线程发送这些新的Binlog
  3. 主库就会继续处理提交操作(sync binlog, engine Commit)，并向从库发生Event。
  4. dumper线程等待接收slave的ack工作
  5. 返回客户端在这里插入图片描述
    最大的问题
            主库将事务在存储引擎层（engine Commit)提交后，主库发生了crash，Slave端还没有读到该事务的events。此时，虽然主库没有返回当前客户端，但事务已经提交，其他客户端会读取到已提交事务。现在强行将从提升为主，那么之前读到的事务就不见了，出现了幻读。

针对上述的问题，5.7.2引入了Loss-less Semi-Synchronous插件，支持after_sync模式的半同步复制
6. 主库将事务Binlog事件写入到Binlog文件中
7. 主库通知一下Dump线程发送这些新的Binlog
8. 主库就会继续处理提交操作(sync binlog)，并向从库发生Event。
9. Receiver线程等待接收slave的ack工作
10. 主库就会继续处理提交操作engine Commit
11. 返回客户端在这里插入图片描述

两者区别

  1. 独立出一个Ack Receiver线程 ，专门用于接收slave返回的ack请求，这将之前dump线程的发送和接受工作分为了两个线程来处理。
  2. 无损复制在write binlog完成后，就传输binlog，但还没有去写commit log，意味着当前这个事物对数据库的修改，其他事物也是不可见的。因此，不会出现幻读，数据丢失风险。

实际使用中还碰到一种情况从库IO线程有延迟时，主库会自动把半同步复制降为异步复制；当从库IO延迟没有时，主库又会把异步复制升级为半同步复制。

全同步复制

又称组复制。基于传统异步复制和半同步复制的缺陷——数据的一致性问题无法保证，官方在5.7.17版本正式推出组复制（MySQL Group Replication，简称MGR）。
在这里插入图片描述
MGR依靠分布式一致性Paxos协议（变体），实现了分布式下数据的最终一致性，并且所有以前特点（功能可参考《日志一致性协议Raft》）

  1. 高可用：一台机子挂了，其它正常
  2. 可扩展：可加节点，新加节点会同步老节点数据（必须基于GTID）
  3. 容错：容忍 f 个故障机所需的服务器数量 n 为：n = 2 * f + 1。

mysql复制常用拓扑结构

在这里插入图片描述
复制的体系结构有以下一些基本原则：

  1. 每个slave只能有一个master；
  2. 每个slave只能有一个唯一的服务器ID；
  3. 每个master可以有很多slave；
  4. 如果你设置log_slave_updates，slave可以是其它slave的master，从而扩散master的更新。

常见的拓扑结构有：

  • master和slave
  • 主动-被动模式的Master-Master
  • 带从服务器的Master-Master结构
  • master和分发master和slave
  • 级联复制架构 Master –Slaves - Slaves

备份恢复

“复制是备份”是我们经常碰到一个误区，复制不是备份。如果意外发生主库"drop database",备库能否帮我们恢复所有的数据？而我们的备份方案往往是根据恢复需求而来的。

备份方案

  • 逻辑备份还是物理备份

    • 逻辑备份：由数据库服务器完成生成逻辑备份，比如dump将表以sql 的方式导出
    • 物理备份：基于文件，只需要将需要的文件复制到其他地方即可完成备份，比如binlog。InnoDB需要停止数据库服务(FLUSH TABLES WITH READ LOCK)把缓存中的数据都刷到磁盘,或者直接关停Mysql

  • 在线备份还是离线备份

    • 离线备份：将Mysql关停，备份数据（大多情况无法接受）
    • 物理备份：Mysql运行期间进行备份,大致要考虑
      1. 锁时间：需要持有锁多长时间，例如备份期间持有的全局FLUSH TABLES WITH READ LOCK。将数据导出
      2. 备份时间和负载： 复制备份到目的地需要多久及对服务器性能的影响有多少（Perconna XtraBackup工具有控流产品）
      3. 恢复时间：把备份镜像从存储位置复制到MySQL服务器，重放二进制日志需要多久

  • 快照方式

    • 复制数据文件产生副本
    • 文件系统快照，LVM
    • 硬盘快照,RAID

  • 全量备份还是增量备份
    - 全量备份：全部备份下来
    - 增量备份：上次全量备份后，所发生改变的数据进行备份

互联网复制备份架构选择

  • 复制拓扑采用主动-被动模式的Master-Master
  • 在被动Master（备库）使用 XtraBackup 进行 每周全量，第日增量的物理备份
  • 在被动Master（备库），接入canal等开源框架并向其它库分发（模拟从库）

满足以下问题：

  • 选择性复制：模拟从库可以根据自己的需要拉取相关数据
  • 分离功能：Master只做OLTP.OLAP在模拟从库做
  • 数据归档：模拟从库，可不接收Master的delete事件。Master最好保证逻辑设计，由DBA统一删除。最好使用唯一的ID,以防止归档的时间出现错误
  • 文件系统快照：停机被动Master，全量备份Mysql数据文件.然后再flush logs，将后面提交的写到新的binlog中，方便增量备份。
  • 数据一致性：binlog事件是基于事务的，不能防止逻辑设计很差的应用 （本来是业务要求一个事件，开发者设计成两个或以上事务，破坏数据一致性）

主要参考

《高性能Mysql》
《MySQL 5.7半同步复制技术》
《MySQL 8 复制（七）——组复制基本原理》

懒猫gg
关注
专栏目录
MySQL日志管理、备份与恢复
sukapulai的博客
05-29 465
目录 MySQL备份 数据备份的重要性 数据库备份的分类 常见的备份方法 MySQL完全备份 数据库完全备份分类 MySQL物理冷备份及恢复 mysqldump逻辑备份与恢复 MySQL完全恢复 MySQL增量备份 MySQL 增量备份与恢复 #二进制日志(binlog)有3种不同的记录格式: MySQL 增量恢复 一般恢复 基于位置恢复 基于时间点恢复 MySQL.的日志默认保存位置为/usr/local/mysql/data vim /etc/my.cnf [
mysql主从复制/主从备份搭建
qq_42872034的博客
03-16 874
最新的 Java 面试题，技术栈涉及 Java 基础、集合、多线程、Mysql、分布式、Spring全家桶、MyBatis、Dubbo、缓存、消息队列、Linux…等等，会持续更新。
MySQL数据库备份
L2111533547的博客
06-22 1万+
日志文件在数据库进行备份和恢复时起到了很重要的作用 常用的日志文件默认保存在 /usr/local/mysql/data 目录下 可在 /etc/my.cnf 配置文件中的 [mysqld] 中进行日志的路径修改、开启、关闭等操作用于记录 mysql 启动、停止或运行时产生的错误信息 可通过一下字段进行更新 1.3 二进制文件 二进制日志，用来记录所有更新的数据或者已经潜在更新了数据的语句，记录了数据的更改，可用于数据恢复 开启方式： 1.4 中继日志 一般情况下，它在 mysql 主从同步（复制）、读写分
Mysql-数据备份
最新发布
qq_42181617的博客
10-11 1788
MySQL 数据备份是数据库管理中的一个重要环节，确保数据的安全性和可恢复性。以下是 MySQL 数据备份的详细步骤和方法，包括逻辑备份和物理备份。
MySQL的复制：MySQL系列之十三
weixin_30887919的博客
06-16 448
一、MySQL复制相关概念 主从复制：主节点将数据同步到多个从节点 级联复制：主节点将数据同步到一个从节点，其他的从节点在向从节点复制数据 同步复制：将数据从主节点全部同步到从节点时才返回给用户的复制策略叫同步复制 异步复制：只要数据写入到主节点就立即返回给用户同步完成 读写分离：在前端加一个调度器，负责将改变数据的语句和查询数据的语句分开调度，把写操作调度到主节点，读操作调度到从节点 主节...
Mysql 复制一条数据
热门推荐
chengxuyuanyonghu的专栏
07-07 3万+
从不同的表复制 insert into 表1 select * from 表2 where id =** ;   同一张表中复制（无主键） insert into 表1 select * from 表2 where id =** ;   同一张表中复制（有主键） insert into 表1(字段1,字段2,字段3) select 字段1,字段2,字段3
MYSQL复制
qq_17202587的博客
08-15 472
一、复制原理 目前MYSQL的复制方式有两种，一种传统的组复制，利用二进制的binlog 以及relaylog实现；另一种是基于gtids（ global transaction identifiers ）实现，宏观上来讲是基于主节点的事务提交确认到所有节点来实现，好处是不需要处理日志文件，简化复制的过程。 MYSQL复制支持多种同步方式。比较原始的同步方式是采用异步的一主多从。8.0开始支持...
nbu&mysql备份恢复.docx
04-24
2. 将libmysqlclient.so库文件复制到/usr/local/mysql/lib目录下 3. 配置NBU，以使用libmysqlclient.so库文件 配置mysql备份代理配置文件 mysql备份代理配置文件是NBU备份mysql数据库所需的配置文件。配置过程可以...
Linux MySQL数据库本地备份及异地备份
10-12
备份主要分为全量备份和增量备份，全量备份是复制所有数据，而增量备份只备份自上次备份以来发生更改的数据。 2. **Linux环境**：Linux是一种自由和开放源码的操作系统，通常用于服务器环境，因为它稳定且高效。在...
MySQL复制原理与配置
刀刀的专栏
11-15 9186
1复制配置 1.1如何搭建复制 1.1.1master配置 开启二进制日志并创建唯一的Server ID：在my.cnf文件的[mysqld]节加入相应配置信息并重启Server使其生效。 [mysqld] log-bin=mysql-bin server-id=1 注意事项 复制组中每台Server的server-id必须唯一以便于识别不同的Server。server-id范围为
MySQL 复制
H_L_S的专栏
06-07 239
复制原理： 1.在一个完整备份加上二进制日志备份的还原。 2.从服务器有两个线程,1个是IO线程，负责读取主服务器的二进制日志，并保存为中继日志。另一个是SQL线程。复制执行中继日志 复制步骤： 1.主服务器把数据更改记录到二进制日志 2.从服务器读取主服务器二进制日志复制到自己的中继日志中 3.从服务重做中继日志 复制配置(复制需要打开 二进制日志和设置不同的 se...
我的MYSQL学习心得（十七） 复制
weixin_33806300的博客
08-07 318
我的MYSQL学习心得（十七） 复制   我的MYSQL学习心得（一） 简单语法 我的MYSQL学习心得（二） 数据类型宽度 我的MYSQL学习心得（三） 查看字段长度 我的MYSQL学习心得（四） 数据类型 我的MYSQL学习心得（五） 运算符 我的MYSQL学习心得（六） 函数 我的MYSQL学习心得（七） 查询 我的MYSQL学习心得（八） 插入 更新 删除 我的MYSQ...
Mysql之复制
qq_38571892的博客
08-16 724
复制简介 复制解决的基本问题是一台服务器的数据与其他服务器保持同步。Mysql内建的复制功能是构建基于Mysql的大规模、高性能应用的基础，这类应用使用所谓的水平扩展。一个主库的数据可以同步到多台备库上，备库本身也可以被配置成另外一台服务器的主库。 需要注意的是，随着复制技术的不断迭代升级，mysql复制大部分是向后兼容的，也就是说备库的版本不能低于主库的版本，反过来老版本作为新版本的备库通常是行不通的。 Mysql复制的类型 Mysql支持两种复制方式：基于行的复制和基于语句的复制。 这两种方式都是通过在
MySQL之复制(三)
Cover_sky的博客
06-18 885
前面的设置都是嘉定主备库均为刚刚安装好且都是默认的数据，也就是说两台服务器上数据相同，并且知道当前主库的二进制日志。这不是典型的案例，大多数情况下有一个已经运行了一段时间的主库，然后用一台新安装的备库与之同步，此时这台备库还没有数据。有几种办法来初始化备库或者从其他服务器克隆到备库。选项–single-transaction使得转储的数据为事务开始前的数据。如果使用的是非事务型表，可以使用–lock-all-tables选项来获得所有表的一致性转储。
MySQL--数据备份还原以及主从复制
Gavin_new的博客
02-20 1111
作为数据库，为了数据安全，mysql当然提供了数据备份和数据还原的功能，而且还提供了主从复制的功能，也就是说能搭建数据库集群，以下记录下常用的操作步骤流程；一. MYSQL的备份备份相当简单，使用mysqldump工具就可以实现：//将指定的数据库备份 mysqldump -uroot -h host -p123456 库名 > test.sql //将指定的数据表备份 mysqldump -u
mysql通过复制备份_mysql备份复制-2
weixin_39804329的博客
01-28 167
mysql简介-1本篇将介绍备份恢复、主从、主主4、mysql备份恢复mysql备份分为冷备和热备，使用冷备需要关闭服务器，在生产绝对不建议这么操作，热备又称为逻辑备份和裸文件备份,备份文件又可以分为全备和增量备份，逻辑备份对增量备份不是特别理想。从这里开始我们准备两台机器： 系统Cenos7.4 mysql: 5.74.1、mysqldump备份操作1、全备备份： [[emailprotec...
MYSQL的复制场景
邢宇宇的博客
04-18 403
MYSQL相关配置，以及主从复制、主主复制等
MySQL主从复制实现实时备份
在MySQL数据库中，主从复制是一种常用的数据备份和恢复策略，它可以确保在一个服务器（主服务器）上进行的所有写操作都能被另一个服务器（从服务器）实时地、同步地复制。这种配置对于提高系统的可靠性和灾难恢复...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值