MySQL实践——数据库备份工具mydumper介绍及使用

已于 2023-07-31 16:35:06 修改
阅读量2.4k 收藏 6
点赞数 2
分类专栏： MySQL实践 文章标签： 数据库 mysql 数据库备份 热备
于 2021-08-30 09:29:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijuncheng963375877/article/details/119989577
版权

1. mydumper 介绍

Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。

Mydumper主要特性：

  • 轻量级C语言写的
  • 多线程备份，备份后会生成多个备份文件
  • 事务性和非事务性表一致的快照(适用于0.2.2以上版本)
  • 快速的文件压缩
  • 支持导出binlog
  • 多线程恢复(适用于0.2.1以上版本)
  • 以守护进程的工作方式，定时快照和连续二进制日志(适用于0.5.0以上版本)
  • 开源 (GNU GPLv3)

下载地址

https://launchpad.net/mydumper

2. mydumper 安装

mydumper使用c语言编写，使用glibc库
mydumper安装所依赖的软件包，glibc, zlib, pcre, pcre-devel, gcc, gcc-c++, cmake, make, mysql客户端库文件

  1. 安装依赖软件包，将mysql客户端库文件路径添加至/etc/ld.so.conf, 如/usr/local/mysql/lib
  2. 解压软件包进入目录
  3. cmake .
  4. make && make install

安装步骤

[root@mysql-150 ~]# yum -y  install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake
[root@mysql-150 ~]# wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
[root@mysql-150 ~]# tar zxf mydumper-0.9.1.tar.gz
[root@mysql-150 ~]# cd mydumper-0.9.1/
[root@mysql-150 mydumper-0.9.1]# pwd
/root/mydumper-0.9.1
[root@mysql-150 mydumper-0.9.1]# cmake .
[root@mysql-150 mydumper-0.9.1]# make
[root@mysql-150 mydumper-0.9.1]# make install

#安装完成后生成两个二进制文件mydumper和myloader位于/usr/local/bin目录下
[root@mysql-150 bin]# ls /usr/local/bin/
mydumper  myloader

3. mydumper 命令参数

-B, --database              要备份的数据库，不指定则备份所有库
-T, --tables-list           需要备份的表，名字用逗号隔开
-o, --outputdir             备份文件输出的目录
-s, --statement-size        生成的insert语句的字节数，默认1000000
-r, --rows                  将表按行分块时，指定的块行数，指定这个选项会关闭 --chunk-filesize
-F, --chunk-filesize        将表按大小分块时，指定的块大小，单位是 MB
-c, --compress              压缩输出文件
-e, --build-empty-files     如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）
-x, --regex                 是同正则表达式匹配 'db.table'
-i, --ignore-engines        忽略的存储引擎，用都厚分割
-m, --no-schemas            不备份表结构
-k, --no-locks              不使用临时共享只读锁，使用这个选项会造成数据不一致
--less-locking              减少对InnoDB表的锁施加时间（这种模式的机制下文详解）
-l, --long-query-guard      设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）
--kill-long-queries         杀掉长查询 (不退出)
-b, --binlogs               导出binlog
-D, --daemon                启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备份
-I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下
-L, --logfile               使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
--tz-utc                    跨时区是使用的选项，不解释了
--skip-tz-utc               同上
--use-savepoints            使用savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限
--success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host                  连接的主机名
-u, --user                  备份所使用的用户
-p, --password              密码
-P, --port                  端口
-S, --socket                使用socket通信时的socket文件
-t, --threads               开启的备份线程数，默认是4
-C, --compress-protocol     压缩与mysql通信的数据
-V, --version               显示版本号
-v, --verbose               输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为 2

4. myloader 命令参数

-d, --directory                   备份文件的文件夹
-q, --queries-per-transaction     每次事物执行的查询数量，默认是1000
-o, --overwrite-tables            如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构
-B, --database                    需要还原的数据库
-e, --enable-binlog               启用还原数据的二进制日志
-h, --host                        主机
-u, --user                        还原的用户
-p, --password                    密码
-P, --port                        端口
-S, --socket                      socket文件
-t, --threads                     还原所使用的线程数，默认是4
-C, --compress-protocol           压缩协议
-V, --version                     显示版本
-v, --verbose                     输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

5. 使用案例

使用案例

5.1 备份 beta 库

备份 beta 库到 /data/backup/mysql 文件夹中

[root@mysql-150 mysql]# mydumper -u root -p 123456  -P 3306 -h 127.0.0.1 -B beta  -o /data/backup/mysql/
[root@mysql-150 mysql]# pwd
/data/backup/mysql
[root@mysql-150 mysql]# tree
.
├── beta-schema-create.sql
├── beta.t1-schema.sql
├── beta.t1.sql
├── beta.t2-schema.sql
├── beta.t2.sql
└── metadata

备份数据
从上面可以可以看出，备份所生成的文件，目录中包含一个metadata文件。
记录了备份数据库在备份时间点的二进制日志文件名，日志的写入位置，如果是在从库进行备份，还会记录备份时同步至主库的二进制日志文件及写入位置 。

每个表有两个备份文件：

  • database.table-schema.sql 表结构文件
  • database.table.sql 表数据文件
5.2 恢复 beta 库
# 删除 beta 库
root@localhost [(none)]>drop database beta;
# myloader 恢复
[root@mysql-150 mysql]# myloader -u root -p 123456 -h 127.0.0.1 -B beta -d /data/backup/mysql/
# 验证
root@localhost [(none)]>show databases;

恢复库

6. mydumper 备份原理

6.1 备份过程记录
  1. 先把general_log 打开，记录备份过程
root@localhost [(none)]>show variables like 'general_log';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| general_log   | OFF   |
+---------------+-------+
1 row in set (0.01 sec)
 --记录对数据库的所有操作
root@localhost [(none)]>set global general_log=1;
Query OK, 0 rows affected (0.02 sec)

root@localhost [(none)]>show variables like '%general%';
+------------------+-------------+
| Variable_name    | Value       |
+------------------+-------------+
| general_log      | ON          |
| general_log_file | general.log |
+------------------+-------------+
 
[root@mysql-150 ~]# tail -f  /data/mysql/mysql3306/data/general.log

在这里插入图片描述
2. 删除原来备份数据，进行重新备份

#删除备份数据
[root@mysql-150 mysql]# cd /data/backup/mysql/
[root@mysql-150 mysql]# pwd
/data/backup/mysql

#删除当前目录所有文件
[root@mysql-150 mysql]# rm -rf *

#mydumper备份
[root@mysql-150 mysql]# mydumper -u root -p 123456  -P 3306 -h 127.0.0.1 -B beta  -o /data/backup/mysql/　

备份操作记录
备份操作记录
在这里插入图片描述
UNLOCK TABLES 后截图没截图完，最后有5个quit 信息

上面两个截图是完整的备份步骤

  1. 单个库备份过程(这个库是的引擎是 innodb)
    这里我总结一下
* 1. 第一个发起备份的tcp信息
FLUSH TABLES WITH READ LOCK  # 加全局锁，防止写入
START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */ # 开启事务
/*!40101 SET NAMES binary*/  # 获取当前数据库的状态信息，就是数据库当前正在使用的二进制日志及当前执行二进制日志位置，执行了哪些GTID
SHOW MASTER STATUS
SHOW SLAVE STATUS
 
2. 剩下的4个tcp 信息内容基本是同时工作的(也就是多线程)，内容都是
SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ  #把当前会话事务隔离级别改为可重复读
START TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */ # 开启事务
 
3. 获取相应的库信息，表信息，数据信息
Init DB   beta
SHOW TABLE STATUS
SHOW CREATE DATABASE `beta`
SELECT /*!40001 SQL_NO_CACHE */ * FROM `beta`.`t1`
SELECT /*!40001 SQL_NO_CACHE */ * FROM `beta`.`t2`
SHOW CREATE TABLE `beta`.`t1`
SHOW CREATE TABLE `beta`.`t2`
 
4. 解锁
UNLOCK TABLES /* FTWRL */
 
5. 最后备份结束，退出事务

注：由于我的库很小，所以一下就结束了。

6.2 备份原理

1、主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁，保证数据的一致性
2、读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供即使点恢复使用
3、N个（线程数可以指定，默认是4）dump线程把事务隔离级别改为可重复读 并开启读一致的事务
4、dump non-InnoDB tables, 首先导出非事物引擎的表
5、主线程 UNLOCK TABLES 非事务引擎备份完后，释放全局只读锁
6、dump InnoDB tables, 基于事务导出InnoDB表
7、事务结束

三月微风
关注
专栏目录
数据库架构设计——mysql备份系统设计
庄小焱
01-15 1317
摘要 高可用只是用来保证业务的连续性，当发生灾难时，MySQL 数据库可以进行切换，或者 InnoDB Cluster 技术的高可用解决方案。除了高可用设计外，对架构师来说，还要做好备份架构的设计。因为我们要防范意外情况的发生，比如黑客删除了数据库中所有的核心数据；又或者某个员工有意也罢、无意也好，删除了线上的数据。这种删库跑路的情况并不少见，几乎每过一段时间就成为头条新闻，比如 2020年发生的删库跑路的事件。我们可以看到，破坏性的删除数据不但会对业务连续性产生影响，也会让公司经济遭受不可评估的破坏。所
DBMotion——MySQL迁移利器
koon9的博客
11-25 2609
DBMotion——MySQL迁移利器
mysql大数据备份工具
08-04
mysql大数据备份工具，支持备份超过2g的软件
自动备份 MySQL 数据库的工具 - MySQL Backup Tool
weixin_34283445的博客
03-10 167
MySQL Backup Tool 备份 MySQL 数据库是数据库管理的基本任务，虽然可以直接通过 mysqldump 进行备份，但是，要实现自动备份还是需要做许多工作。MySQL Backup Tool 为我们提供了自动化备份 MySQL 数据库的支持。 特性： mySQL 备份(自动, 手动和定时) 结构 /架构和存储过程 / 函数 压缩为 zip 文件 (包含口令保护) ...
MySQL数据库备份详解
最新发布
OpsEye的博客
09-24 1602
也叫做完整备份，是对整个数据库进行复制备份，包括系统文件、日志文件和配置文件等信息。●。
mysql数据库备份厂家_mysql数据库备份
weixin_29374899的博客
01-19 1273
匿名用户1级2010-12-19 回答在数据库表丢失或损坏的情况下，备份你的数据库是很重要的。如果发生系统崩溃，你肯定想能够将你的表尽可能丢失最少的数据恢复到崩溃发生时的状态。有时，正是MySQL管理员造成破坏。管理员已经知道表以破坏，用诸如vi或Emacs等编辑器试图直接编辑它们，这对表绝对不是件好事！备份数据库两个主要方法是用mysqldump程序或直接拷贝数据库文件(如用cp、cpio或ta...
Mysql常用的数据备份工具
小伍的程序之路
06-07 393
mysqlbackup: mysql enterprise的商业备份工具，功能相对完善，适合生产环境，但是商业收费软件、互联网行业使用较少。mysqldump: mysql自带的简易数据库备份工具，只能全量备份，且是单线程备份，对于大数据量的备份不太合适。mysqlpump: mysql自带的简易数据库备份工具，也只能全量备份，但可以多线程并行备份。mysqlimport: mysql自带的结构化文本数据导入工具，和。xtrabackup: 开源的功能完备的数据库备份软件。
mysql逻辑备份利器-mydumper
cucao1980的博客
06-14 307
下载： Mydumper官网：http://www.mydumper.org/ githup：https://github.com/maxbube/my...
mysqlpump与mysqldump及mydumper的备份速度测试
12-14
本文将讨论三种常见的MySQL备份工具——mysqlpump、mysqldump和mydumper，并基于一个特定的测试环境分析它们的备份速度。 首先，让我们了解测试环境。在测试中，创建了一个名为“test”的数据库，其中包含了10个每...
数据库工具
10-28
在本篇中，我们将深入探讨两种广泛使用的数据库管理系统——MySQL和Oracle，以及相关的数据库工具，帮助用户更高效、便捷地操作数据库。 MySQL是一款开源、免费的关系型数据库管理系统，它以其高性能、易用性和稳定...
大数据与云原生（解决方案专场）——RadonDB：新一代分布式关系型数据库 共25页.pdf
07-18
- **备份与恢复**：提供了完善的备份与恢复机制，利用go-mydumper工具可以高效地完成数据的备份和恢复操作，确保业务连续性。 5. **性能优化** - **TPS与响应时间**：在测试环境中，当配置为1个SQL客户端连接4个...
mysql数据库备份工具
08-14
mysql 数据库备份 工具 绿色版，可以快速对数据库进行备份，而不需要使用专业的客户端工具来操作。
mysql备份工具
07-30
mysql备份工具使用
多备份-MySQL数据库自动备份工具 v1.0
10-31
多备份MySQL数据库自动备份工具(windows客户端)是深圳木浪科技开发的一款高效MySQL自动备份和恢复的工具。可以备份网站服务器和本地MySQL数据库，免费授权给大家使用。多备份MySQL数据库自动备份工具的特色1、全面兼容MySQL各版本，不限数据库大小，均可备份和恢复。2、定时计划任务，全自动增量备份，完全帮您省去频繁手工备份的烦恼。1)可以设置每天/每周/每月，在具体的时间自动备份。2)不限制创建的计划任务数量。3、备份数据全部加密，自动压缩存储，私有密钥和cloud5技术保证您的数据绝对安全。4、备份数据可以存储到本地，也可以存储到云，云端备份可绑定百度云、阿里云、腾讯云等9个云平台5、Web在线集中管理控制台,操作简单明了。多备份简介多备份是深圳木浪科技旗下简单专业的全球化数据保护服务品牌，由国际顶级投资机构IDG和极客帮联合投资 ; 提供的服务包括数据加密备份保护和恢复，数据备份到本地或云，或数据同时备份到本地和云。根据需要，可以通过客户端或网站一键极速恢复数据;也可以通过友好的网站管理控制面板，集中管理从几个到数万个保护对象支持从各型服务器到SQL Server,
MySql数据库备份工具
04-29
mysql数据库备份工具，可以将数据库备份到本地
MySQL mydumper工具
zj88189748的专栏
05-07 1651
MyDumper是一个MySQL逻辑备份工具。mydumper负责导出 MySQL 数据库的一致备份myloader从 mydumper 读取备份，连接到目标数据库并导入备份。这两个工具都使用多线程功能。支持多线程导出数据，速度更快。支持一致性备份。支持将导出文件压缩，节约空间。支持多线程恢复。支持以守护进程模式工作，定时快照和连续二进制日志。支持按照指定大小将备份文件切割。数据与建表语句分离。下载工具我下载的是zip包，上传至虚拟机，解压安装依赖包(CentOS)
xtrabackup(转载）
qq_26464429的博客
12-12 503
前面介绍mysqldump备份方式是采用逻辑备份，其最大的缺陷就是备份和恢复速度都慢，对于一个小于50G的数据库而言，这个速度还是能接受的，但如果数据库非常大，那再使用mysqldump备份就不太适合了。而使用lvm快照功能对数据库进行备份，可以实现几乎热备的功能，但备份过程较为复杂，不过现在倒是有个工具mylvmbackup可以实现自动化备份。前面我们也说道，使用物理备份时最快的，那有没有办法实现
mysql数据库备份工具_MySQL数据库备份工具和六种方法介绍
weixin_29266007的博客
01-28 2435
关于Mysql备份数据库的方法，烈火网小编总结了目前所有的备份方式，有以下几种：mysqldump、mysqlhotcopy、BACKUP TABLE 、SELECT INTOOUTFILE，又或者备份二进制日志(binlog)，还可以是直接拷贝数据文件和相关的配置文件。MyISAM 表是保存成文件的形式，因此相对比较容易备份，上面提到的几种方法都可以使用。Innodb 所有的表都保存在同一个数据...
【MySQL备份】MySQL备份工具-MyDumper
DBA之路的博客
12-13 1745
MyDumper是一个MySQL逻辑备份工具。mydumper负责导出 MySQL 数据库的一致备份myloader从 mydumper 读取备份，连接到目标数据库并导入备份。这两个工具都使用多线程功能。MyDumper优势有哪些速度更快 - 多线程并发备份性能更好 - 避免昂贵的字符集转换，整体代码高效易于管理的输出文件 -（比如每个表都能生成单独的备份文件，备份的元数据信息文件metadata记录位点信息等等，便于查看/解析数据）
mydumper：高性能多线程MySQL数据库备份工具
"mydumper是一款高性能的MySQL和Drizzle数据库的备份与恢复工具，由C语言编写，具有轻量级、速度快、支持多线程等特性。它比mysqldump快大约10倍，并且能处理事务性和非事务性表的一致性快照。mydumper还支持快速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三月微风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值