mydumper 介绍及使用

已于 2022-08-23 15:37:08 修改
阅读量1k 收藏
点赞数
分类专栏： 运维 笔记 应用服务 文章标签： 数据库
于 2022-08-08 11:17:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45623111/article/details/126223753
版权
笔记 同时被 3 个专栏收录
67 篇文章 3 订阅
订阅专栏
运维
66 篇文章 1 订阅
订阅专栏
应用服务
60 篇文章 0 订阅
订阅专栏

 Mydumper 介绍

Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。 

Mydumper主要特性：

  • 轻量级C语言写的
  • 多线程备份，备份后会生成多个备份文件
  • 事务性和非事务性表一致的快照(适用于0.2.2以上版本)
  • 快速的文件压缩
  • 支持导出binlog
  • 多线程恢复(适用于0.2.1以上版本)
  • 以守护进程的工作方式，定时快照和连续二进制日志(适用于0.5.0以上版本)
  • 开源 (GNU GPLv3)

下载地址：

https://launchpad.net/mydumper

-B, --database              要备份的数据库，不指定则备份所有库
-T, --tables-list           需要备份的表，名字用逗号隔开
-o, --outputdir             备份文件输出的目录
-s, --statement-size        生成的insert语句的字节数，默认1000000
-r, --rows                  将表按行分块时，指定的块行数，指定这个选项会关闭 --chunk-filesize
-F, --chunk-filesize        将表按大小分块时，指定的块大小，单位是 MB
-c, --compress              压缩输出文件
-e, --build-empty-files     如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）
-x, --regex                 是同正则表达式匹配 'db.table'
-i, --ignore-engines        忽略的存储引擎，用都厚分割
-m, --no-schemas            不备份表结构
-k, --no-locks              不使用临时共享只读锁，使用这个选项会造成数据不一致
--less-locking              减少对InnoDB表的锁施加时间（这种模式的机制下文详解）
-l, --long-query-guard      设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）
--kill-long-queries         杀掉长查询 (不退出)
-b, --binlogs               导出binlog
-D, --daemon                启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备份
-I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下
-L, --logfile               使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
--tz-utc                    跨时区是使用的选项，不解释了
--skip-tz-utc               同上
--use-savepoints            使用savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限
--success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host                  连接的主机名
-u, --user                  备份所使用的用户
-p, --password              密码
-P, --port                  端口
-S, --socket                使用socket通信时的socket文件
-t, --threads               开启的备份线程数，默认是4
-C, --compress-protocol     压缩与mysql通信的数据
-V, --version               显示版本号
-v, --verbose               输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为 2

myloader 参数解释

-d, --directory                   备份文件的文件夹
-q, --queries-per-transaction     每次事物执行的查询数量，默认是1000
-o, --overwrite-tables            如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构
-B, --database                    需要还原的数据库
-e, --enable-binlog               启用还原数据的二进制日志
-h, --host                        主机
-u, --user                        还原的用户
-p, --password                    密码
-P, --port                        端口
-S, --socket                      socket文件
-t, --threads                     还原所使用的线程数，默认是4
-C, --compress-protocol           压缩协议
-V, --version                     显示版本
-v, --verbose                     输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

mydumper的主要工作步骤

1 主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁，以阻止DML语句写入，保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供即使点恢复使用
3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致事务
4 启用N个（线程数可以指定，默认是4）dump线程导出表和表结构 
5 备份非事务类型的表
6 主线程 UNLOCK TABLES，备份完成非事务类型的表之后，释放全局只读锁
7 dump InnoDB tables, 基于事物导出InnoDB表
8 事物结束

使用方法
#导出整个库

mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -o /data/trade_platform

#仅仅导出platform的ddl语句不包含数据到指定的目录 /data/platform

mydumper -u root -S /srv/my3308/run/mysql.sock -B platform -m -o /data/platform

#以压缩的方式导出的文件

mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -c -o /data/trade_platform

备份文件以.gz 的格式压缩

#ls
metadata trade_platform.config.sql.gz trade_platform.trade_order-schema.sql.gz
trade_platform.config-schema.sql.gz trade_platform-schema-create.sql.gz trade_platform.trade_order.sql.gz

#使用正则表达式

mydumper -u root -S /srv/my3308/run/mysql.sock --regex='^(?!(mysql|test))' -o /data/bk20170120

其中正则表达式可以是
--regex=order.*  导出所有order 开头的表
mydumper 导出的文件

# ls
metadata platform.config.sql platform.order.sql

mydumper 导出的文件 分为

metadata :包含导出时刻的binlog 位点信息 ，如果启用gtid ，则记录gtid信息。
Started dump at: 2017-01-20 17:26:53
SHOW MASTER STATUS:
  Log: mysql-bin.000025
  Pos: 505819083
  GTID:
Finished dump at: 2017-01-20 17:27:02
db.table.sql        :数据文件，insert语句
db.table-schema.sql :包含建表语句
db-schema.sql       :包含建库语句

注意 0.9.1 版本去掉了 --binlogs 参数，故会少了 启用binlogs参数相关的文件。
有兴趣的朋友可以继续阅读  这里 ，有专门针对mydumper与5.7 新出的mysqlpump 工具的讨论。

使用案例：

测试数据准备：

create database test character set utf8;
use test;
create table t1(id int,name varchar(1000));
 
DELIMITER //
 
CREATE PROCEDURE p5()
BEGIN
  
  declare l_n1 int default 1000000;
 
  
  while l_n1 > 0 DO  
     insert into t1 select l_n1,repeat('w',1000);
     set l_n1 = l_n1 - 1;
  end while;
  
  select l_n1;  
 
END;
//
 
DELIMITER ;
 
-- 往测试表录入100w条数据，执行时间比较长，可以优化下，分批提交
call p5;
 
--拷贝一个表t2
create table t2 as select * from t1;

备份test库下的t1和t2两张表

备份进程是放在后台执行，查看日志才知道什么时候导出完成

/usr/bin/mydumper  -h 47.99.1.254-u root -p abc123 -B test -T t1,t2  -t 4 -r 100000 -c --less-locking  -v 3 -D -L /var/log/mydumper.log   -o /backup/mydumper/20200826

查看备份日志

[root@10-31-1-119 20200826]# tail -100f /var/log/mydumper.log
2020-08-26 16:39:16 [INFO] - Connected to a MySQL server
2020-08-26 16:39:16 [INFO] - Started dump at: 2020-08-26 16:39:16
 
2020-08-26 16:39:16 [INFO] - Written master status
2020-08-26 16:39:16 [INFO] - Thread 5 connected using MySQL connection ID 2468
2020-08-26 16:39:16 [INFO] - Thread 6 connected using MySQL connection ID 2469
2020-08-26 16:39:16 [INFO] - Thread 7 connected using MySQL connection ID 2470
2020-08-26 16:39:16 [INFO] - Thread 8 connected using MySQL connection ID 2471
2020-08-26 16:39:16 [INFO] - Thread 1 connected using MySQL connection ID 2472
2020-08-26 16:39:16 [INFO] - Thread 2 connected using MySQL connection ID 2473
2020-08-26 16:39:16 [INFO] - Thread 3 connected using MySQL connection ID 2474
2020-08-26 16:39:16 [INFO] - Thread 4 connected using MySQL connection ID 2475
2020-08-26 16:39:16 [INFO] - Thread 7 shutting down
2020-08-26 16:39:16 [INFO] - Thread 5 shutting down
2020-08-26 16:39:16 [INFO] - Thread 8 shutting down
2020-08-26 16:39:16 [INFO] - Thread 4 dumping data for `test`.`t1`
2020-08-26 16:39:16 [INFO] - Thread 6 shutting down
2020-08-26 16:39:16 [INFO] - Thread 3 dumping data for `test`.`t2`
2020-08-26 16:39:16 [INFO] - Thread 1 dumping schema for `test`.`t1`
2020-08-26 16:39:16 [INFO] - Thread 2 dumping schema for `test`.`t2`
2020-08-26 16:39:16 [INFO] - Non-InnoDB dump complete, unlocking tables
2020-08-26 16:39:16 [INFO] - Thread 2 shutting down
2020-08-26 16:39:16 [INFO] - Thread 1 shutting down
2020-08-26 16:39:28 [INFO] - Thread 3 shutting down
2020-08-26 16:39:28 [INFO] - Thread 4 shutting down
2020-08-26 16:39:28 [INFO] - Finished dump at: 2020-08-26 16:39:28

备份文件如下：

[root@10-31-1-119 20200826]# ll
总用量 0
drwx------. 2 root root 157 8月  26 16:39 0
drwx------. 2 root root   6 8月  26 16:39 1
lrwxrwxrwx. 1 root root   1 8月  26 16:39 last_dump -> 0
[root@10-31-1-119 20200826]# 
[root@10-31-1-119 20200826]# du -sh *
11M     0
0       1
0       last_dump
[root@10-31-1-119 20200826]# cd 0
[root@10-31-1-119 0]# ls -lrth
总用量 11M
-rw-rw-rw-. 1 root root   83 8月  26 16:39 test-schema-create.sql.gz
-rw-rw-rw-. 1 root root  195 8月  26 16:39 test.t1-schema.sql.gz
-rw-rw-rw-. 1 root root  195 8月  26 16:39 test.t2-schema.sql.gz
-rw-rw-rw-. 1 root root 5.1M 8月  26 16:39 test.t2.sql.gz
-rw-rw-rw-. 1 root root 5.1M 8月  26 16:39 test.t1.sql.gz
-rw-rw-rw-. 1 root root  142 8月  26 16:39 metadata

恢复数据：

删除数据

[root@10-31-1-119 src]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2484
Server version: 5.7.31-log MySQL Community Server (GPL)
 
Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql> 
mysql> 
mysql> use test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
 
Database changed
mysql> drop table t1;
Query OK, 0 rows affected (0.19 sec)
 
mysql> drop table t2;
Query OK, 0 rows affected (0.19 sec)
 
mysql>

数据恢复

[root@10-31-1-119 0]# /usr/bin/myloader   -h 47.99.1.254 -u root -p abc123  -B test -e -t 8  -d /backup/mydumper/20200826/ --overwrite-tables -v 3
 
** (myloader:21232): CRITICAL **: 16:46:37.885: the specified directory is not a mydumper backup
 
[root@10-31-1-119 0]# 
[root@10-31-1-119 0]# /usr/bin/myloader   -h 47.99.1.254 -u root -p abc123  -B test -e -t 8  -d /backup/mydumper/20200826/0/ --overwrite-tables -v 3
** Message: 16:46:58.957: 8 threads created
** Message: 16:46:58.957: Dropping table or view (if exists) `test`.`t1`
** Message: 16:46:58.959: Creating table `test`.`t1`
** Message: 16:46:58.967: Dropping table or view (if exists) `test`.`t2`
** Message: 16:46:58.968: Creating table `test`.`t2`
** Message: 16:46:58.975: Thread 2 restoring `test`.`t1` part 0
** Message: 16:46:58.975: Thread 7 restoring `test`.`t2` part 0
** Message: 16:46:58.975: Thread 6 shutting down
** Message: 16:46:58.975: Thread 4 shutting down
** Message: 16:46:58.975: Thread 1 shutting down
** Message: 16:46:58.975: Thread 5 shutting down
** Message: 16:46:58.975: Thread 8 shutting down
** Message: 16:46:58.975: Thread 3 shutting down

** Message: 16:48:09.018: Thread 7 shutting down
** Message: 16:48:09.668: Thread 2 shutting down

only°夏至besos
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mydumper的使用.pdf
04-17
通过上述介绍可以看出，Mydumper 是一款功能强大的 MySQL 备份工具，尤其适用于需要快速备份大型数据库的场景。它不仅提供了高效的多线程备份能力，还具备丰富的配置选项，以满足不同用户的需求。无论是日常备份任务...
mysqldumper备份工具安装以及使用
12-14
本文将详细介绍如何安装和使用MySQLDumper，以及它的主要参数和使用方法。 ## 安装过程 1. 首先，你需要从官方提供的下载地址获取最新版本的MySQLDumper。例如，可以从以下链接下载：`...
MySQL与MongoDB数据库架构介绍.pptx
10-14
逻辑备份可以使用 mysqldump、Mydumper、mysqlpump、Select…into outfile 等工具，裸文件备份可以使用 xtrabackup 等工具。 MySQL 优化 MySQL 优化可以通过调整 MySQL 配置文件、优化 SQL 语句、使用索引、分区...
MySQL mydumper工具
最新发布
zj88189748的专栏
05-07 1076
MyDumper是一个MySQL逻辑备份工具。mydumper负责导出 MySQL 数据库的一致备份myloader从 mydumper 读取备份，连接到目标数据库并导入备份。这两个工具都使用多线程功能。支持多线程导出数据，速度更快。支持一致性备份。支持将导出文件压缩，节约空间。支持多线程恢复。支持以守护进程模式工作，定时快照和连续二进制日志。支持按照指定大小将备份文件切割。数据与建表语句分离。下载工具我下载的是zip包，上传至虚拟机，解压安装依赖包(CentOS)
分布式关系型数据库RadonDB介绍.pptx
10-14
备份与恢复则借助于工具如go-mydumper，实现批量并行的流式导出和导入。 在性能方面，RadonDB在相同配置下，对比单机MySQL，其TPS（Transactions Per Second）显著提升，响应时间更短，展示了优秀的OLTP和OLAP处理...
使用mysqldump对MySQL的数据进行备份的操作教程
09-10
本教程主要介绍如何使用 mysqldump 进行数据备份，并探讨其限制以及更高效的备份工具 mydumper。 1. **mysqldump 的基础操作** - **基本语法**：`mysqldump [选项] [数据库名] [表名]` - **常用选项**：`-u` ...
MySQL备份教程：逻辑备份工具mysqldump、mysqlpump使用教程.doc
10-04
本教程将详细介绍逻辑备份工具 `mysqldump` 和 `mysqlpump` 的使用方法。 逻辑备份是通过导出 SQL 语句的形式实现的，它可以记录数据的每次变化，但效率较低，适合小规模数据备份。当数据量较大时，如达到上百 GB，...
8种手动和自动备份MySQL数据库的方法
09-09
本文将详细介绍8种手动和自动备份MySQL数据库的方法，供企业及个人用户参考。 1. 使用`mysqldump`进行MySQL备份： `mysqldump`是MySQL自带的命令行工具，它可以将数据库内容导出为SQL文件，便于恢复。通过指定不同...
mysql数据库备份还原实战操作步骤-mysqldump备份还原
05-06
在本文中，我们将介绍 MySQL 数据库备份还原实战操作步骤，包括使用 mysqldump 工具进行备份和恢复数据库的详细指令。 一、备份数据库 mysqldump 是 MySQL 提供的一种备份工具，使用 mysqldump 可以将 MySQL ...
mysql8.0.23+ 主从配置
03-18
从库搭建有多种方法，可以选择使用 mydumper 导出主库数据，然后进行导入到从库，使用 FTWL 锁库/停库，获得主库位点，然后 copy 数据文件至从库，使用 xtrabackup 进行数据库备份，然后在从库还原，或者使用 MySQL ...
MySQL备份与恢复实战mysqldump xtrabackup等
06-14
本套课程从2个方面讲解了MySQL的备份与恢复:逻辑备份和物理备份，其中逻辑备份工具分别介绍了mysqldump、mysqlpump、mydumper的详细使用，物理备份工具介绍了xtrabackup的详细使用。通过本套课程的学习能够达到快速...
MySQL管理之道 性能调优、高可用与监控.part2.rar
09-28
《mysql管理之道：性能调优、高可用与监控》由资深mysql专家撰写，以最新的mysql版本为基础，以构建高性能mysql服务器为核心，从故障诊断、表设计、sql优化、性能参数调优、mydumper逻辑、xtrabackup热备份与恢复、...
linux下的npm安装
热门推荐
虫虫的博客
12-23 1万+
NPM(Node Package Manager,即node包管理器), 是用Javascript编写, 最初由Isaac Z. Schlueter开发.它会随着node.js一起安装.用户可以通过npm把自己设计的模块分发到registry上, 也可以用npm从registry上下载并安装指定的模块.这个"registry" 是npm模块仓库提供的一个查询服务. 2. registry上的模块通常采用commonJs格式,而且包含了一个JSON格式的文件. 3. 截止2016年7月, npm上的reg
内网能ping通telnet 通，不能访问解决
虫虫的博客
08-07 1万+
内网能PING通TELNET通不能访问解决 遇到一个离奇故障，内网，两个主机在同一IP段内，能互相PING通，TELNET对方的WEB服务器端口，通。 但用IE访问时不能，显示HTTP400.这明显是客户端系统的问题啊！但如何解决呢？我强烈怀疑是MTU问题，沿着这个思路， 我执行了一下： netsh interface ipv4 show subinterfaces 显示是1504，修改为1500后一切正常。 netsh interface ipv4 set subinterface “本地连接” mt
【Nexus】安装配置与使用
虫虫的博客
08-03 9420
Nexus Repository OSS
MySQL入门篇之Xtrabackup备份与恢复
虫虫的博客
07-15 4136
MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工具，xtrabakackup有2个工具，分别是xtrabakup、innobakupe。...
RunC升级
虫虫的博客
06-02 4103
1、RunC 是什么？ RunC 是一个轻量级的工具，它是用来运行容器的，只用来做这一件事，并且这一件事要做好。 我们可以认为它就是个命令行小工具，可以不用通过 docker 引擎，直接运行容器。 事实上，runC 是标准化的产物，它根据 OCI 标准来创建和运行容器。 而 OCI(Open Container Initiative)组织，旨在围绕容器格式和运行时制定一个开放的工业化标准 2、安装 runC RunC 是用 golang 创建的项目，因此编译它之前需要在本地安装 golang 的开发环境。
从MySQL5.7平滑升级到MySQL8.0的最佳实践分享
虫虫的博客
04-07 3912
从MySQL5.7平滑升级到MySQL8.0的最佳实践分享
Jenkins+GitLab+SonnarQube搭建CI/CD全流程
虫虫的博客
06-15 3650
CI/CD 1.1 CI - 持续集成 持续集成（ Continuous integration ， 简称 CI ）指的是，频繁地（一天多次）将代码集成到主干。持续集成的目的就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。通过持续集成团队可以快速的从一个功能到另一个功能，简而言之，敏捷软件开发很大一部分都要归功于持续集成。 持续集成的组成要素 一个自动构建过程， 从检出代码、 编译构建、 运行测试、 结果记录、 测试.
mydumper安装
07-27
要安装mydumper，首先确保你的系统上已经安装了MySQL客户端和CMake。然后按照以下步骤进行安装： 1. 首先，从mydumper的GitHub仓库下载源代码。你可以在https://github.com/maxbube/mydumper/releases页面找到最新的发布版本。 2. 解压下载的源代码包。 3. 打开终端，进入解压后的源代码目录。 4. 运行以下命令编译和安装mydumper： ``` $ cmake . $ make $ sudo make install ``` 这将编译并安装mydumper到你的系统中。 5. 安装完成后，你可以运行`mydumper --version`命令来验证安装是否成功。如果成功安装，你应该能够看到mydumper的版本信息。 现在，你已经成功安装了mydumper。你可以使用mydumper来备份和恢复MySQL数据库。记得在使用之前，确保你已经配置好了正确的数据库连接信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值