基于 mydumper 实现 MySQL 定期全量备份、恢复方案

已于 2024-03-24 10:20:23 修改
阅读量1.3k 收藏 31
点赞数 22
分类专栏： MySQL 文章标签： mysql 数据库
于 2024-03-14 17:39:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43692950/article/details/136711943
版权

一、Mydumper 工具介绍

mydumper 是一款社区开源的逻辑备份工具，由 C 语言编写，与 MySQL 官方提供的 mysqldump 相比，它具有更高的性能和更多的功能，例如：

  • 支持多线程导出数据，速度更快；

  • 支持一致性备份；

  • 支持将导出文件压缩，节约空间；

  • 支持多线程恢复；

  • 支持以守护进程模式工作，定时快照和连续二进制日志；

  • 支持按照指定大小将备份文件切割；

GitHub 地址：https://github.com/maxbube/mydumper

官网地址：https://launchpad.net/mydumper

与其他常见备份工具对比

备份工具安装难度备份类型备份速度备份即时点压缩备份远程备份
mysqldump自带逻辑慢不支持不支持支持
xtrabackup一般物理较快支持不支持不支持
mydumper简单逻辑快支持支持支持

Mydumper 安装

下载安装包：

wget https://github.com/maxbube/mydumper/releases/download/v0.10.7-2/mydumper-0.10.7-2.el7.x86_64.rpm

安装：

rpm -ivh mydumper-0.10.7-2.el7.x86_64.rpm

查看安装版本：

mydumper -V

在这里插入图片描述

核心命令介绍

在 mydumper 中主要使用到两个命令，mydumper 和 myloader ，其中 mydumper 主要用来做数据的备份，myloader 用来进行数据的恢复。

其中 mydumper 所支持的参数如下：

参数缩写解释
–user-u用户名
–pasword-p密码
–host-h地址
–port-P端口
–threads-t备份时的线程数，默认 4
–database-B备份的数据库名称，不指定则备份所有库
–tables-list-T备份的表，名字用逗号隔开，不指定则备份所有表
–outputdir-o备份输出目录
–statement-size-s指定备份文件中每个 SQL 语句的最大大小，默认1000000，与–rows冲突
–rows-r将表按行分割，指定了会关闭 --chunk-filesize
–chunk-filesize-F按大小分割时，指定分割大小，单位是 M
–regex-x使用正则表达式匹配
–compress-c压缩输出文件
–ignore-engines-i忽略的存储引擎
–no-schemas-m不备份表结构
–no-data-d不备份表数据
–triggers-G备份触发器
–events-E备份事件
–routines-R备份存储过程和函数
–no-views-W不备份视图
–no-locks-k不使用临时共享只读锁，使用这个选项会造成数据不一致
–daemon-D启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备份
–where只导出选择的数据

myloader 所支持的参数如下：

参数名缩写含义
–user-u用户名
–pasword-p密码
–host-h地址
–port-P端口
–threads-t恢复时的线程数，默认4
–directory-d要恢复的备份目录
–queries-per-transaction-q每次事务执行的查询数量，默认是1000
–overwrite-tables-o如果要恢复的表存在，则先drop掉该表
–database-B需要还原到哪个数据库（目标数据库）
–source-db-s选择被还原的数据库（源数据库）
–enable-binlog-e在恢复时开启binlog

下面以一个案例来介绍和使用 Mydumper：

首先创建测试库和测试表：

create database testdb;
use testdb;

CREATE TABLE `user` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `age` int DEFAULT NULL,
  `email` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `username` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `password` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `status` int DEFAULT NULL,
  `delete_flag` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ROW_FORMAT=DYNAMIC;

CREATE TABLE `role` (
  `id` int NOT NULL AUTO_INCREMENT,
  `role_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `delete_flag` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ROW_FORMAT=DYNAMIC;

CREATE TABLE `user_role_mapping` (
  `id` int NOT NULL AUTO_INCREMENT,
  `user_id` int DEFAULT NULL,
  `role_id` int DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ROW_FORMAT=DYNAMIC;

写入测试数据：

INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (1, '张三', 15, 'zhangsan@test.com', 'zhangsan', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (2, '李四', 16, 'lisi@test.com', 'lisi', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (3, '王五', 15, 'wangwu@test.com', 'wangwu', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (4, '李六', 18, 'liliu@test.com', 'liliu', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (5, '小红', 15, 'xiaohong@test.com', 'xiaohong', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (6, '小明', 19, 'xiaoming@test.com', 'xiaoming', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (7, '小张', 15, 'xiaozhang@test.com', 'xiaozhang', '123', 1, '0');

INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (1, 'admin', '管理员', '0');
INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (2, 'root', '超级管理员', '0');
INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (3, 'common', '普通人', '0');
INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (4, 'leader', '组长', '0');

INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (1, 1, 1);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (2, 2, 1);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (3, 3, 3);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (4, 4, 3);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (5, 5, 4);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (6, 6, 4);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (7, 7, 3);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (8, 1, 2);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (9, 1, 4);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (10, 2, 4);

二、全量备份和恢复实验

创建备份目录：

mkdir -p /data/backup/bak1

全量备份：

mydumper -h 192.168.40.20 -u root -p root123 -G -R -E -r 100000 -c -o /data/backup/bak1

在这里插入图片描述

从结果中可以看出，里面也包括了 mysql、sys 等系统库。

下卖尝试删除 testdb 数据库：

drop database testdb;

show databases;

在这里插入图片描述

数据恢复：

myloader -h 192.168.40.20 -u root -p root123 -o -d /data/backup/bak1

在这里插入图片描述
查看数据库：

在这里插入图片描述
数据已经成功恢复。

三、单独库表备份和恢复实验

创建备份目录：

mkdir -p /data/backup/bak2

备份 user和role 表

mydumper -h 192.168.40.20 -u root -p root123 -r 100000 -B testdb -T user,role -c -o /data/backup/bak2

在这里插入图片描述

删除 user 表：

在这里插入图片描述

恢复表数据：

myloader -h 192.168.40.20 -u root -p root123 -o -s testdb  -d /data/backup/bak2

在这里插入图片描述

查看数据：

在这里插入图片描述

注意此时 role 表也会被覆盖为原先备份的状态，如果需要单独恢复可以使用自带的 source 命令。

四、定期全量备份数据

定期备份

创建 backup.sh 文件，内容如下：

#!/bin/bash
# MySQL数据库信息
USER='root'
PASSWORD='root123'
HOST='192.168.40.20'
# 备份文件路径和名称
BACKUP_DIR='/data/backup'
BACKUP_FILE="$BACKUP_DIR/backup_$(date +%Y%m%d_%H%M%S)"
# 使用 mydumper 备份数据库
mydumper -h $HOST -u $USER -p $PASSWORD -G -R -E -r 100000 -c -x '^(?!(mysql|sys))' -o $BACKUP_FILE
echo $BACKUP_FILE

授予执行权限：

chmod +x backup.sh

添加定时任务：

crontab -e

最后加入下面内容：

*/2 * * * * /data/backup/backup.sh >> /data/backup/backup.log 2>&1

注意：这里为了展示效果，每2分钟执行一次，你用的时候需要修改，例如每天凌晨2点执行：0 2 * * *

等待一会后可看到备份的文件：

在这里插入图片描述

定期删除

备份的文件一直保存下去对磁盘的占用也有一定成本，所以一些旧的备份就可以删除掉了，同样创建 remove.sh 脚本，写入如下内容：

#!/bin/bash
# 备份文件路径
BACKUP_DIR='/data/backup/'
# 查找并删除旧的备份文件
find $BACKUP_DIR -type d -name "backup_*" -mmin +5 -exec rm -rf {} \;
echo "清理备份文件"

注意：这里为了展示效果，每次删除5分钟之前创建的目录，你用的时候需要修改。

授予执行权限：

chmod +x remove.sh

下面同样加入定时任务中执行：

crontab -e

最后加入下面内容：

*/5 * * * * /data/backup/remove.sh >> /data/backup/remove.log 2>&1

每 5 分钟触发一次。

五、其他示例：

备份时使用正则排除系统库：

mydumper -h 192.168.40.20 -u root -p root123-G -R -E  -r 100000 -x '^(?!(mysql|sys))' -o /data/backup/bak3

仅备份表结构

mydumper -h 192.168.40.20 -u root -p root123-d  -r 100000 -B  testdb -o /data/backup/bak4

仅备份表数据

mydumper -h 192.168.40.20 -u root -p root123 -m  -r 100000 -B testdb -o /data/backup/bak5

压缩备份表

mydumper -h 192.168.40.20 -u root -p root123-r 100000 -B testdb -T user -c -o /data/backup/bak6

将某个数据备份还原到另一个数据库中，目标不存在会新建：

myloader -h 192.168.40.20 -u root -p root123-B testdb2 -s testdb -o -d /data/backup/bak3

如果是主从复制，恢复时需要开启binlog：

myloader -h 192.168.40.20 -u root -p root123 -e -o -d /data/backup/bak3
小毕超
关注
专栏目录
mydumper备份脚本
yangzhawen
05-14 3292
mydumper自动备份部分数据库、所有数据库或特定数据库
MySQL多线程备份工具mydumper
weixin_44770684的博客
11-25 7368
mysql mydumper myloader mysqldump mysql备份
MyDumper 安装和配置指南
gitblog_07575的博客
09-13 360
MyDumper 安装和配置指南 mydumper mydumper: 是一个快速的 MySQL 数据库备份工具，它支持在线备份、压缩备份和远程备份。适合用于备份 MySQL 数据库，特别是在大型数据库和高并发场景下。特点是快速、易用、支持多种备份方式。 ...
mysql数据库备份还原-mydumper/myloader/loader
lihongbao80的专栏
08-31 1206
采用C语言开发，使用glibc库多线程备份，速度据说比mysqldump快10倍多线程恢复支持事务和非事务表的一致性备份（适用于0.2.2以上版本）备份后会生成多个备份文件（因为是多线程备份）备份时对MyISAM表施加FTWRL（FLUSH TABLES WITH READ LOCK），会阻塞DML语句支持快速文件压缩支持导出binlog（新版本已不支持）支持将备份文件切块支持以守护进程模式工作，定时快照和连续二进制日志。
数据库备份的相关详解（mydumper）
m0_50816276的博客
07-29 1664
数据库备份是将数据库中的数据和结构复制到另一个位置，以便在需要时可以恢复数据。MySQL自带了备份工具mysqldump，可以备份整个数据库或特定的表。除此之外，还有一些其他的备份工具，例如Percona XtraBackup和MySQL Enterprise Backup等。在执行任何数据库备份操作之前，请仔细考虑备份策略，并测试备份以确保其可用性和可恢复性。
【MySQL备份】MySQL备份工具-MyDumper
DBA之路的博客
12-13 1749
MyDumper是一个MySQL逻辑备份工具。mydumper负责导出 MySQL 数据库的一致备份myloader从 mydumper 读取备份，连接到目标数据库并导入备份。这两个工具都使用多线程功能。MyDumper优势有哪些速度更快 - 多线程并发备份性能更好 - 避免昂贵的字符集转换，整体代码高效易于管理的输出文件 -（比如每个表都能生成单独的备份文件，备份的元数据信息文件metadata记录位点信息等等，便于查看/解析数据）
mydumper自动备份
chilixia4345的博客
10-29 178
转载于:https://my.oschina.net/u/2343311/blog/523441
linux 上使用mydumper 定时执行MySQL备份和还原
weixin_34343000的博客
09-26 228
为什么80%的码农都做不了架构师？>>> ...
MySQL备份策略（全量与增量备份方案详解）
最新发布
10-18
本文详细介绍了一套基于MySQL的全量与增量备份方案，具体涉及全量备份工具mysqldump以及增量备份使用的mysqlpump、mydumper、xtrabackup等工具的特点比较，并深入探讨了不同备份方法的工作原理，提供了详尽的实例...
高性能MySQL（第三版）第十五章：备份与恢复
Lzc的博客
05-13 413
第十五章 备份与恢复15.1 为什么要备份15.2 定义恢复需求15.3 设计MySQL备份方案15.3.1 在线备份还是离线备份15.3.2 逻辑备份还是物理备份15.3.3 备份什么15.3.4 存储引擎和一致性15.4 管理和备份二进制日志15.4.1 二进制日志格式:15.4.2 安全清理二进制日志15.5 备份数据15.6 从备份中恢复15.7 总结： 15.1 为什么要备份 灾难恢复...
MySQL数据库备份与恢复：从原理到最佳实践，保障数据安全
!...# 1. MySQL数据库备份原理 ...* **全量备份：**将数据库中的所有数据复制到一个文件。 * **增量备份：**仅将自上次备份以来更改的数据复制到一个文件。 # 2. MySQL数据库备份实践 ### 2.1 物理备份
MySQL 8.0数据库备份与恢复策略详解
# 1. 引言 ## 1.1 数据备份与恢复的重要性 在现代信息化社会中，数据的价值和重要性不言而喻。对于企业和组织来说，数据库中存储的数据...通过定期进行数据备份，可以最大限度地减少数据丢失的风险，并且在遭受灾难
MySQL热备份方案介绍及实践指南
# 1. 简介 ## 1.1 数据备份的重要性 在数据库管理中，数据备份是至关重要的...热备份相比冷备份更加灵活和符合生产环境的需求，可以实现24/7不间断备份。 ## 1.3 MySQL热备份的概念及优势 MySQL热备份指的是在MySQL
数据备份与恢复--mydumper备份数据库
m0_57355991的博客
07-20 423
下载之后本地安装 yum localinstall 所下载的版本。
mydumper批量备份工具
weixin_42077595的博客
05-31 425
mydumper的介绍和使用
29.3 基于mydumper备份并恢复数据
weixin_41275260的博客
06-01 377
29.3　基于mydumper备份并恢复数据 mydumper也是一个数据备份工具，但不是MySQL自带的工具，需要单独安装，比mysqlpump的并行度和性能要高。本节将简单介绍如何基于mydumper备份并恢复数据。 29.3.1　安装mydumper mydumper的安装比较简单，直接在服务器的命令行中输入如下命令即可。 [root@binghe150 ~]...
利用shell开发mysql分库分表备份(mydumper)脚本
chenliang
09-19 331
文章目录1.1 MySQL架构和备份策略1.2 备份数据的保存目录规划1.3 Shell脚本内容1.4 备份出来的结果1.5 备份的日志查看1.6 slave的状态查看 1.1 MySQL架构和备份策略 #### 数据库架构 MySQL架构的基础架构为主从复制(replication)，目前数据量有 50G +。 #### mydumper工具的安装 01:是在角色为slave的服务器上安装的; 02:安装方法请参考博文：https://chenliang.blog.csdn.net/a
mydumper+python自动化备份脚本
cdrcsy的专栏
09-19 628
mydumper+python自动化备份脚本：   #!/usr/bin/phthon # coding:utf-8 import os   import time   import commands   import shutil   import threading   from os.path import join, getsize   import pymysql   # 备份目...
mysql数据库备份之mydumper
一个不断前行的程序者
09-04 362
上一篇文章中我们写了使用XtraBackup备份mysql数据库，他的备份速度也是比较快。 但是问题来了，我们的系统在5月初，刚刚结束愉快的劳动节。就开始较大频率卡顿，开始是部分功能开始卡顿，没过几天，整个系统卡顿严重。几乎不能正常使用了，已经很严重影响了我们的正常业务操作了。 此时我们做了几个处理，优化代码，优化部分慢查询，升级服务器，升级数据库版本。本文主要讲述的是在把数据库从5.7升级到8.0之后xtraBackup无法正常备份后的替代备份方案，具体的系统优化流程后面我再写下来。 在数据库升级过.
使用Golang实现MySQL-5.7全量备份方案及优势解析
本节将详细探讨标题《MySQL-5.7全量备份-golang脚本》所涉及的知识点，重点包括数据库备份与恢复的重要性、MySQL-5.7版本备份的实现、逻辑备份与物理备份的区别、备份脚本的主要优点以及如何使用Golang语言实现自动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小毕超

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值