xtrabackup备份MySQL（MariaDB）

最新推荐文章于 2024-01-28 16:21:54 发布
最新推荐文章于 2024-01-28 16:21:54 发布
阅读量736 收藏
点赞数
分类专栏： 运维 文章标签： mysql maria db 备份 xtrabackup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanghuiict/article/details/80248158
版权

利用xtrabackup实现MySQL备份，做个记录。

基本原理

xtrabackup 是物理备份工具，直接操作MySQL数据文件。

xtrabackup 以读写方式打开数据文件，这是因为它调用InnoDB库提供的函数打开文件，而后者以读写模式访问数据文件。

xtrabackup 针对数据访问模式进行了优化，

例如，避免OS缓存大量数据，

posix_fadvise(file, 0, 0, POSIX_FADV_DONTNEED)

并进行预读优化

posix_fadvise(file, 0, 0, POSIX_FADV_SEQUENTIAL)

数据文件拷贝，一次读写1MB，不可配置。

log文件拷贝，一次读写512字节，不可配置，但Percona Server有一个例外，可以通过innodb_log_block_size修改。

安装配置

OS： CentOS 7

MySQL: mariadb-10.1.20-1.el7.x86_64

XtraBackup: 这里使用 2.3，版本要与数据库匹配。

配置yum源

# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm

查看版本

# yum list | grep percona-xtrabackup
percona-xtrabackup.x86_64                  2.3.10-1.el7                percona-release-x86_64
percona-xtrabackup-22.x86_64               2.2.13-1.el7                percona-release-x86_64
percona-xtrabackup-22-debuginfo.x86_64     2.2.13-1.el7                percona-release-x86_64
percona-xtrabackup-24.x86_64               2.4.11-1.el7                percona-release-x86_64
percona-xtrabackup-24-debuginfo.x86_64     2.4.11-1.el7                percona-release-x86_64
percona-xtrabackup-debuginfo.x86_64        2.3.10-1.el7                percona-release-x86_64
percona-xtrabackup-test.x86_64             2.3.10-1.el7                percona-release-x86_64
percona-xtrabackup-test-22.x86_64          2.2.13-1.el7                percona-release-x86_64
percona-xtrabackup-test-24.x86_64          2.4.11-1.el7                percona-release-x86_64

安装xtrabackup

# yum install percona-xtrabackup

创建备份用户和权限

MariaDB [(none)]> CREATE USER 'bkpuser'@'localhost' IDENTIFIED BY 's3cret';
MariaDB [(none)]> GRANT RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO 'bkpuser'@'localhost';
MariaDB [(none)]> FLUSH PRIVILEGES;

备份方式

建议将全量备份和增量备份结合起来。

备份操作的序列

  1. 一次全量备份
  2. 每日增量备份
  3. 适时合并增量

每一个 InnoDB page 包含一个LSN，这个LSN是全局的，增量的，相当于整个数据库的系统版本号。

通过LSN实现增量备份。增量备份实际上不做数据文件比较。只要知道上次备份的LSN，然后就可以执行增量备份，甚至可以完全不访问上次的备份。

在执行backup之后，要进行恢复，需要两步：先prepare，然后restore。

要使数据库达到一致的状态：

  • 对于全量备份，已提交的事务被replay到数据文件，未提交的事务被回滚。

  • 对于增量备份，必须跳过未提交事务的回滚，因为这些事务正在处理中，很可能会在下一次增量备份时提交。xtrabackup 使用 –apply-log-only 只处理log，而不去做事务回滚。

全量备份举例

# xtrabackup --backup --target-dir=/home/bak.201805041300
# cat /home/bak.201805041300/xtrabackup_checkpoints 
backup_type = full-backuped
from_lsn = 0
to_lsn = 89476685861
last_lsn = 89476788005
compact = 0
recover_binlog_info = 0
# xtrabackup --prepare --target-dir=/home/bak.201805041300

增量备份举例

# xtrabackup --backup --target-dir=/home/bak.201805041331 \
    --incremental-basedir=/home/bak.201805041300
# cat /home/bak.201805041331/xtrabackup_checkpoints 
backup_type = incremental
from_lsn = 89476685861
to_lsn = 89529958032
last_lsn = 89529979375
compact = 0
recover_binlog_info = 0

再次增量备份

# xtrabackup --backup --target-dir=/home/bak.201805041415 \
    --incremental-basedir=/home/bak.201805041331

查看一下备份大小

4.1G  /home/bak.201805041300/
94M   /home/bak.201805041331/
35M   /home/bak.201805041415/

进行prepare，合并增量备份

# xtrabackup --prepare --apply-log-only \
    --target-dir=/home/bak.201805041300
# xtrabackup --prepare --apply-log-only \
    --target-dir=/home/bak.201805041300 \
    --incremental-dir=/home/bak.201805041331
# xtrabackup --prepare --target-dir=/home/bak.201805041300 \
    --incremental-dir=/home/bak.201805041415

注意，最后一个prepare不需要 –apply-log-only 参数。

然后可以再次做增量备份1，增量备份2，。。。合并增量备份。

# xtrabackup --backup --target-dir=/home/bak.201805041430 \
    --incremental-basedir=/home/bak.201805041300

注意事项

  • 如果备份到NFS目录，需要nfs的mount选项包含sync。

恢复 restore

# xtrabackup --copy-back --target-dir=/home/bak.201805041300

主要是拷贝的过程，要求 datadir 目录例如/var/lib/mysql/ 为空。

适当配置目录权限。

# chown -R mysql:mysql /var/lib/mysql

备份脚本

最后给出一个自动化的xtrabackup备份脚本，供参考。例如，配置到crond任务，每日执行一次。

脚本初始进行一次全量备份，然后平时进行增量备份。几次增量之后，做一次增量的合并。然后开始下一个增量备份周期。

  • 备份以0，1，2，…命名，max配置了增量备份周期。
  • dst是目标目录，存放备份。建议放在远程。
#!/bin/bash

dst="/home/backups"
xbk="/usr/bin/xtrabackup"
# 1 base + `max' incrementals
max=7

mkdir -p $dst || exit 1

if [ ! -d $dst/0 ]; then
    # create base, 0/
    $xbk --backup --target-dir=${dst}/0 || exit $?
    $xbk --prepare --apply-log-only --target-dir=${dst}/0 || { ret=$?; rm -rf ${dst}/0; exit $ret; }
    exit 0
fi

IFS=$'\n'; for x in $(ls -1 -t $dst); do
    unset IFS
    # create incremental, 1/, 2/, ..., $max/
    $xbk --backup --target-dir=${dst}/$((x+1)) --incremental-basedir=${dst}/$x || { ret=$?; rm -rf ${dst}/$((x+1)); exit $ret; }
    if (($x+1 >= $max)); then
        break
    fi
    exit 0
done

# apply the deltas to the base
errdir="error_$(date +%Y%m%d_%H%M%S)"
IFS=$'\n'; for x in $(ls -1 -t -r $dst); do
    unset IFS
    if (($x == 0)); then
        continue
    fi
    $xbk --prepare --apply-log-only --target-dir=${dst}/0 --incremental-dir=${dst}/$x
    if [ $? -ne 0 ]; then
        # error occurs and cleanup
        mkdir -p $dst/$errdir && mv $dst/[0-9]* $dst/$errdir
        exit 1
    else
        rm -rf ${dst}/$x
    fi
done

参考链接

wanghuiict
关注
专栏目录
Docker环境下MySQL备份恢复工具XtraBackup使用详解 | Spring Cloud 62
gmHappy
08-06 9419
`Percona XtraBackup`是一个开源的`MySQL`和`MariaDB`数据库备份工具，它能够创建高性能、一致性的备份，并且对生产环境的影响很小。`Percona XtraBackup`通过在不停止`MySQL`服务器的情况下，复制`InnoDB`存储引擎的数据文件和事务日志，来实现备份和还原操作。
xtrabackup备份恢复shell脚本
08-26
《Xtrabackup备份与恢复：Shell脚本详解》 在MySQL数据库管理中，数据安全至关重要，而定期备份和有效的恢复策略是保障数据安全的关键环节。Xtrabackup是一款开源的、针对InnoDB存储引擎的热备份工具，它能够在不...
用xtrabackup备份mariadb-galera-cluster
weixin_33786077的博客
12-13 221
由于mysqldump是逻辑备份，且备份效率低下，当有大量数据时无法快速进行备份此时用xtrabackup是一种极好的备份方案1.完整备份及完整还原 备份：--backupinnobackupex --defaults-file=/etc/my.cnf.d/server.cnf --host=127.0.0.1 --user=liuwei --password=123...
linux xtrabackup备份恢复,Mariadb数据库备份恢复系列(三)：xtrabackup物理备份工具之增量备份...
weixin_39559119的博客
05-12 81
实验三：利用xtrabackup+二进制日志实现增量备份和恢复数据库本例中实现的是将所有的增量日志都通过apply-log的步骤同步到完全备份文件中，如果希望利用增量日志还原到固定某次增量备份的数据，则不能使用本例中方式对所有的备份都进行apply-log操作，如果希望利用增量日志还原到固定哪次增量备份的数据，则将最初的完全备份的数据、和期望还原到某个增量备份前的增量备份的数据，拷贝一份到别的地方...
MariaDB之基于Percona Xtrabackup备份大数据库[完整备份与增量备份]
weixin_34416754的博客
02-03 137
MariaDB之基于Percona Xtrabackup备份大数据库[完整备份与增量备份] 1.Xtrabackup的安装 percona-xtrabackup-2.2.3-4982.el6.x86_64.rpm lftp 172.16.0.1:/pub/Sources/6.x86_64/Percona> get percona-xtrabackup-2.2.3-4982.el...
基于xtrabackup的MySQL数据库备份及还原Shell脚本.zip
08-27
`xtrabackup`是Percona公司开发的一款高效、无锁的MySQL和MariaDB热备份工具，它允许在不影响数据库服务的情况下进行全备和增量备份。本教程将详细介绍如何使用`xtrabackup`结合Shell脚本来实现MySQL数据库的备份与...
mysql xtrabackup备份
05-01
### MySQL XtraBackup 备份知识点详解 #### 一、XtraBackup简介 XtraBackup是一款功能强大的热备份工具，由知名的数据库软件服务商Percona提供。这款工具支持多种存储引擎，包括MyISAM、InnoDB以及XtraDB（基于...
使用XtraBackup备份MariaDB
weixin_33744854的博客
11-16 80
XtraBackup是Percona旗下一款开源软件，能够对Mysql及MariaDB进行在线备份。其特点如下：备份过程快速、可靠；备份过程不会打断正在执行的事务；能够基于压缩等功能节约磁盘空间和流量；自动实现备份检验；还原速度快；工作原理：XtraBackup是物理备份+逻辑备份的组合。在备份innodb表的时候，它拷贝ibd文件，并一刻不停的监视redolog的变...
使用xtrabackup备份恢复Mariadb数据库
weixin_33834137的博客
06-23 106
使用xtrabackup进行备份Xtrabackup简介Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点：(1)备份过程快速、可靠；(2)备份过程不会打断正在执行的事务；(3)能够基于压缩等功能节约磁盘空间和流量；(4)自动实现备份检验；(5)还原速度快；官...
从MySQL 5.5迁移到Mariadb 10.1.14
weixin_33716941的博客
11-07 271
迁移计划如下： 　　1.备份MySQL 5.5的数据库，对指定库进行备份。 　　2.还原到Mariadb，然后建立复制。 　　3.然后就可以愿意啥时候切换就啥时候切换。 遇到的问题： 　　因为一般都是innodb，所以我想用xtrabackup工具备份。备份后发现还原需要依赖innodb的表空间切换。 　　1.表空间切换，必须要打开innodb_fil...
mysql 5 mariadb 10_从MySQL 5.5迁移到MariaDB 10.1.14
weixin_28338005的博客
01-27 372
迁移计划如下：1.备份MySQL 5.5的数据库，对指定库进行备份。2.还原到Mariadb，然后建立复制。3.然后就可以愿意啥时候切换就啥时候切换。遇到的问题：因为一般都是innodb，所以我想用xtrabackup工具备份。备份后发现还原需要依赖innodb的表空间切换。1.表空间切换，必须要打开innodb_file_per_table。也就是说所有的表都要有独立的文件。有一些表虽然是inn...
MariaDB 10.2.26 xtrabackup 重要步骤记录
08-26 503
1、创建测试用例库表 Welcome to the MariaDB monitor. Commands end with ; or \g.Your MariaDB connection id is 11Server version: 10.2.26-MariaDB-log MariaDB Server Copyright (c) 2000, 2018, Oracle, MariaDB Corpo...
物理备份恢复mariadb
BASEDEDATO的博客
06-01 585
#全备份 innobackupex --user=root --password=abc123 /u01/mysql/backup #基于第一次全备份的增量备份1 innobackupex --user=root --password=abc123 --incremental /u01/mysql/backup --incremental-basedir=/u01/mysql/backup/
MySQL中使用percona-xtrabackup工具 三种备份及恢复 （超详细教程）
最新发布
博客之路,前途漫漫
01-28 4055
MySQL使用percona-xtrabackup（完整 增量 差异）备份及恢复 超详细教程 Percona 实现完整备份及恢复流程 增量备份和恢复流程 差异备份和恢复流程 以及mysql中常见的报错情况 解决办法（比如mysql启动报错 登录报错 以及恢复目录时报错）
mariabackup实现mariadb数据库的自动备份
u010792184的博客
03-03 1940
mariabackup实现mariadb数据库的全量和增量备份，并编写脚本自动运行
MariaDB/MySQL备份和恢复(三)：xtrabackup用法和原理详述
weixin_34410662的博客
05-10 248
MariaDB/MySQL备份恢复系列： 备份和恢复(一)：mysqldump工具用法详述 备份和恢复(二)：导入、导出表数据 备份和恢复(三)：xtrabackup用法和原理详述 xtrabackup是percona团队研发的备份工具，比MySQL官方的ibbackup的功能还要多。支持myisam温全备、innodb热全备和温增备，还可以实现innodb的定时点恢复，而且备份...
使用Xtrabackup进行MySQL备份
weixin_33985679的博客
05-17 245
本文系原创，转载请务必保留如下链接信息： http://www.magedu.com http://mageedu.blog.51cto.com   一、安装   1、简介   Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点： (1)备份过程快速、可靠； (2...
Percona Xtrabackup：MySQL的高效增量备份工具
"本文档详细介绍了MySQL备份工具Xtrabackup，它是Percona公司为MySQL、Percona Server和MariaDB设计的物理热备份解决方案，特别适用于需要增量备份的环境。Xtrabackup因其备份速度快、不中断事务、节省存储空间以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值