mysql+重启+所有者_MySQL 使用 XtraBackup 进行数据热备份指导 [全量+增量]

背景

最近一直涉猎 MySQL 数据库的操作、集群部署

注意到，为保证数据安全，掌握数据备份是极为重要的

相比小型服务的冷备份而言

在此推荐并整理更受推崇的 XtraBackup 下的热备份技巧

☞ 概念了解 [XtraBackup]

XtraBackup 是一种物理备份工具

通过协议连接到 MySQL 服务端，然后读取并复制底层的文件，完成物理备份

优势

XtraBackup 备份过程中加读锁，数据可读，但是不可写(分以下情况)

Innodb 引擎的备份是无阻塞的备份，不会影响表的读写操作

MyISAML 引擎是要加读锁的，只能读不能写

XtraBackup 备份过程不会打断正在执行的事务

XtraBackup 能够基于压缩等功能节约硬盘空间和流量

XtraBackup 还可以将数据加密，让他更加安全

环境

CentOS7.9Percona XtraBackup 2.4MySQL5.7.32

☛ 前期准备

1). 下载 Percona-XtraBackup

可以通过 wget 命令在线下载，也可以浏览器下载后传到 linux 目录中

资源链接：【Percona XtraBackup 2.4】

wget https://downloads.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.21/binary/redhat/7/x86_64/Percona-XtraBackup-2.4.21-r5988af5-el7-x86_64-bundle.tar

tar xvf Percona-XtraBackup-2.4.21-r5988af5-el7-x86_64-bundle.tar #解压命令

yum localinstall *.rpm #安装命令

查看安装情况： rpm -qa|grep xtrabackup

[root@localhost download]# rpm -qa|grep xtrabackup

percona-xtrabackup-24-2.4.21-1.el7.x86_64

percona-xtrabackup-test-24-2.4.21-1.el7.x86_64

percona-xtrabackup-24-debuginfo-2.4.21-1.el7.x86_64

查看安装目录： rpm -ql percona-xtrabackup-24-2.4.21-1.el7.x86_64

[root@localhost download]# rpm -ql percona-xtrabackup-24-2.4.21-1.el7.x86_64

/usr/bin/innobackupex #是将xtrabackup进行封装的perl脚本，提供了备份myisam表的能力

/usr/bin/xbcloud

/usr/bin/xbcloud_osenv

/usr/bin/xbcrypt

/usr/bin/xbstream

/usr/bin/xtrabackup #最主要的备份工具,是用于热备 innodb，xtradb表中数据的工具，不能备份其他类型的表，也不能备份数据表结构

/usr/lib64/xtrabackup/plugin/keyring_file.so

/usr/lib64/xtrabackup/plugin/keyring_vault.so

/usr/share/doc/percona-xtrabackup-24-2.4.21

/usr/share/doc/percona-xtrabackup-24-2.4.21/LICENSE

/usr/share/man/man1/innobackupex.1.gz

/usr/share/man/man1/xbcrypt.1.gz

/usr/share/man/man1/xbstream.1.gz

/usr/share/man/man1/xtrabackup.1.gz

2). 创建用于备份的用户

此处，作为入门可以先创建一个最简单的用户

(后期，根据自己的实际需求再考虑更安全、完整的用户即可)

SQL 语句如下：

mysql> CREATE USER 'bkpuser'@'localhost' IDENTIFIED BY 'bk_mT007';

mysql> GRANT RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO

'bkpuser'@'localhost';

mysql> FLUSH PRIVILEGES;

☛ 全量备份、全备恢复还原

▷ 全量备份操作

备份时需启动 MySQL 服务

官方文档 —— 【percona-xtrabackup/2.4/using_xtrabackup/privileges】

innobackupex 备份指令如下：

innobackupex --defaults-file=/etc/my.cnf --user=bkpuser --password=bk_mT007 /www/server/backUp

参数

解释

–defaults-file=/etc/my.cnf

指定 mysql 配置文件位置(如果是"/etc/my.cnf"可以不适用此参数，如果使用了必须放在第一个位置)

–datadir=/var/lib/mysql/data

指定所要备份的数据目录，不使用，会默认指定 my.cnf 文件中的"datadir"参数配置

–user=bkpuser

指定备份用户

–host

指定主机

–port

指定端口号，默认为 3306

/www/server/backUp

自定义，指定备份目录

–no-timestamp

不创建时间戳目录

–stream=xbstream

开启流式备份，如果开启，则前面的指令写法为：innobackupex --defaults-file=/etc/my.cnf --user=bkpuser --password=bk_mT007 --no-timestamp --stream=xbstream -> /www/server/backup.xbstream

正常运行会有如下的打印信息：

最终会在目录 "/www/server/backUp" 中，查看到生成的备份数据

▷ 使用全备恢复还原

其实，一般发现数据出现问题时，才会考虑使用 全量备份恢复还原

1). 拷贝一份现有数据，避免异常

关闭 mysql 服务: service mysql stop

生产环境，为了避免数据备份出差错后的恢复，建议：找到数据库 data 目录，删除数据或拷贝

可在 my.cnf 文件中查看 "datadir" 参数，

比如我的虚拟机中的配置信息为： "datadir=/var/lib/mysql/data"

则执行命令如下：

("/var/lib/mysql/data_back" 即为我拷贝到的新位置)

mv /var/lib/mysql/data /var/lib/mysql/data_back

2). 准备 (prepare) 一个完全备份

为了合并数据，使数据文件处于一致性的状态，回滚没有提交的事务，同步已经提交的事务到数据文件

apply-log 执行命令如下：

innobackupex --apply-log /www/server/backUp/2021-01-26_19-37-59

最终会出现类似 "210126 20:10:45 completed OK!" 的打印信息，说明执行正确

3). 从一个完全备份中恢复数据

通过配置文件，copy 备份目录到 mysql 数据目录 (自行处理文件分区等)

恢复数据，将备份数据文件拷贝到数据目录

innobackupex --defaults-file=/etc/my.cnf --copy-back /www/server/backUp/2021-01-26_19-37-59

此时，可以注意到，数据已恢复

4). 修改数据目录的所有者

当数据恢复至 DATADIR 目录以后，还需要确保所有的数据文件的属主和属组均为正确的用户

这一步很重要：否则，在启动 mysql 之前还需要事先修改数据文件的属主和属组

chown mysql:mysql -R /var/lib/mysql/data

5). 重启 mysql 服务

service mysql start

因为当前，鄙人使用的是 PXC 集群环境，所以状态信息如下：

▷ 总结

■ 全库备份与恢复三步曲

a.　innobackupex 全量备份，并指定备份目录路径；

b.　在恢复前，需要使用 --apply-log 参数先进行合并数据文件，确保数据的一致性要求；

c.　恢复时，直接使用 --copy-back 参数进行恢复，需要注意的是，在 my.cnf 中要指定数据文件目录的路径

☛ 增量备份、增备恢复还原

【注意】：增量备份仅能应用于 InnoDB 或 XtraDB 表，对于 MyISAM 表而言，执行增量备份时其实进行的是完全备份

【推荐阅读】：

使用 innobackupex 进行增量备份，

每个 InnoDB 的页面都会包含一个 LSN 信息，每当相关的数据发生改变，相关的页面的LSN就会自动增长。

这正是 InnoDB 表可以进行增量备份的基础，

即 innobackupex 通过备份上次完全备份之后发生改变的页面来实现。

在进行增量备份时，首先要进行一次全量备份，

第一次增量备份是基于全备的，之后的增量备份都是基于上一次的增量备份的，以此类推 ...

▷ 基于当前最新的全量备份

前提是，当下存在前面全量备份的文件哦，以我前面得到的 "2021-01-27_19-01-45" 为例

执行命令如下：

innobackupex --defaults-file=/etc/my.cnf --user=bkpuser --password=bk_mT007 --incremental /www/server/backUp/ --incremental-basedir=/www/server/backUp/2021-01-27_19-01-45/

可以分别查看备份目录中的 "xtrabackup_checkpoints" 文件

对于两个文件中各"from_lsn"、"to_lsn" 等参数的不同

实际项目中，其实就是因为热备份情况下的数据一直在更新操作！

得到的列表展示如下：

...

210127 19:15:30 [00] ...done

xtrabackup: Transaction log of lsn (2796693) to (2796718) was copied.

210127 19:15:30 completed OK!

[root@localhost backUp]# ll

总用量 56

drwxr-x--- 6 root root 239 1月 27 19:01 2021-01-27_19-01-45 # 全量备份的数据

drwxr-x--- 6 root root 265 1月 27 19:15 2021-01-27_19-15-26 # 增量备份的数据

[root@localhost backUp]# cat 2021-01-27_19-01-45/xtrabackup_checkpoints

backup_type = full-backuped #备份类型为全量备份

from_lsn = 0 #lsn 从 0 开始

to_lsn = 2788734 #lsn 到 2788734 结束

last_lsn = 2788750

compact = 0

recover_binlog_info = 0

flushed_lsn = 2788743#lsn 刷新的位置

[root@localhost backUp]# cat 2021-01-27_19-15-26/xtrabackup_checkpoints

backup_type = incremental #备份类型为增量备份

from_lsn = 2788734#lsn 从 2788734 开始

to_lsn = 2796709#lsn 到 2796709 结束

last_lsn = 2796718

compact = 0

recover_binlog_info = 0

flushed_lsn = 2796702#lsn 刷新的位置

【提示】:之后的增量备份操作，都是基于上一次的增量备份，以此类推 …

▷ 增量备份后数据恢复

关闭 mysql 服务: service mysql stop

为了模拟数据损坏，可以删掉原来的数据目录，或者拷贝一份

1). 合并全备数据目录

首先，确保全备数据的一致性

innobackupex --apply-log --redo-only /www/server/backUp/2021-01-27_19-01-45/

将增量备份数据合并到全备数据目录当中

innobackupex --apply-log --redo-only /www/server/backUp/2021-01-27_19-01-45/ --incremental-dir=/www/server/backUp/2021-01-27_19-15-26/

此时可以查看到全量备份的数据的 "xtrabackup_checkpoints" 文件

其参数"backup_type " 变为了："log-applied"

并且 "from_lsn"、"to_lsn"、"flushed_lsn " 都会成为最新数据

[root@localhost backUp]# cat 2021-01-27_19-01-45/xtrabackup_checkpoints

backup_type = log-applied 　#查看到数据备份类型是增加

from_lsn = 0

to_lsn = 2796709

last_lsn = 2796718

compact = 0

recover_binlog_info = 0

flushed_lsn = 2796702

2). 恢复/还原数据

innobackupex --copy-back /www/server/backUp/2021-01-27_19-01-45/

修改数据目录的所有者

chown mysql:mysql -R /var/lib/mysql/data

重启 mysql 服务

service mysql start

▷ 总结

■ 增量备份与恢复，步骤

(1)增量备份需要使用参数 --incremental 指定需要备份到哪个目录，使用incremental-dir指定全备目录；

(2)进行数据备份时，需要使用参数 --apply-log redo-only 先合并全备数据目录数据，确保全备数据目录数据的一致性；

(3)再将增量备份数据使用参数 --incremental-dir 合并到全备数据当中；

(4)最后通过最后的全备数据进行恢复数据，注意，如果有多个增量备份，需要逐一合并到全备数据当中，再进行恢复

☞ 定时任务、实际应用

一般来说，建议使用计划任务进行备份操作：每周全量备份一次，每天增量备份一次

▷ 全量备份脚本、计划任务

1). 编辑全量备份的脚本

创建脚本

touch back_up.sh

打开脚本并添加全量备份信息如下：

(在此，我没有使用时间戳，避免太多备份文件，直接指定了一个文件目录"/www/server/backUp/back_data")

# !/bin/bash

BACKUP_PATH='/www/server/backUp/back_data'

# 为了避免冲突，先删除文件夹

find ${BACKUP_PATH} -exec rm -rf {} \; > /dev/null 2>&1

time=$(date "+%Y-%m-%d %H:%M:%S")

echo "执行全量热备份 ${time}"

innobackupex --defaults-file=/etc/my.cnf --user=bkpuser --password=bk_mT007 --no-timestamp ${BACKUP_PATH}

【注意】： 脚本文件不要在 windows 环境下编写，最好使用 Linux 下的 vim，以免回车键影响文件出现问号"?"

2). 给予脚本权限

给予权限

chmod -R 755 back_up.sh

3). 计划任务的配置

定时全量热备脚本

crontab -e

此处，为了测试方便，我设定了每 3 分钟进行一次备份操作

*/3 * * * * /www/server/backUp/back_up.sh > /www/server/backUp/back_log.log 2>&1

一般建议每周一，进行一次备份即可，参考如下：

0 0 * * 1 /www/server/backUp/back_up.sh > /www/server/backUp/back_log.log 2>&1

推荐文章 —— 【crontab 将脚本错误写入指定日志文件】

crontab 计划任务在添加或修改后，需要保存并重启服务才能生效

systemctl restart crond

▷ 增量备份脚本、计划任务

可以对比上面的步骤，此处不会介绍的太详细 …

创建脚本

touch inc_back_up.sh

打开脚本并添加全量备份信息如下：

(在此，指定了一个增量备份文件目录："/www/server/backUp/inc_back_data")

# !/bin/bash

BACKUP_PATH='/www/server/backUp/back_data'

INC_BACKUP_PATH='/www/server/backUp/inc_back_data'

# 为了避免冲突，先删除文件夹

find ${INC_BACKUP_PATH} -exec rm -rf {} \; > /dev/null 2>&1

time=$(date "+%Y-%m-%d %H:%M:%S")

echo "执行增量热备份 ${time}"

innobackupex --defaults-file=/etc/my.cnf --user=bkpuser --password=bk_mT007 --no-timestamp --incremental ${INC_BACKUP_PATH} --incremental-basedir=${BACKUP_PATH}

innobackupex --apply-log --redo-only ${BACKUP_PATH}

innobackupex --apply-log --redo-only ${BACKUP_PATH} --incremental-dir=${INC_BACKUP_PATH}

给予权限

chmod -R 755 inc_back_up.sh

定时全量热备脚本

crontab -e

此处，为了测试方便，我设定了每 3 分钟进行一次增量备份操作

*/3 * * * * /www/server/backUp/inc_back_up.sh > /www/server/backUp/inc_back_log.log 2>&1

保存并重启 crontab 服务

systemctl restart crond

▷ 总结

注意我对执行脚本中，指令的执行顺序

上面的计划任务操作后，最终演示目录"/www/server/backUp" 下的文件情况：

后期若是选定一台机器进行数据恢复，那么停机、合并全备份数据，还原操作即可 …

附录

参考文章

推荐文章 —— 【MySQL入门篇(七)之 Xtrabackup 备份与恢复】

【Mysql 常见报错和疑问汇总】

【xtrabackup 对 pxc 节点进行备份恢复】

【通过innobackupex实现对MySQL的增量备份与还原】

【MySQL 日常维护 - XtraBackup 全量备份】

本文同步分享在 博客“moTzxx”(CSDN)。

如有侵权，请联系 support@oschina.cn 删除。

本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。