Mysql的xtrabackup备份/恢复实现(全量和增量，不包含binlong，现成脚本，已经在运行，拿去用吧)

最新推荐文章于 2024-06-01 15:29:46 发布
最新推荐文章于 2024-06-01 15:29:46 发布
阅读量663 收藏 2
点赞数
分类专栏： Mysql 文章标签： xtrabackup mysql backup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gycyxh/article/details/83787552
版权

Mysql的xtrabackup备份实现

1.在数据库从节点部署，配置crontab：

#30 01 * * 1-6 /data/dbbackup/scripts/mysqlback.sh incremental 1>/dev/null 2>&1

#30 01 * * 7 /data/dbbackup/scripts/mysqlback.sh full 1>/dev/null 2>&1

2.在目录下载最新xtrabackup包

percona-xtrabackup-2.4.12-Linux-x86_64.libgcrypt145.tar.gz，解压到

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64

3.创建目录和数据目录,分别如下

脚本运行目录：

/data/dbbackup/

scripts--运行脚本放的地方(mysqlback.sh,config.env),脚本见5

log--运行后产生日志

lsn--存放最新LSN数据，每次备份从这里加载，备份后更新这个目录数据

数据目录：

/udisk/dbbackup

full--全量备份，保留最新一份

incr--增量备份，保留最新一份

 

4.恢复

全量备份和解压

1.全量备份（480G大约1个半小时完成，压缩后大概80G）：

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/innobackupex --defaults-file=/etc/my.cnf --parallel=4  --host=172.16.0.6 --port=5688 --user=root --password=Yzf270701#  --databases=yzf_task --stream=xbstream --compress  --extra-lsndir=/data/dbbackup/lsn /udisk/dbbackup/data 2>/data/dbbackup/log/task.log  | pigz -6 -p 4 > /udisk/dbbackup/data/full_yzf_task.xbstream.gz

2. 全量解压(40G压缩文件，解压需要45分钟)：

#pigz解压：40G 10min:

pigz -d -p 50 full_yzf_task.xbstream.gz

#xbstream解压 40G 10min：

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xbstream -x < /udisk/dbbackup/data/full_yzf_task.xbstream -C /udisk/dbbackup/data

#qpress解压，40G 15min：

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup --parallel=4 --decompress --target-dir=/udisk/dbbackup/data/full_20181017

增量备份和解压

增量备份1：

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/innobackupex --defaults-file=/etc/my.cnf --parallel=4  --host=172.16.0.6 --port=5688 --user=root --password=Yzf270701#  --databases=yzf_task --stream=xbstream --compress  --incremental --incremental-basedir=/data/dbbackup/lsn --extra-lsndir=/data/dbbackup/lsn /udisk/dbbackup/data 2>/data/dbbackup/log/incre_task.log  | pigz -6 -p 4 > /udisk/dbbackup/data/incre_yzf_task.xbstream.gz

 

增量备份1解压：

pigz -d -p 50 incre_yzf_task.xbstream.gz

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xbstream -x < /udisk/dbbackup/data/incre_yzf_task.xbstream -C /udisk/dbbackup/data/incre_20181017/

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup --decompress --target-dir=/udisk/dbbackup/data/incre_20181017

 

增量备份2：

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/innobackupex --defaults-file=/etc/my.cnf --parallel=4  --host=172.16.0.6 --port=5688 --user=root --password=Yzf270701#  --databases=yzf_task --stream=xbstream --compress  --incremental --incremental-basedir=/data/dbbackup/lsn --extra-lsndir=/data/dbbackup/lsn /udisk/dbbackup/data 2>/data/dbbackup/log/incre2_task.log  | pigz -6 -p 4 > /udisk/dbbackup/data/incre2_yzf_task.xbstream.gz

增量备份2解压：

pigz -d -p 50 incre2_yzf_task.xbstream.gz

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xbstream -x < /udisk/dbbackup/data/incre2_yzf_task.xbstream -C /udisk/dbbackup/data/incre2_20181017/

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup --decompress --target-dir=/udisk/dbbackup/data/incre2_20181017

 

 

 

恢复：

把全量和增量N次的解压数据合并在一起：

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup --prepare --apply-log-only --target-dir=/udisk/dbbackup/data/full_20181017

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup --prepare --apply-log-only --target-dir=/udisk/dbbackup/data/full_20181017 --incremental-dir=/udisk/dbbackup/data/incre_20181017

#最后一步直接prepare

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup --prepare --target-dir=/udisk/dbbackup/data/full_20181017 --incremental-dir=/udisk/dbbackup/data/incre2_20181017

后续步骤

1.停止mysql

service mysqld stop

#移走mysql目录

mv mysql mysql_bak_test

#创建mysql目录，如果有bin log数据，请在恢复后从对应目录拷贝过来比如 cp -r mysql_bak_test/data mysql/data

mkdir -p /data/mysql

2.执行恢复：

/data/dbbackup/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup --defaults-file=/etc/my.cnf --copy-back  --target-dir=/udisk/dbbackup/data/full_20181017

3.修改权限：

chown -R mysql:mysql mysql

4.启动数据库：

service mysqld start

 

5.脚本：

config.env:


#重点关注下面参数
HOST=10.10.180.4
PORT=5688
USER=xxx
PASSWD=xxx
DB="xxx"
PROGRAMDIR=/data/dbbackup #程序运行目录
BACKUPDIR=/udisk/dbbackup # 数据备份的主目录
SCPDIR="root@10.19.83.66:/data/backup/mysql/" #备份的目录
SCPREPORT="root@10.19.83.66:/data/sre_report/daily/" #日志存放目录


#这些基本不用改
CNF_FILE="/etc/my.cnf" 
XTRABACKUP=$PROGRAMDIR/percona-xtrabackup-2.4.12-Linux-x86_64/bin/xtrabackup
INNOBACKUP=$PROGRAMDIR/percona-xtrabackup-2.4.12-Linux-x86_64/bin/innobackupex

mysqlback.sh:

#!/bin/sh
#@author: guoyouchun 2018-10-16
# Mysql backup via xtrabackup
#请安装 yum install pigz
#请安装  percona-xtrabackup-2.4.12-Linux-x86_64
#set -x

source ./config.env

TODAY=`date +%Y%m%d%H%M%S`
YESTERDAY=`date -d"yesterday" +%Y%m%d%H%M%S`

USEROPTIONS="--host=$HOST --port=$PORT --user=$USER --password=$PASSWD"
FULLBACKUPDIR=$BACKUPDIR/full # 全库备份的目录
INCRBACKUPDIR=$BACKUPDIR/incr # 增量备份的目录
LSNDIR=$PROGRAMDIR/lsn #最新lsn目录
LOGFILE=$PROGRAMDIR/log/mysql_backup_$TODAY.log
TMPFILE=$PROGRAMDIR/tmp.log

 
#############################################################################
# Display error message and exit
# log()
#############################################################################
log_err()
{
    time=`date +%Y%m%d%H%M%S`
	echo "$time:error:$1" >> $LOGFILE
    exit 1
}

log_info()
{
    time=`date +%Y%m%d%H%M%S`
	echo "$time:info:$1" >> $LOGFILE
}

#删除30天前的历史日志
clean()
{
	if [ -d $PROGRAMDIR/log/ ];then 
		find $PROGRAMDIR/log/ -name "mysql_backup_*.log" -mtime +30 |xargs rm -rf 
	fi
	
	if [ -d $FULLBACKUPDIR ];then 
		find $FULLBACKUPDIR -name "FULL.*.gz" -mtime +7 |xargs rm -rf 
	fi
	
	if [ -d $INCRBACKUPDIR ];then 
		find $INCRBACKUPDIR -name "INCR.*.gz" -mtime +2 |xargs rm -rf 
	fi
}


check()
{

	# Check options before proceeding
	if [ ! -x $XTRABACKUP ]; then
	  log_err "$XTRABACKUP does not exist."
	fi
	 
	if [ ! -x $INNOBACKUP ]; then
	  log_err "$INNOBACKUP does not exist."
	fi
	
	if [ ! -d $BACKUPDIR ]; then
	  log_err "$BACKUPDIR does not exist."
	fi
	 
	if ! `echo 'exit' | mysql -s $USEROPTIONS` ; then
	 log_err " Supplied mysql username or password appears to be incorrect (not copied here for security, see script)."
	fi
 
}

fullback()
{
	
	# Create full and incr backup directories if they not exist.
	for i in $FULLBACKUPDIR $INCRBACKUPDIR $XTRABACKUP_BASE/log/
	do
			if [ ! -d $i ]; then
					mkdir -pv $i
			fi
	done
	
	check
	begin_time=$(date +%s)
	#开始备份，并行度4 --databases=$DB暂时不用
	name=$FULLBACKUPDIR/FULL.$HOST.$DB.$TODAY.xbstream.gz
	$INNOBACKUP --defaults-file=$CNF_FILE --backup --parallel=4 $USEROPTIONS  --stream=xbstream --compress  --extra-lsndir=$LSNDIR $FULLBACKUPDIR 2>$TMPFILE | pigz -6 -p 4 > $name
	end_time=$(date +%s)
	#花费时间
	cost_time1=$(($end_time-$begin_time))
	cur_time=`date +%Y%m%d%H%M%S`
	
	if [ -z "`tail -1 $TMPFILE | grep 'completed OK!'`" ] ; then
		log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects:cost[$cost_time1 s] $name,Status:FAIL,Operation_type:backup.db,Detail_log:Backup to local Failed,check $TMPFILE"
	else
		log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects: cost[$cost_time1 s] $name,Status:OK,Operation_type:backup.db,Detail_log:Backup to local Success"
		scp $name $SCPDIR 
		if [ $? = 0 ]; then
			cur_time=`date +%Y%m%d%H%M%S`
			log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects: $name,Status:OK,Operation_type:backup.upload,Detail_log:Upload to Remote $SCPDIR Success"
		else
			cur_time=`date +%Y%m%d%H%M%S`
			log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects: cost[$cost_time1 s] $name,Status:FAILED,Operation_type:backup.db,Detail_log:Upload to Remote $SCPDIR Failed"
		fi
	fi
	
	#上传日志到报表系统
	scp $LOGFILE $SCPREPORT
	clean
}


incrback()
{
	# Create full and incr backup directories if they not exist.
	for i in $FULLBACKUPDIR $INCRBACKUPDIR $XTRABACKUP_BASE/log/
	do
			if [ ! -d $i ]; then
					mkdir -pv $i
			fi
	done
	
	begin_time=$(date +%s)
	#开始备份，并行度4
	name=$INCRBACKUPDIR/INCR.$HOST.$DB.$TODAY.xbstream.gz
	$INNOBACKUP --defaults-file=$CNF_FILE --backup --parallel=4 $USEROPTIONS --stream=xbstream --compress --incremental --incremental-basedir=$LSNDIR --extra-lsndir=$LSNDIR $INCRBACKUPDIR 2>$TMPFILE |pigz -6 -p 4 > $name

	end_time=$(date +%s)
	#花费时间
	cost_time1=$(($end_time-$begin_time))
	cur_time=`date +%Y%m%d%H%M%S`
	
	if [ -z "`tail -1 $TMPFILE | grep 'completed OK!'`" ] ; then
		log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects:cost[$cost_time1 s] $name,Status:FAIL,Operation_type:backup.db,Detail_log:Backup to local Failed,check $TMPFILE"
	else
		log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects: cost[$cost_time1 s] $name,Status:OK,Operation_type:backup.db,Detail_log:Backup to local Success"
		scp $name $SCPDIR 
		if [ $? = 0 ]; then
			cur_time=`date +%Y%m%d%H%M%S`
			log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects: $name,Status:OK,Operation_type:backup.upload,Detail_log:Upload to Remote $SCPDIR Success"
		else
			cur_time=`date +%Y%m%d%H%M%S`
			log_info "Host:$HOST,Operation_time:$cur_time,Operation_objects: cost[$cost_time1 s] $name,Status:FAILED,Operation_type:backup.db,Detail_log:Upload to Remote $SCPDIR Failed"
		fi
	fi
	
	#上传日志到报表系统
	scp $LOGFILE $SCPREPORT
	clean
	
	

}

usage="Usage: `basename $0` full|incremental"
command=$1

 
 #1全量，其他增量
case $command in
  (full)
     fullback
     ;;
  (incremental)
     incrback
     ;;
  (*)
     echo "Error command"
     echo "$usage"
     ;;
esac
春如夏花
关注
专栏目录
xtrabackup自动还原脚本
yangzhawen
04-08 3993
xtrabackup自动还原脚本，可以自动寻找最新的完全备份以及全备以后的增量备份并自动applog和copy-back.
MySQL.xtrabackup用脚本实现全量、增量备份（全自动化+详解）
qq_62862584的博客
07-15 1637
发布此脚本初心如标题，在我收到要做增备的时候，首先想到了CSDN，结果差强人意，这里并不是指同行们的技术。生平最恨两种人：一种是别人写脚本不加解释的，另一种是我写脚本别人逼我加解释的（doge；此脚本先检查是否安装xtrabackup，若未安装则执行安装命令；本人已经把每句的解释放到脚本里，每行对应的意思解释的很明白，总长45行（有效行数44）是本人经过简化目前比较满意的备份脚本。相对应，比如脚本里的是基于前一天的增量进行今日增量，意思是每日一次增量，这个地方要和crontab中的想对应相信诸君能够理解。
MySQL XtraBackup自动恢复脚本
weixin_34060299的博客
08-19 122
#!/bin/sh ################## #author:rrhelei@126.com# ################## #xtrabackup2.1.8 #使用方法： #./restore.sh/增量备份父目录或全备的父目录名 #eg1:./restore.sh/data/backup/full/ #eg2:./restore.sh/data/backup/...
mysql实战——xtrabackup全量备份/增量备份及恢复
zyjzyjjyzjyz的博客
05-23 2921
恢复的机器必须有my.cnf配置文件，再配置文件中配置好datadir目录即数据问目录，数据目录也必须为空，若不为空则会报错。可以看到第一次增量备份后新增的表空间被恢复了。可以看到inc4是第一次增量备份生成的文件。增量备份需要获取全量备份的to_lsn。如上图to_lsn=18374406。可以看到test2表空间。
xtrabackup备份脚本
阿丽
05-12 828
#!/bin/sh # #backup MYSQL db base-on xtrabackup 2.3.3 # MYSQL environment variable export MYSQL_BASE=/home/mariadb export MYSQL_HOME=$MYSQL_BASE/product/10.1/mariadb-1 export DATADIR=$MYSQL_BASE/dat
【5】MySQL数据库备份-XtraBackup - 全量备份
最新发布
CharlesYuangc的博客
06-01 1785
关于数据库备份的一些常见术语、工具等，可见《MySQL数据库-备份》章节，当前不再重复概述。本篇主要对XtraBackup工具的使用做下详细讲解。首先，说下所使用的环境、版本。
xtrabackup备份恢复shell脚本
08-26
在实际环境中，应创建一个测试数据库，模拟数据变更，然后使用脚本进行备份和恢复，确保备份数据的完整性和一致性。 总结，Xtrabackup结合Shell脚本提供了一套强大的MySQL备份恢复解决方案，能够应对各种复杂的业务...
xtrabackup实现MySQL全量备份和增量备份
m0_52438027的博客
07-17 448
第八步启动mysql并查看mysql数据库是否已经恢复。第十步启动mysql并查看删除的表是否应恢复。第六步将第一个增量备份文件合并到完全备份中。第二步删除mysql数据库（模拟故障）第三步退出mysql并关闭mysql。第四步整理备份数据（将备份整理就绪）第四步删除刚才创建的表（模拟故障）第一步完全备份到/ken下。第五步确认是否可以进行恢复。第七步确认是否可以进行恢复。第一步首先做一次完全备份。第三步做一次增量备份。第七步更改数据权限。第五步整理完整备份。...
MySQL--基于Xtrabackup+Shell+Crond实现的数据库（全量+增量）热备份方案
热门推荐
JustinQin
08-27 3万+
学习背景 不管你是正在上学，还是已经工作了，想必多多少少都听说过删库跑路、rm -rf的情况，主要指的就是被有意或无意的删除掉了数据库的数据，而数据是整个业务最重要的价值体现，如果你的公司或者项目组没有一个成熟的数据库数据备份方案，一旦发生意外，我只能说年轻人，大意了吧，没有备份数据库！！！ 一、Xtrabackup介绍 官方介绍文档 简单总结下来就是XtraBackup是Percona旗下的一款产品，支持MySQL数据库的热备份（在线不停机），并且是免费、开源，适用所有MySQL版本，非阻塞、紧密
基于xtrabackup的MySQL数据库备份及还原Shell脚本.zip
08-27
`xtrabackup`是Percona公司开发的一款高效、无锁的MySQL和MariaDB热备份工具，它允许在不影响数据库服务的情况下进行全备和增量备份。本教程将详细介绍如何使用`xtrabackup`结合Shell脚本来实现MySQL数据库的备份与...
XtraBackUp 全量备份
Demo
05-27 229
XtraBackUp 全量备份 准备 环境 MySQL 版本： 8.0.23 xtrabackup: 8.0.23-16 sysbench: 1.0.20 系统: Ubuntu Server 20.4 用户 创建 MySQL 用户， 用于备份数据 CREATE USER 'db_test'@'%' IDENTIFIED WITH mysql_native_password BY '111111'; grant all privileges on *.* TO 'db_test'@'%' WITH GRANT
使用XtraBackup完成对mysql全量、增量备份与恢复
weixin_34293902的博客
02-02 352
1.下载地址：https://www.percona.com/downloads/XtraBackup/LATEST/ 选择对应版本2.解压软件包:tar -zxvf percona-xtrabackup-2.4.13-Linux-x86_64.libgcrypt145.tar.gz3.进入bin目录:这里innobackupex是xtrabackup的一...
mysql xtrabackup备份语句_【MySQL】Xtrabackup备份及恢复脚本
weixin_27427397的博客
02-07 140
简介：此备份脚本的策略是每周日和周三进去全备 其余每天增量备份。# 备份脚本XtraBackup.sh：#!/bin/bash# filename : XtraBackup.sh# Author : wangday=`date +%w`dt=`date +%Y%m%d`lastday=`date -d '1 days ago' +%Y%m%d`user=rootpwd='x...
xtrabackup自动还原脚本v2
yangzhawen
04-10 2802
该版本增加了是否恢复所有增量备份,默认是全部增量备份.
xtrabackup全量备份与恢复
yu891203的博客
06-17 371
备份： innobackupex --user=DBUSER --password=DBUSERPASS --defaults-file=/etc/my.cnf /path/to/BACKUP-DIR/ 恢复： innobackupex --apply-log /backups/2018-07-30_11-04-55/ innobackupex --copy-back --defaults-file=/etc/my.cnf /backups/2018-07-30_11-04-55/ 1、准备(prepar
Xtrabackup 全量备份记录
炸你的博客
02-21 135
命令： innobackupex --user=root .（用系统用户root备份本机的数据库到当前目录下）
15、xtrabackup 全量备份
Csdn129341的博客
02-15 161
xtrabackup 全量备份与恢复 安装 yum install https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.13/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.13-1.el7.x86_64.rpm -y 备份命令总结 # 执行全量备份命...
xtrabackup全量增量备份+全量增量恢复+binlog增量恢复
qinhuaifeng的博客
03-26 417
xtrabackup全量增量备份+全量增量恢复+binlog增量恢复案例，记录自己的学习过程
MySQL备份恢复之 xtrabackup增量备份
qq_43028054的博客
07-10 583
mysql xtrabackup增量备份增量备份： 只有在还原和binlog接壤的地方，才会进行回滚，其他所有地方都不进行回滚 1.增量的含义是自上次备份以来发生改变的数据页 2.增量备份并没有降低物理IO，也是全扫描 3.增量备份不是很适合 OLTP 交易系统 4.增量备份适合数据仓库 –incremental-basedir=name //指定全备位置（也可能是增量备份） This opt...
MySQL与MongoDB备份策略：全量+增量备份与恢复
- MongoDB的备份通常使用`mongodump`工具进行全量备份，而增量备份可以通过`oplog`来实现，但与MySQL的`binlog`机制不同，MongoDB的`oplog`是内置的，用于复制集的同步。 - 备份命令：`mongodump --out /path/to/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值