title: XtraBackup实践(一)备份 tags:
- xtrabackup
- mysql
- 热备
- 物理备份 categories: mysql date: 2017-10-28 16:31:16
背景
目前随着用户越来越多 db的实时性和稳定性也提出了新的要求
之前的备份逻辑时逻辑备份 随着磁盘的扩容 也考虑目前再加上物理备份
详细区别可以从参考下文
逻辑备份
逻辑备份是备份sql语句，在恢复的时候执行备份的sql语句实现数据库数据的重现。
mysqldump
mysqldump是采用SQL级别的备份机制，他将数据表导成SQL脚本文件，是最常用的逻辑备份方法。
物理备份
物理备份就是备份数据文件了，比较形象点就是cp下数据文件，但真正备份的时候自然不是的cp这么简单。
xtrabackup
是一个用来备份 MySQL数据库的开源工具。
主要特点：
在线热备份。可以备份innodb和myisam。innodb主要应用recovery原理。myisam直接拷贝文件。
支持流备份。可以备份到disk，tape和reomot host。–stream=tar ./ | ssh user@remotehost cat “>” /backup/dir/
支持增量备份。可以利用lsn和基础备份目录来进行增量备份。
支持记录slave上的master log和master position信息。
支持多个进程同时热备份，xtrabackup的稳定性还是挺好的。
准备
下载XtraBackup
wget http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/Linux/x86_64/percona-xtrabackup-2.1.8-733-Linux-x86_64.tar.gz
tar -xvf Percona-XtraBackup-2.4.8-r97330f7-el6-x86_64-bundle.tar
yum install percona-xtrabackup-24-2.4.8-1.el6.x86_64.rpm
复制代码安装成功后可以执行innobackupex指令
[root@iZuf65br1kzrdlcne4bxpzZ soft]# innobackupex
171028 11:05:58 innobackupex: Missing argument
[root@iZuf65br1kzrdlcne4bxpzZ soft]# which innobackupex
/usr/bin/innobackupex
复制代码
#backupWithXtra.sh
#!/bin/sh
#on xtrabackup 2.2.8
# 第一次执行它的时候它会检查是否有完全备份,否则先创建一个全库备份
# 当你再次运行它的时候，它会根据脚本中的设定来基于之前的全备或增量备份进行增量备份
#ocpyang@126.com
INNOBACKUPEX_PATH=innobackupex #INNOBACKUPEX的命令
INNOBACKUPEXFULL=/usr/bin//$INNOBACKUPEX_PATH #INNOBACKUPEX的命令路径
#mysql目标服务器以及用户名和密码
MYSQL_CMD="--host=192.168.1.7 --user=root --password=root --port=3306"
MYSQL_UP=" --user=root --password='root' --port=3306 " #mysqladmin的用户名和密码
TMPLOG="/tmp/innobackupex.$$.log"
MY_CNF=/etc/my.cnf #mysql的配置文件
MYSQL=/usr/bin/mysql
MYSQL_ADMIN=/usr/bin/mysqladmin
BACKUP_DIR=/home/backup/data # 备份的主目录
FULLBACKUP_DIR=$BACKUP_DIR/full # 全库备份的目录
INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量备份的目录
FULLBACKUP_INTERVAL=86400 # 全库备份的间隔周期，时间：秒
KEEP_FULLBACKUP=1 # 至少保留几个全库备份
logdir=/home/backup/log/
logfiledate=backup.`date +%Y%m%d%H%M`.txt
#开始时间
STARTED_TIME=`date +%s`
#############################################################################
# 显示错误并退出
#############################################################################
error()
{
echo "$1" 1>&2
exit 1
}
# 检查执行环境
if [ ! -x $INNOBACKUPEXFULL ]; then
error "$INNOBACKUPEXFULL 未安装或未链接到/usr/bin."
fi
if [ ! -d $BACKUP_DIR ]; then
error "备份目标文件夹:$BACKUP_DIR 不存在."
fi
mysql_status=`netstat -nl | awk 'NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}'`
if [ "$mysql_status" != "Yes" ];then
error "MySQL 没有启动运行."
fi
if ! `echo 'exit' | $MYSQL -s $MYSQL_CMD` ; then
error "提供的数据库用户名或密码不正确!"
fi
# 备份的头部信息
echo "----------------------------"
echo
echo "$0: MySQL备份脚本"
echo "开始于: `date +%F' '%T' '%w`"
echo
#新建全备和差异备份的目录
mkdir -p $FULLBACKUP_DIR
mkdir -p $INCRBACKUP_DIR
#查找最新的完全备份
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
# 查找最近修改的最新备份时间
LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`
#如果全备有效进行增量备份否则执行完全备份
if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then
# 如果最新的全备未过期则以最新的全备文件名命名在增量备份目录下新建目录
echo -e "完全备份$LATEST_FULL_BACKUP 未过期,将根据$LATEST_FULL_BACKUP 名字作为增量备份基础目录名"
echo " "
NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
mkdir -p $NEW_INCRDIR
# 查找最新的增量备份是否存在.指定一个备份的路径作为增量备份的基础
LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
if [ ! $LATEST_INCR_BACKUP ] ; then
INCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUP
echo -e "增量备份将以$INCRBASEDIR 作为备份基础目录"
echo " "
else
INCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}
echo -e "增量备份将以$INCRBASEDIR 作为备份基础目录"
echo " "
fi
echo "使用$INCRBASEDIR 作为基础本次增量备份的基础目录."
$INNOBACKUPEXFULL --defaults-file=$MY_CNF --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1
#保留一份备份的详细日志
cat $TMPLOG>$logdir/$logfiledate
if [ -z "`tail -1 $TMPLOG | grep 'innobackupex: completed OK!'`" ] ; then
echo "$INNOBACKUPEX 命令执行失败:"; echo
echo -e "---------- $INNOBACKUPEX_PATH 错误 ----------"
cat $TMPLOG
rm -f $TMPLOG
exit 1
fi
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`
rm -f $TMPLOG
echo -n "数据库成功备份到:$THISBACKUP"
echo
# 提示应该保留的备份文件起点
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}
RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`
echo
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
echo -e "必须保留$KEEP_FULLBACKUP 份全备即全备${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目录中所有增量备份."
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
echo
else
echo "*********************************"
echo -e "正在执行全新的完全备份...请稍等..."
echo "*********************************"
$INNOBACKUPEXFULL --defaults-file=$MY_CNF --use-memory=4G $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1
#保留一份备份的详细日志
cat $TMPLOG>$logdir/$logfiledate
if [ -z "`tail -1 $TMPLOG | grep 'innobackupex: completed OK!'`" ] ; then
echo "$INNOBACKUPEX 命令执行失败:"; echo
echo -e "---------- $INNOBACKUPEX_PATH 错误 ----------"
cat $TMPLOG
rm -f $TMPLOG
exit 1
fi
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`
rm -f $TMPLOG
echo -n "数据库成功备份到:$THISBACKUP"
echo
# 提示应该保留的备份文件起点
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`
RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}
echo
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
echo -e "无增量备份,必须保留$KEEP_FULLBACKUP 份全备即全备${RES_FULL_BACKUP}."
echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
echo
fi
#删除过期的全备
echo -e "find expire backup file...........waiting........."
echo -e "寻找过期的全备文件并删除">> $logdir/$logfiledate
for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +6)
do
if [ -d ${efile} ]; then
rm -rf "${efile}"
echo -e "删除过期全备文件:${efile}" >> $logdir/$logfiledate
elif [ -f ${efile} ]; then
rm -rf "${efile}"
echo -e "删除过期全备文件:${efile}" >> $logdir/$logfiledate
fi;
done
if [ $? -eq "0" ];then
echo
echo -e "未找到可以删除的过期全备文件"
fi
echo
echo "完成于: `date +%F' '%T' '%w`"
exit 0
复制代码某位好心人放在网络上的备份脚本【可以自己设置备份间隔，比如一天一全备份 每隔1个小时增量备份】版权和作者信息均为去除
实际执行结果如下
./backupWithXtra.sh: MySQL备份脚本
开始于: 2017-10-28 14:08:16 6
完全备份2017-10-28_13-54-06 未过期,将根据2017-10-28_13-54-06 名字作为增量备份基础目录名
增量备份将以/home/backup/data/full/2017-10-28_13-54-06 作为备份基础目录
使用/home/backup/data/full/2017-10-28_13-54-06 作为基础本次增量备份的基础目录.
复制代码执行效果相当不错
可以考虑crontab了~O(∩_∩)O哈哈~
292
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
