xtrabackup实战版

最新推荐文章于 2023-07-20 10:40:51 发布
最新推荐文章于 2023-07-20 10:40:51 发布
阅读量115 收藏
点赞数
文章标签： 数据库 python
原文链接：https://my.oschina.net/rootliu/blog/1647069
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

备份脚本

  • 全量备份脚本
  • 增量备份脚本
  • 全量恢复
  • 增量恢复

全量备份脚本

[root@xucl-test-03 mysql_script]# cat fullbak.sh 
#!/bin/sh
# add xucl
     
INNOBACKUPEX=innobackupex
INNOBACKUPEXFULL=/usr/bin/$INNOBACKUPEX
TODAY=`date +%Y%m%d%H%M`
YESTERDAY=`date -d"yesterday" +%Y%m%d%H%M`
USEROPTIONS="--user=root --password=xcl582388"
TMPFILE="/dbbak/mysql_logs/innobackup_$TODAY.$$.tmp" 
MYCNF=/etc/my.cnf
MYSQL=/usr/local/mysql/bin/mysql
MYSQLADMIN=/usr/local/mysql/bin/mysqladmin
BACKUPDIR=/dbbak/mysql_data # 备份的主目录
FULLBACKUPDIR=$BACKUPDIR/full # 全库备份的目录
INCRBACKUPDIR=$BACKUPDIR/incr # 增量备份的目录
KEEP=1 # 保留几个全库备份
 
# 获取开始时间
#############################################################################
# 打印错误信息并退出
#############################################################################
error()
{
    echo "$1" 1>&2
    exit 1
}
 
# 开始备份前检查相关的参数
if [ ! -x $INNOBACKUPEXFULL ]; then
  error "$INNOBACKUPEXFULL does not exist."
fi
 
if [ ! -d $BACKUPDIR ]; then
  error "Backup destination folder: $BACKUPDIR does not exist."
fi
 
if [ -z "`$MYSQLADMIN $USEROPTIONS status | grep 'Uptime'`" ] ; then
 error "HALTED: MySQL does not appear to be running."
fi
 
if ! `echo 'exit' | $MYSQL -s $USEROPTIONS` ; then
 error "HALTED: Supplied mysql username or password appears to be incorrect (not copied here for security, see script)."
fi
 
# 输出备份信息
echo "----------------------------"
echo
echo "$0: MySQL backup script"
echo "started: `date`"
echo
 
# 如果备份目录不存在则创建相应的全备增备目录
for i in $FULLBACKUPDIR $INCRBACKUPDIR
do
        if [ ! -d $i ]; then
                mkdir -pv $i
        fi
done
 
# 压缩上传前一天的备份
echo "压缩前一天的备份，scp到远程主机"
cd $BACKUPDIR
tar -zcvf $YESTERDAY.tar.gz ./full/ ./incr/
# scp -P 8022 $YESTERDAY.tar.gz root@192.168.10.46:/data/backup/mysql/
#if [ $? = 0 ]; then
rm -rf $BACKUPDIR/full $BACKUPDIR/incr
echo "开始全量备份"
innobackupex --defaults-file=$MYCNF $USEROPTIONS $FULLBACKUPDIR > $TMPFILE 2>&1
#else
#  echo "远程备份失败"
#fi
 
if [ -z "`tail -1 $TMPFILE | grep 'completed OK!'`" ] ; then
 echo "$INNOBACKUPEX failed:"; echo
 echo "---------- ERROR OUTPUT from $INNOBACKUPEX ----------"
# cat $TMPFILE
# rm -f $TMPFILE
 exit 1
fi

# 这里获取这次备份的目录 
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPFILE`
echo "THISBACKUP=$THISBACKUP"
#rm -f $TMPFILE
echo "Databases backed up successfully to: $THISBACKUP"

# Cleanup
echo "delete tar files of 3 days ago"
find $BACKUPDIR/ -mtime +3 -name "*.tar.gz"  -exec rm -rf {} \;
 
echo
echo "completed: `date`"
exit 0

增量备份脚本

[root@xucl-test-03 mysql_script]# cat incrbak.sh 
#!/bin/sh
# add xucl
 
INNOBACKUPEX=innobackupex
INNOBACKUPEXFULL=/usr/bin/$INNOBACKUPEX
TODAY=`date +%Y%m%d%H%M`
USEROPTIONS="--user=root --password=xcl582388"
TMPFILE="/dbbak/mysql_logs/incr_$TODAY.$$.tmp"
MYCNF=/etc/my.cnf
MYSQL=/usr/local/mysql/bin/mysql
MYSQLADMIN=/usr/local/mysql/bin/mysqladmin
BACKUPDIR=/dbbak/mysql_data # 备份的主目录
FULLBACKUPDIR=$BACKUPDIR/full # 全库备份的目录
INCRBACKUPDIR=$BACKUPDIR/incr # 增量备份的目录

#############################################################################
# 打印错误信息并退出
#############################################################################
error()
{
    echo "$1" 1>&2
    exit 1
}
 
# 开始备份前检查相关的参数
if [ ! -x $INNOBACKUPEXFULL ]; then
  error "$INNOBACKUPEXFULL does not exist."
fi
 
if [ ! -d $BACKUPDIR ]; then
  error "Backup destination folder: $BACKUPDIR does not exist."
fi
 
if [ -z "`$MYSQLADMIN $USEROPTIONS status | grep 'Uptime'`" ] ; then
 error "HALTED: MySQL does not appear to be running."
fi
 
if ! `echo 'exit' | $MYSQL -s $USEROPTIONS` ; then
 error "HALTED: Supplied mysql username or password appears to be incorrect (not copied here for security, see script)."
fi
 
# 输出备份信息
echo "----------------------------"
echo
echo "$0: MySQL backup script"
echo "started: `date`"
echo
 
# 如果备份目录不存在则创建相应的全备增备目录
for i in $FULLBACKUPDIR $INCRBACKUPDIR
do
        if [ ! -d $i ]; then
                mkdir -pv $i
        fi
done
 
# 查找最近的全备目录
LATEST_FULL=`find $FULLBACKUPDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"`
echo "LATEST_FULL=$LATEST_FULL" 

# 如果最近的全备仍然可用执行增量备份
# 创建增量备份的目录
TMPINCRDIR=$INCRBACKUPDIR/$LATEST_FULL
mkdir -p $TMPINCRDIR
BACKTYPE="incr"
# 获取最近的增量备份目录
LATEST_INCR=`find $TMPINCRDIR -mindepth 1 -maxdepth 1 -type d | sort -nr | head -1`
echo "LATEST_INCR=$LATEST_INCR"
  # 如果是首次增量备份，那么basedir则选择全备目录，否则选择最近一次的增量备份目录
if [ ! $LATEST_INCR ] ; then
  INCRBASEDIR=$FULLBACKUPDIR/$LATEST_FULL
else
  INCRBASEDIR=$LATEST_INCR
fi
echo "Running new incremental backup using $INCRBASEDIR as base."
innobackupex --defaults-file=$MYCNF $USEROPTIONS --incremental $TMPINCRDIR --incremental-basedir $INCRBASEDIR > $TMPFILE 2>&1

 
if [ -z "`tail -1 $TMPFILE | grep 'completed OK!'`" ] ; then
 echo "$INNOBACKUPEX failed:"; echo
 echo "---------- ERROR OUTPUT from $INNOBACKUPEX ----------"
 exit 1
fi

# 这里获取这次备份的目录 
THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPFILE`
echo "THISBACKUP=$THISBACKUP"
echo
echo "Databases backed up successfully to: $THISBACKUP"

echo
echo "incremental completed: `date`"
exit 0

目录结构

[root@xucl-test-03 dbbak]# ls
 mysql_data  mysql_logs  mysql_script

其中mysql_data存放的是数据备份，mysql_logs存放的是备份的日志，mysql_script存放的是全量和增量备份的脚本。

crontab参考如下：

[root@Mariadb-03 mysql_script]# crontab -l
0 4 * * 3,6 sh /dbbackup/mysql_script/full.sh > /dev/null 2>&1
0 4 * * 1,2,4,5,7 sh /dbbackup/mysql_script/incr.sh > /dev/null 2>&1

每周三、周六执行全备，其他时间增量备份，备份时间点在凌晨4点

恢复

  • 全量恢复

1.#停mysql服务

sudo /etc/init.d/mysqld stop

2.# 删除data目录下的内容

sudo rm –rf /storage/mysql/data/*

3.# 编辑/etc/my.cnf 加入basedir和datadir 否则innobackupex: Error: Original data directory '.' is not empty! at /usr/bin/innobackupex line 2163

basedir = /usr/local/mysql
datadir = /storage/mysql/data

4.# innobackupex恢复

innobackupex --defaults-file=/etc/my.cnf --apply-log /storage/dump/ --use-memory=3G
innobackupex --defaults-file=/etc/my.cnf --copy-back /storage/dump/ --use-memory=3G

5.# 修改权限

chown -R mysql:mysql /storage/mysql

6.#启动mysqld

mysqld_safe --defaults-file=/etc/my.cnf 2>&1 > /dev/null &

7.#跳过认证修改密码

sudo /usr/local/mysql/bin/mysqld_safe --skip-grant-tables &
mysql –uroot –p #登录修改密码

8.#关闭mysqld_safe

sudo /usr/local/mysql/bin/mysqladmin shutdown -uroot –p
/usr/local/mysql5719/bin/mysqld_safe --defaults-file=/storage/data/my.cnf &
  • 增量恢复
    大体步骤同全量恢复，多了合并的步骤
全备目录：/dbbak/full/2018-02-02_10-04-08
增量备份目录：/dbbak/incr/2018-02-02_10-04-08/2018-02-02_12-44-10

全备应用redo

innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxxxxx --apply-log --redo-only /dbbak/full/2018-02-02_10-04-08

合并增量备份

innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxxxxx --apply-log --redo-only /dbbak/full/2018-02-02_10-04-08 --incremental-dir=/dbbak/incr/2018-02-02_10-04-08/2018-02-02_12-44-10  --use-memory=8G

目录拷贝

innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxxxxx --copy-back /dbbak/full/2018-02-02_10-04-08 --use-memory=8G

后续步骤同全量恢复



作者：拾荒者charley
链接：https://www.jianshu.com/p/1740f55e5c16
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

转载于:https://my.oschina.net/rootliu/blog/1647069

weixin_33937499
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
xtrabackup备份mysql实战_Xtrabackup备份mysql实战（做从库全过程）
weixin_35662171的博客
01-19 102
一、背景线上的一个库一直都是RD他们自己维护的，由于业务的增长，现在数据已经500G+了，急需做一个从库，登陆机器一瞅，坑爹啊，还是mysql5.6(我们维护的都是5.5)，mysql5.6还没有搞过呢，还有就是他这安装的都不是按我们运维的标准安装的，我的第一反应就是这活没法干，这个库又不容许停库太长时间，于是就度娘、QQ群各种请教，最终确定用Xtrabackup试一把，一直在听大家说Xtraba...
MySQL备份之Xtrabackup实战
juded的博客
02-22 443
简介Xtrabackup是一个对InnoDB做数据备份的工具，支持在线热备份（备份时不影响数据读写），是商业备份工具InnoDB Hotbackup的一个很好的替代品。它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）特点1) 备份过程快速、可靠；2) 备份过程不会打断正在执行的事务；3) 能够基于压缩等功能节约磁盘空间和流量；4) 自动实现备份检验
Xtrabackup工具的原理及其实战
探索世界，改变世界
05-21 765
Xtrabackup是一个对InnoDB做数据备份的工具，支持在线热备份（备份时不影响数据读写），是商业备份工具InnoDBHotbackup的一个很好的替代品。   Xtrabackup有两个主要的工具：xtrabackup、innobackupex （1）xtrabackup只能备份InnoDB和XtraDB两种数据表，而不能备份MyISAM数据表 （2）innobackupex-1.
XtraBackup企业实战
IT99qky的博客
06-30 332
说明：第一次全备，第二次在全备的基础上做增量，第三次在第二次增量备份上做增量，同理第四次在第三次的基础上做增量…(恢复的时候也是依次，第一次整合全备，第二次全备基础是整合增量备份的。备注:对于使用XtraBackup进行备份的情况，全量和增量备份是分别针对一个干净的目标数据目录进行的。查看to_lsn起始值与from_lsn结束值能否对应。查看to_lsn起始值与from_lsn结束值能否对应。第二次增量备份:一定是基于第一次增量备份基础上操作。3、执行第一次增量备份的日志。4、执行第二次增量备份的日志。
xtrabackup备份mysql实战_MySQL备份（基于xtrabackup）的实战
weixin_31258847的博客
01-19 109
MySQL备份策略MySQL备份是我们运维过程中再正常不过的事情了，这里总结一下以前备份的方法，使用的是xtrabackup，当然这里的备份方法还有mysqldump这个是mysql自己的备份工具，不过它支持的比较简单，仅支持全量+binlog进行恢复，对于数据量大的企业，你总不能每周两三次的全量备份+二进制日志做时间点还原吧，显然这里我们需要增量备份的支持；简单说一下全量，增量，二进制日志分别的...
大数据XtraBackup备份企业实战
最新发布
03-03
随着互联网不断的发展,企业对运维人员的能力要求也越来越高,尤其是要求运维人员能处理...本内容向读者介绍数据库备份方法、数量量2T及以上级别数据库备份方案、xtrabackup企业工具案例演示、数据库备份及恢复实战等。
MySQL备份与恢复实战mysqldump xtrabackup等
06-14
本套课程从2个方面讲解了MySQL的备份与恢复:逻辑备份和物理备份，其中逻辑备份工具分别介绍了mysqldump、mysqlpump、mydumper的详细使用，物理备份工具介绍了xtrabackup的详细使用。通过本套课程的学习能够达到快速...
innobackupex、xtrabackup使用说明及备份脚本
07-09
《MySQL数据库备份：innobackupex与xtrabackup详解及实战脚本》 在MySQL数据库管理中，数据安全至关重要，而备份是保障数据安全的重要手段。本文将详细介绍两个用于MySQL数据库物理备份的工具——innobackupex和...
linux下获取文件的创建时间与实战教程
01-09
我在研究 《xtrabackup 原理图》的时候，想通过观察确认 xtrabackup_log 是最早创建 并且是 最晚保存的文件。我们就需要知道 xtrabackup_logfile 这个文件的创建时间戳和修改时间戳。 复习: Linux关于文件的三个...
2017最新老男孩MySQL高级专业DBA实战课程全套【清晰不加密】，看完教程月入40万没毛病
06-23
第十四部 MySQL高可用综合实战（完整版32节） 01-重要课前思想mp4 02-MySQL高可用需求与架构讲解mp4 03-大规模集群架构中MySQL高可用的位置和架构mp4 04-MySQL高可用实战模拟环境描述mp4 05-MySQL高可用生产场景配置...
Percona XtraBackup 8.0.26实战大全
Neo
10-01 7902
目录Percona XtraBackup特性说明Percona Xtrabackup 备份恢复权限限制创建备份用户、配置参数及数据准备Sysbench造数据全量备份与恢复全量备份全量恢复增量备份增量恢复压缩备份解压备份及恢复流备份 Percona XtraBackup特性说明 Percona Xtrabackup 8.0.26新增支持MyRocks存储引擎，不支持TokuDB引擎 Percona Xtrabackup 8.0.26 不支持低于MySQL 8.0的备份（因为MySQL 8.0在数据字典、re
MYSQL数据库备份实战之xtrabackup（增量备份/差异备份）
qq_44089897的博客
08-26 1179
xtrabackup Percona 官网：www.percona.com percona-server InnoDB --> XtraDB Xtrabackup percona提供的mysql数据库备份工具，惟一开源的能够对innodb和xtradb数据库进行热备的工具 手册：https://www.percona.com/doc/percona-xtrabackup/LATEST/index.html 特点： 备份还原过程快速、可靠 备份过程不会打断正在执行的事务 能够基于压缩等功能节约磁盘空间
mysql备份实战-Xtrabackup工具备份
Free雅轩的博客
07-20 304
←#249#root@localhost /tmp →innobackupex --apply-log --redo-only /tmp/full-backu2015-06-25_05-58-26/ --incremental-dir=/tmp/full-backup/2015-06-25_06-00-48/ #合并第一次增量备份文件。其中，BASEDIR指的是完全备份所在的目录，此命令执行结束后，innobackupex命令会在/backup目录中创建一个新的以时间命名的目录以存放所有的增量备份数据。
xtrabackup备份还原实战
莲藕粉的博客
05-27 571
文章目录一、 xtrabackup安装二 、介绍工作原理三、xtrabackup 备份使用方法1、全备2、增量备份四、备份还原实战1、数据环境准备2、准备备份3、进行恢复 一、 xtrabackup安装 根据实际情况选择相应版本的xtrabackup，mysql是5.7.xx对应的xtrabackup版本为2.4.*，mysql8.0以上的对应的xtrabackup版本为8.x.x #安装依赖包： wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyu
xtrabackup命令用法实战
wfs
05-21 5362
上篇整理了innobackupex命令的用法：innobackupex命令用法实战，接下来介绍xtrabackup命令的用法。其中xtrabackup命令使用说明可以参考：Percona XtraBackup使用说明 完全备份 1.创建备份 [root@linux-node1 backup]# xtrabackup --user=backup --password=123456 --da...
MySQL入门之Xtrabackup备份与恢复命令用法实战
09-14 3967
一、Xtrabackup介绍 　　MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周实用完整备份，周一到周六实用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工具，xtrabakackup有2个工具，分别是xtrabakup、innobakup...
没有qpress_基于 Python 和 Xtrbackup 的自动化备份与还原实现
weixin_35639680的博客
02-12 129
基于 Python 和 Xtrbackup 的自动化备份与还原实现xtrabackup 是一个 MySQL 备份还原的常用工具, 实际使用过程应该都是 shell 或者 Python 封装的自动化脚本, 尤其是备份.对还原来说, 对于基于完整和增量备份的还原, 还原差异备份需要指定增量备份等等一系列容易出错的手工操作, 以及 binlog 的还原等, 如果纯手工操作的话非常麻烦.即便是你记性非常好...
xtrabackup版本更替
11-01
Percona XtraBackup是一个用于MySQL数据库备份的开源工具，它可以在不停止MySQL服务器的情况下备份InnoDB、XtraDB和MyISAM存储引擎。在版本更替方面，Percona XtraBackup的更新速度非常快，目前最新版本是8.0.23，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值