基于 Python 和 Xtrbackup 的自动化备份与还原实现
xtrabackup 是一个 MySQL 备份还原的常用工具, 实际使用过程应该都是 shell 或者 Python 封装的自动化脚本, 尤其是备份.
对还原来说, 对于基于完整和增量备份的还原, 还原差异备份需要指定增量备份等等一系列容易出错的手工操作, 以及 binlog 的还原等, 如果纯手工操作的话非常麻烦.
即便是你记性非常好, 对 xtrabackup 非常熟悉, 纯手工操作的话, 非常容易出错, 其实也上网找过, 还原没有发现太好用的自动化还原脚本.
于是就自己用 Python 封装了 xtrabackup 备份和还原的过程, 可以做到自动化备份, 基于时间点的自动化还原等等.
需要对 xtrabackup 有一定的了解, 包括流式备份, 压缩备份, Xtrabackup 还原, mysqlbinlog 还原等等.
备份
1, 基于 xtrabackup 的流式压缩备份.
2, 周六 / 或者任意时间的第一次备份为完整备份, 其他时间为基于上一次备份的增量备份.
3, 将备份开始时间, 结束时间, 备份路径等信息写入一个日志文件, 方便后续自动化还原的时候解析.
效果如下: 不管是什么时候, 第一次必须为完整备份, 然后根据上述规则, 继续执行备份的话为基于最新一次备份的增量备份, 每备份完成后生成修改备份日志列表信息.
实现:# -*- coding: utf-8 -*-
importos
importtime
importdatetime
importsys
importsocket
importshutil
importlogging
logging.basicConfig(level=logging.INFO
#handlers={logging.FileHandler(filename='backup_log_info.log', mode='a', encoding='utf-8')}
)
host="127.0.0.1"
port="7000"
user="root"
password="root"
cnf_file="/usr/local/mysql57_data/mysql7000/etc/my.cnf"
backup_dir="/usr/local/backupdata"
backupfilelist=os.path.join(backup_dir,"backupfilelist.log")
backup_keep_days=15
# 获取备份类型, 周六进行完备, 平时增量备份, 如果没有全备, 执行完整备份
defget_backup_type():
backup_type=None
ifos.path.exists(backupfilelist):
withopen(backupfilelist,'r')asf:
lines=f.readlines()
if(lines):
last_line=lines[-1]#get last backup name
if(last_line):
if(time.localtime().tm_wday==6):
backup_type="full"
else:
backup_type="incr"
else:
backup_type="full"
else:
backup_type="full"
else:
#full backup when first backup
open(backupfilelist,"a").close()
backup_type="full"
returnbackup_type
# 获取最后一次备份信息
defget_last_backup():
last_backup=None
ifos.path.exists(backupfilelist):
withopen(backupfilelist,'r')asf:
lines=f.readlines()
last_line=lines[-1]# get last backup name
if(last_line):
last_backup=os.path.join(backup_dir,last_line.split("|")[-1])
returnlast_backup.replace("\n","")
# 探测实例端口号
defget_mysqlservice_status():
mysql_stat=0
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
result=s.connect_ex((host,int(port)))
#port os open
if(result==0):
mysql_stat=1
returnmysql_stat
# 清理过期的历史备份信息
defclean_expired_file():
forbackup_nameinos.listdir(backup_dir):
ifos.path.isdir(backup_name):
bak_datetime=datetime.datetime.strptime(backup_name.replace("_full","").replace("_incr",""),'%Y%m%d%H%M%S')
if(bak_datetime
shutil.rmtree(os.path.join(backup_dir,backup_name))
# 完整备份
deffull_backup(backup_file_name):
os.system("[ ! -d {0}/{1} ] && mkdir -p {0}/{1}".format(backup_dir,backup_file_name))
logfile=os.path.join(backup_dir,"{0}/{1}/backuplog.log".format(backup_dir,backup_file_name))
backup_commond='''innobackupex --defaults-file={0} --no-lock {1}/{6} --user={2} --password={3} --host="{4}"--port={5} --tmpdir={1}/{6} --stream=xbstream --compress --compress-threads=8 --parallel=4 --extra-lsndir={1}/{6} > {1}/{6}/{6}.xbstream 2>{7}'''.\
format(cnf_file,backup_dir,user,password,host,port,backup_file_name,logfile)
execute_result=os.system(backup_commond)
returnexecute_result
# 增量备份
defincr_backup(backup_file_name):
os.system("[ ! -d {0}/{1} ] && mkdir -p {0}/{1}".format(backup_dir,backup_file_name))
current_backup_dir="{0}/{1}".format(backup_dir,backup_file_name)
logfile=os.path.join(backup_dir,"{0}/{1}/backuplog.log".format(backup_dir,backup_file_name))
#增量备份基于上一个增量 / 完整备份
incremental_basedir=get_last_back