mysql logbintrustfunctioncreators_MySQL数据库全备和增备、增量数据恢复案例以及定时清理 binlog 日志...

一、mysql 全量备份以及增量备份

1、全量备份命令：

/application/mysql/bin/mysqldump -uroot -p123456 --lock-all-tables -A -B -F --master-data=2 --single-transaction --events|gzip > /opt/MysqlBackup/allbackup/allbackup.sql.gz*

如上一段代码所示，其功能是将所有数据库全量备份。

其中 MySQL 用户名为：root ，密码为：123456。

备份的文件路径为：/opt/Mysql_Backup/all_backup，当然这个路径是按照个人意愿修改的。

备份的文件压缩包名为 all_backup.sql.gz

参数 --lock-all-tables：锁定所有数据库;

参数 -A：备份所有库；

参数 -B：指定多个库，增加建库语句和 use 语句；

参数 -F：刷新 binlog 日志；

参数 --master-data=0|1|2：

0: 不记录

1：记录为CHANGE MASTER语句

2：记录为注释的CHANGE MASTER语句；

参数 --single-transaction：适合 innodb 事务数据库备份；

参数 --events：导出事件；

参数 gzip：备份压缩文件。

2、全量备份脚本：

#!/bin/bash

. /etc/init.d/functions

user=root

password="123456"

BackupTools=/application/mysql/bin/mysqldump

BackupDir=/opt/MysqlBackup

AllBackup=$BackupDir/allbackup

mkdir -p $AllBackup

echo ‘==========‘$(date +"%Y-%m-%d %H:%M:%S")‘==========‘ “备份开始” >>$AllBackup/allbackup.log

$BackupTools -u$user -p$password -A -B -F --master-data=2 --single-transaction --events|gzip >$AllBackup/allbackup$(date +%Y%m%d).sql.gz

if [ $? -eq 0 ]

then

echo ‘==========‘$(date +"%Y-%m-%d %H:%M:%S")‘==========‘ "备份完成" >>$AllBackup/allbackup.log

action "Mysql full backup is ok" /bin/true

else

action "Mysql full backup is not ok" /bin/false

fi

3、恢复全量备份命令：

cd /opt/MysqlBackup/allbackup

gzip -d allbackup.sql.gz

mysql -uroot -p123456 < allbackup.sql

或者：

*mysql> source /opt/MysqlBackup/allbackup/allbackup.sql *

4、增量备份

首先在进行增量备份之前需要查看一下配置文件，查看 logbin 是否开启，因为要做增量备份首先要开启 logbin 。

首先，进入到 myslq 命令行，输入如下命令：

mysql> show variables like ‘%logbin%‘;

+---------------------------------+-------+

| Variablename | Value |

+---------------------------------+-------+

| logbin | ON |

| logbintrustfunctioncreators | OFF |

| sqllogbin | ON |

+---------------------------------+-------+

如上已经开启了binlog，如果没有开启，执行如下命令：

vim /etc/my.cnf

开启：

[mysqld]

log-bin=mysql-bin

查看当前使用的 mysql_bin.000 日志文件：

mysql> show master status;``

+------------------+----------+--------------+------------------+

| File | Position | BinlogDoDB | BinlogIgnoreDB |

+------------------+----------+--------------+------------------+

| mysql-bin.000019 | 533039 | | |

+------------------+----------+--------------+------------------+

当前正在记录日志的文件名为 mysql-bin.000019。

增量备份脚本

#!/bin/bash

export LANG=enUS.UTF-8

BackupDir=/opt/MysqlBackup/binlogbackup/

BinDir=/application/mysql/data/

LogFile=/opt/MysqlBackup/binlog.log

BinFile=/application/mysql/data/mysql-bin.index

mkdir -p $BackupDir

/application/mysql/bin/mysqladmin -uroot -p123456 flush-logs

Counter=wc -l $BinFile|awk ‘{print $1}‘

NextNum=0

for file in cat $BinFile

do

base=basename $file

NextNum=expr $NextNum + 1

if [ $NextNum -eq $Counter ]

then

echo $base skip! >> $LogFile

else

dest=$BackupDir/$base

if [ -e $dest ]

then

echo $base exist! >> $LogFile

else

cp $BinDir/$base $BackupDir

echo $base copying >> $LogFile

fi

fi

done

echo date +"%Y年%m月%d日 %H:%M:%S" Backup succ!>> $LogFile

二、增量数据恢复案例

1、场景概述

a、MySQL数据库每日零点自动全备

b、某天上午10点，小明莫名其妙地drop了一个数据库

c、我们需要通过全备的数据文件，以及增量的binlog文件进行数据恢复

2、主要思想

a、利用全备的sql文件中记录的CHANGE MASTER语句，binlog文件及其位置点信息，找出binlog文件增量的部分

b、用mysqlbinlog命令将上述的binlog文件导出为sql文件，并剔除其中的drop语句

c、通过全备文件和增量binlog文件的导出sql文件，就可以恢复到完整的数据

3、过程示意图

4、操作过程

1)、模拟数据

*CREATETABLEstudent(

idint(11)NOT NULLAUTOINCREMENT,

namechar(20)NOT NULL,

agetinyint(2)NOT NULLDEFAULT‘0‘,

PRIMARY KEY(id),

KEYindexname(name)

)ENGINE=InnoDBAUTOINCREMENT=8DEFAULTCHARSET=utf8

mysql>insertstudentvalues(1,‘zhangsan‘,20);

mysql>insertstudentvalues(2,‘lisi‘,21);

mysql>insertstudentvalues(3,‘wangwu‘,22);

*

2)、全备命令

/application/mysql/bin/mysqldump -uroot -p123456 --lock-all-tables -A -B -F --master-data=2 --single-transaction --events|gzip > /opt/MysqlBackup/allbackup/allbackup.sql.gz

3)、继续插入数据

*mysql>insertstudentvalues(6,‘xiaoming‘,20);

mysql>insertstudentvalues(6,‘xiaohong‘,20);

此时误操作，删除了test数据库

mysql>dropdatabasetest;

*

此时，全备之后到误操作时刻之间，用户写入的数据在binlog中，需要恢复出来

4)、查看全备之后新增的binlog文件

cd /opt/MysqlBackup/allbackup/

ls

allbackup20180831.sql.gz

gzip -d allbackup20180831.sql.gz

grep CHANGE allbackup20180831.sql

-- CHANGE MASTER TO MASTERLOGFILE=‘mysql-bin.000003‘, MASTERLOGPOS=107;

这是全备时刻的binlog文件位置，即mysql-bin.000003的107行，因此在该文件之前的binlog文件中的数据都已经包含在这个全备的sql文件中了

5)、移动binlog文件，并读取sql，剔除其中的drop语句

cp mysql-bin.000003 /tmp/

mysqlbinlog -d test mysql-bin.000003 > bin.log

用vim编辑文件，剔除drop语句

在恢复全备数据之前必须将该binlog文件移出，否则恢复过程中，会继续写入语句到binlog，最终导致增量恢复数据部分变得比较混乱

6)、恢复数据

mysql -uroot -p < all_backup_20180831.sql

mysql -uroot -p -e "select * from test.student;"

+----+----------+-----+

|id|name |age|

+----+----------+-----+

| 1|zhangsan| 20|

| 2|lisi | 21|

| 3|wangwu | 22|

+----+----------+-----+

//此时恢复了全备时刻的数据

//然后使用003bin.sql文件恢复全备时刻到删除数据库之间，新增的数据

mysql -uroot -p test< /tmp/bin.sql

# mysql -uroot -p -e "select * from test.student;"

+----+----------+-----+

|id|name |age|

+----+----------+-----+

| 1|zhangsan| 20|

| 2|lisi | 20|

| 3|wangwu | 20|

| 4|xiaoming| 20|

| 5|xiaohong| 20|

+----+----------+-----+

完成

5、小结

a、适合人为SQL语句造成的误操作或者没有主从复制等的热备情况宕机时的修复

b、恢复条件要全备和增量的所有数据

c、恢复时建议对外停止更新，即禁止更新数据库

d、先恢复全量，然后把全备时刻点以后的增量日志，按顺序恢复成SQL文件，然后把文件中有问题的SQL语句删除(也可通过时间和位置点)，再恢复到数据库

三、定时清理 binlog 日志

最近磁盘增长的非常快，发现binlog日志占用很大的磁盘资源。我们采用手动清理，后面设置一下自动清理。

查看指定删除日志

mysql >show binary logs; 查看多少binlog日志，占用多少空间。

mysql> PURGE MASTER LOGS TO ‘mysql-bin.002467‘; 删除mysql-bin.002467以前所有binlog，这样删除可以保证*.index信息与binlog文件同步。

手动清理

mysql>PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 5 DAY); 手动删除5天前的binlog日志

自动设置清理

mysql> set global expire_logs_days = 5; 把binlog的过期时间设置为5天; mysql> flush logs; 刷一下log使上面的设置生效，否则不生效。

为保证在MYSQL重启后仍然有效，在my.cnf中也加入此参数设置

expire_logs_days = 5