文章目录
1. 物理备份与逻辑备份
物理备份:备份数据文件,转储数据库物理文件到某一目录。物理备份恢复速度比较快,但占用空间比较大,MySQL中可以用xtrabackup
工具来进行物理备份。
逻辑备份:对数据库对象利用工具进行导出工作,汇总入备份文件内。逻辑备份恢复速度慢,但占用空间小,更灵活。MySQL中常用的逻辑备份工具为mysqldump
。逻辑备份就是备份sql语句,在恢复的时候执行备份的sql语句
实现数据库数据的重现。
2. mysqldump实现逻辑备份
2.1 备份一个数据库
mysqldump命令执行时,可以将数据库备份成一个文本文件
,该文件中实际上包含多个CREATE
和INSERT
语句,使用这些语句可以重新创建表和插入数据。
- 查出需要备份的表的结构,在文本文件中生成一个CREATE语句
- 将表中的所有记录转换成一条INSERT语句。
基本语法:
mysqldump -u用户名称 -h 主机名称 -p密码 待备份的数据库名称[tbname,[tbname...]]> 备份文件名称.sql#绝对路径或相对路径
备份的文件并非一定要求后缀名为.sql,例如后缀名为.txt的文件也是可以的。
2.2 备份全部的数据库
若想用mysqldump备份整个实例,可以使用--all-databases
或-A
参数:
mysqldump -uroot -pxxxxxx --all-databases > all_database.sql#绝对路径或相对路径
mysqldump -uroot -pxxxxxx -A > all_database.sql#绝对路径或相对路径
2.3 备份部分的数据库
使用--databases
或-B
参数了,该参数后面跟数据库名称,多个数据库间用空格隔开。如果指定databases参数,备份文件中会存在创建数据库的语句,如果不指定参数,则不存在。语法如下:
mysqldump-u user-h host -p--databases[数据库的名称1[数据库的名称2...]]>备份文件名称.sql#绝对路径或相对路径
2.4 备份部分表
mys1ldump -u user-h host-p 数据库的名称 [表名1[表名2...]] > 备份文件名称.sql#绝对路径或相对路径
2.5 备份单标中的部分数据
有些时候一张表的数据量很大,我们只需要部分数据。这时就可以使用--where
选项了。where后面附带需要满足的条件。
mysqldump -uroot -p atguigu student --where-"id < 10"> student_part_id10_low_bak.sql#绝对路径或相对路径
2.6 排除某些表的数据
如果我们想备份某个库,但是某些表数据量很大或者与业务关联不大,这个时候可以考虑排除掉这些表,同样的,选项--ignore-table
可以完成这个功能。
mysqldump -uroot -p atguigu --ignore-table=atguigu. student > no_stu_bak.sql
2.7 只备份结构或只备份数据
只备份结构的话可以使用--no-data
简写为-d
选项;只备份数据可以使用--no-create-info
简写为- t
选项。
- 只备份结构
mysqldump -uroot -p atguigu --no-data > atguigu_no_data_bak.sql
- 只备份数据
mysqldump -uroot -p atguigu --no-create-info > atguigu_no_create_info_bak.sql
2.8 备份中包含存储过程、函数、事件
mysqldump备份默认是不包含存储过程,自定义函数及事件的。可以使用--routines
或-R
选项来备份存储过程及函数,使用--events
或-E
参数来备份事件。
举例:备份整个atguigu库,包含存储过程及事件:
3. mysql命令恢复数据
使用mysqldump命令将数据库中的数据备份成一个文本文件。需要恢复时,可以使用mysql命令
来恢复备份的数据。
mysql命令可以执行备份文件中的CREATE语句
和INSERT语句
。通过CREATE语句来创建数据库和表。通过INSERT语句来插入备份的数据。
3.1 单库备份中恢复单库
如果备份文件中包含了创建数据库的语句,则恢复的时候不需要指定数据库名称,如下所示
否则需要指定数据库名称,如下所示
3.2 全量备份恢复
如果使用-…all-databases参数备份了所有的数据库,那么恢复时不需要指定数据库。对应的sql文件包含有CREATE DATABASE语句,可通过该语句创建数据库。创建数据库后,可以执行SqI文件中的USE语句选择数据库,再创建表并插入记录。
3.3 从全量备份中恢复单库
3.4 从单库备份中恢复单表
4. 物理备份:直接备份整个数据库
直接将MySQL中的数据库文件复制出来。这种方法最简单,速度也最快。MySQL的数据库目录位置不一定相同:
- 在Windows平台下,MySQL8.0存放数据库的目录通常默认为“
C:\ProgramData\MysQL\MySQL Server8.0\Data
”或者其他用户自定义目录; - 在Linux平台下,数据库目录位置通常为/var/lib/mysql/;
- 在MAC OsX平台下,数据库目录位置通常为“/usr/local/mysql/data”
但为了保证备份的一致性。需要保证:
- 方式1:备份前,将服务器停止。
- 方式2:备份前,对相关表执行
FLUSH TABLES WITH READ LOCK
操作。这样当复制数据库目录中的文件时,允许其他客户继续查询表。同时,FLUSH TABLES语句来确保开始备份前将所有激活的索引页写入硬盘。
这种方式方便、快速,但不是最好的备份方法,因为实际情况可能不允许停止MySQL服务器
或者锁住表
,而且这种方法对InnoDB存储引擎
的表不适用。对于MyISAM存储引擎的表,这样备份和还原很方便,但是还原时最好是相同版本的MySQL数据库,否则可能会存在文件类型不同的情况。
注意,物理备份完毕后,执行UNLOCKTABLES
来结算其他客户对表的修改行为。
5. 物理恢复:直接复制到数据库目录
步骤:
- 演示删除备份的数据库中指定表的数据
- 将备份的数据库数据拷贝到数据目录下,并重启MySQL服务器
- 查询相关表的数据是否恢复。需要使用下面的
chown
操作。
要求:
- 必须确保备份数据的数据库和待恢复的数据库服务器的主版本号相同。
因为只有MySQL数据库主版本号相同时,才能保证这两个MySQL数据库文件类型是相同的。
- 这种方式对MyISAM类型的表比较有效,对于InnoDB类型的表则不可用。
因为InnoDB表的表空间不能直接复制。
- 在Linux操作系统下,复制到数据库目录后,一定要将数据库的用户和组变成mysql,命令如下:
chown -R mysql.mysql /var/lib/mysql/dbname
其中,两个mysql分别表示组和用户;“-R”参数可以改变文件夹下的所有子文件的用户和组;“dbname”参数表示数据库目录。
Linux操作系统下的权限设置非常严格。通常情况下,MysQL数据库只有root用户和mysql用户组下的mysql用
户才可以访问,因此将数据库目录复制到指定文件夹后,一定要使用chown命令将文件夹的用户组变为mysql,将用户变为mysql。
6. 数据库迁移
6.1 概述
数据迁移(data migration)是指选择、准备、提取和转换数据,并将数据从一个计算机存储系统永久地传输到另一个计算机存储系统的过程
。此外,验证迁移数据的完整性
和退役原来旧的数据存储
,也被认为是整个数据迁移过程的一部分。
数据库迁移的原因是多样的,包括服务器或存储设备更换、维护或升级,应用程序迁移,网站集成,灾难恢复和数据中心迁移。
根据不同的需求可能要采取不同的迁移方案,但总体来讲,MySQL数据迁移方案大致可以分为物理迁移
和逻辑迁移
两类。通常以尽可能自动化
的方式执行,从而将人力资源从繁琐的任务中解放出来。
6.2 迁移方案
- 物理迁移
- 逻辑迁移
6.3 迁移的注意点
- 相同版本的数据库之间迁移注意点
指的是在主版本号相同的MySQL数据库之间进行数据库移动。
方式1:因为迁移前后MySQL数据库的主版本号相同
,所以可以通过复制数据库目录来实现数据库迁移,但是物理迁移方式只适用于MyISAM引擎的表。对于InnoDB表,不能用直接复制文件的方式备份数据库。
方式2:最常见和最安全的方式是使用mysqldump命令
导出数据,然后在目标数据库服务器中使用MysQL命令导入。
- 不同版本的数据库之间迁移注意点
例如,原来很多服务器使用5.7版本的MySQL数据库,在8.0版本推出来以后,改进了5.7版本的很多缺陷,因此需要把数据库升级到8.0版本
旧版本与新版本的MySQL可能使用不同的默认字符集,例如有的旧版本中使用latin1作为默认字符集,而最新版本的MySQL默认字符集为utf8mb4。如果数据库中有中文数据,那么迁移过程中需要对默认字符集进行修改
,不然可能无法正常显示数据。
高版本的MySQL数据库通常都会兼容低版本
,因此可以从低版本的MySQL数据库迁移到高版本的MySQL数据库。
- 不同数据库之间迁移注意点
不同数据库之间迁移是指从其他类型的数据库迁移到MySQL数据库,或者从MySQL数据库迁移到其他类型的数据库。这种迁移没有普适的解决方法。
迁移之前,需要了解不同数据库的架构,比较它们之间的差异
。不同数据库中定义相同类型的数据的关键字可能会不同
。例如,MySQL中日期字段分为DATE和TIME两种,而ORACLE日期字段只DATE;SQL Server数据库中有ntext、Image等数据类型,MySQL数据库没有这些数据类型;MySQL支持的ENUM和SET类型,这些SQL Server数据库不支持。
另外,数据库厂商并没有完全按照SQL标准来设计数据库系统,导致不同的数据库系统的SQL语句有差别。例如,微软的SQL Server软件使用的是T-SQL语句,T-SQL中包含了非标准的SQL语句,不能和MySQL的SQL语句兼容。
不同类型数据库之间的差异造成了互相迁移的困难
,这些差异其实是商业公司故意造成的技术壁垒。但是不同类型的数据库之间的迁移并不是完全不可能
。例如,可以使用MyODBC
实现MySQL和SQLServer之间的迁移。MySQL官方提供的工具MySQL Migration Toolkit
也可以在不同数据之间进行数据迁移。MySQL迁移到Oracle时,需要使用mysqldump命令导出sql文件,然后,手动更改
sql文件中的CREATE语句。
7.删库不能跑,能干点啥?
7.1 delete:误删行
数据恢复:
使用Flashback工具
恢复数据。
原理:修改binlog
内容,拿回原库重放。如果误删数据涉及到了多个事务的话,需要将事务的顺序调过来再执行。
预防:
- 代码上线前,必须
SQL审查、审计
。 - 建议可以打开
安全模式
,把sql_safe_updates
参数设置为on
。强制要求加where条件且where后需要是索引字段,否则必须使用limit。否则就会报错。
7.2 truncate/drop:误删库/表
背景:
delete全表是很慢的,需要生成回滚日志、写redo、写binlog。所以,从性能角度考虑,优先考虑使用truncatetable或者drop table命令。
使用delete命令删除的数据,你还可以用Flashback来恢复。而使用truncate /drop table和drop database命令删除的数据,就没办法通过Flashback来恢复了。因为,即使我们配置了binlog_format=row,执行这三个命令时,记录的binlog还是statement格式。binlog里面就只有一个truncate/drop语句,这些信息是恢复不出数据的。
方案:
这种情况下恢复数据,需要使用全量备份
与增量日志
结合的方式。
方案的前提:有定期的全量备份,并且实时备份binlog。
举例:有人误删了一个库,时间为下午3点。步骤如下:
- 取最近一次
全量备份
。假设设置数据库库是一天一备,最近备份数据是当天凌晨2点
; - 用备份恢复出一个
临时库
;(注意:这里选择临时库,而不是直接操作主库) - 取出凌晨2点之后的binlog日志;
- 剔除误删除数据的语句外,其它语句全部应用到临时库。(前面讲过binlog的恢复)
- 最后恢复到主库
7.3 预防使用truncate/drop误删库/表
7.3.1 权限分离
- 限制帐户权限,核心的数据库,一般都
不能随便分配写权限
,想要获取写权限需要审批
。比如只给业务开发人员DML权限,不给truncate/drop权限。即使是DBA团队成员,日常也都规定只使用只读账号
,必要的时候才使用有更新权限的账号。 - 不同的账号,不同的数据之间要进行
权限分离
,避免一个账号可以删除所有库。
7.3.2 制定操作规范
比如在删除数据表之前,必须先对表做改名操作(比如加_to_be_deleted)。然后,观察一段时间,确保对业务无影响以后再删除这张表。
7.3.3 设置延迟复制备库
简单的说延迟复制就是设置一个固定的延迟时间,比如1个小时,让从库落后主库一个小时。出现误删除操作1小时内,到这个备库上执行stop slave
,再通过之前介绍的方法,跳过误操作命令,就可以恢复出需要的数据。这里通过CHANGE MASTER TOMASTER_DELAY=N
命令,可以指定这个备库持续保持跟主库有N秒的延迟。比如把N设置为3600,即代表1个小时。
7.4 误删MySQL实例
对于一个有高可用机制的MySQL集群来说,不用担心rm删除数据
。因为只删掉其中某一个节点数据的话,HA系统就会选出一个新的主库,从而保证整个集群的正常工作。我们把这个节点上的数据恢复回来后,再接入整个集群就好了。
但如果是恶意地把整个集群删除,那就需要考虑跨机房备份,跨城市备份。