TIDB 初级课程体验 9 (备份策略与备份和恢复,BR 原理)

数据库的备份在普通的数据库是很正常不过的,但对于分布式数据库来说,备份是比较复杂. 下面就的说说TIDB 分布式数据库的备份和恢复的问题了.

备份的重要性来说,主要分为以下几点

1  数据的灾难恢复

2  数据迁移

3  数据的审计与分析

在TIDB 中备份的类型主要分为

1  热备份: 在备份中数据是可以进行正常操作的,备份不会影响线上的业务

2  冷备份: 数据库系统需要关闭后才能进行相关的数据的备份

3  温备份: 这个概念有点新,这个情况是可以是在备份时数据不可以进行变更,但可以读取. (这个概念估计是分布式数据库提出的新的想法,与分布式数据库的特性有关)

热备份的方式主要以一下方式来进行数据的备份和锁定

1  一般通过MVCC 通过 snapshot isolation 来进行数据的获取

2  通过轻量级锁的方式来机械能数据的

3  对数据不进行锁定,直接读取数据

冷备份主要的特点

1  冷备份,一般需要系统关闭的状态进行

2  通过关闭系统来保证数据的一致性

3  备份的要求多,很少的可能会进行冷备份,(针对业务来说冷备份的成本高)

温备份

1  在备份期间无法修改数据

2  配合某些场景,可以在某些业务的特殊期进行相关的备份工作

3  可以满足部分的业务需求,但在备份期间会影响部分业务的进行

备份的技术主要有以下几种

1  逻辑备份

类似MYSQL的MYSQLDUMP的备份方式,备份的数据是以SQL语句的方式体现的,好处在于可以通过备份直接进行数据的恢复,不需要借助其他的工具.

并且通过逻辑备份的方式,可以灵活的进行数据的恢复和不同种类的数据的迁移. 特点是灵活性高, 但备份的速度很慢.

2  物理备份

物理备份类似于MYSQL的XTRABACKUP的方式进行数据的拷贝和恢复,特点也很明显,备份的速度很快,恢复的速度也很快, 但只能在同类数据库中进行恢复.

3  基于复制与增量的备份

在分布式数据库中,备份的意义受到挑战,本身的数据多副本,是不需要数据的备份,数据有多个副本可以保证数据的安全,但问题在于对于传统的备份理念来说,这不太好被接受.

物理备份数据的条件主要有以下注意和条件要求

TIDB 支持如上的备份方式

1  BR 工具是一种物理备份的方式,在备份时是不会影响整体业务,数据库的读写都是正常进行的.

2  Dumpling  逻辑备份的方式

3   复制本身在传统的理念来说并不是一种有效的备份的方式

4  操作系统备份,会影响整体业务的运行.

在TIDB 5.0后,可以使用Ticdc的方式来进行数据的备份.

这里在TIDB的备份技术选择中,提出相关的备份需求, 这里补充以下个人的观点:

1  备份的目的是什么 ,如果备份的目的是为了审计或数据的生产到测试环节的迁移,则我们需要一个完整的备份

2   备份如果是未来灾备,或者灾难恢复,则我们可以对分布式数据库的备份的观念进行更新,利用复制的技术来进行灾难备份的备份和恢复,也是一个好的想法.

BR 工具是BACKUP& RESTORE 备份和恢复的工具,  BR工具是一种数据的热备份的工具, 同时通过BR工具也可以进行相关的数据的热恢复,当然热恢复是有相关的要求的.

BR 工具主要的场景有  大数据量备份,并且数据的备份速度快,备份的文件是SST文件,并且恢复只能到TIDB数据库

备份中TIKV 会将所有的TIKV的数据进行备份,通过指定一个额外的路径,每个TIKV 都会将数据拷贝到指定的位置. 备份是从TIKV 中的LEADER中拷贝数据,通过底层的ROCKSDB来进行数据的拷贝. 这里通过MVCC的方式来进行数据的一致性拷贝.  恢复也是使用同样的原理来进行.

关于BR的使用中的注意事项

1 假设我们的MYSQL 有主从， 但是我此时在主库通过attach的方法加载了一个表，此时我们的从库是不会得到这个附加得到表， 这也是BR使用限制中第一项中的意思。

2  备份和恢复的字符集的配置应该是一致的，不能源和目的排序规则不同，这样数据在恢复后是无法正常使用的。

3  对于备份和恢复的表的消耗中，BR的备份1000张表时 内存使用在4GB ， 而，如果超过1000张表则消耗会有所提升。

4  对于备份时备份的兼容性建议还是进行检查，否则备份的文件可能会失效。

TIDB 支持两种方式来进行备份， 在TIDB SERVER中通过SQL 语句来进行备份，或者直接通过命令行的方式来进行备份。

下面我们看看相关的命令

1  br 是 br 备份的执行的命令, full 是完全的备份  

2  --storage 是将每个KV 的数据复制到每个KV的位置,所以备份后,每个TIKV都有自己的备份文件

3 --ratelimit 是备份的限制, 120 为每秒 120MB

4 --log-file 是备份的日志文件

这里需要再次提醒 

--storage 的数据文件是整体集群的数据的集合,而不是每个KV 自己在自己的LOCAL的磁盘上的文件.  

下面是单表和单库备份的参数的方式

对数据恢复中,对备份的结果集中恢复选择的数据库和表

增量备份,增量备份主要是通过时间戳的方式比对,来将上次备份后新增的数据进行数据的备份.

1  虽然BR 是可以进行数据的热备份,但是对于业务来说,还是建议在非高峰时间备份

2  恢复数据期间BR 是可以沾满磁盘的性能,不建议在高峰期操作

3  BR 备份不要同时运行多个, 一次只能运行一个恢复的BR

4  备份和恢复设计时要有相关的共同的共享存储

5  为了尽快完成任务,建议使用SSD 磁盘来作为备份的存储介质

总结:

BR 是物理备份,不是逻辑备份,BR 工具在恢复时数据可以是读写的状态,当备份的数据量大的情况下,不可以停库,又要求备份效率的时候,BR工具具有比dumpling 和操作系统拷贝更高的优越性.