TiDB备份恢复工具

最新推荐文章于 2024-04-25 17:27:57 发布
最新推荐文章于 2024-04-25 17:27:57 发布
阅读量967 收藏 1
点赞数
分类专栏： tidb 文章标签： tidb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40592911/article/details/127287917
版权

文章目录

一、物理备份

  • B/R工具：

    • Backup：备份工具

    • Restore：恢复工具

  • 工作原理

    • BR 将备份或恢复操作命令下发到各个 TiKV 节点。TiKV 收到命令后执行相应的备份或恢复操作
    • 需要一个网络共享存储作为备份目录，不同的TiKV节点的数据可以备份到一个目录中

1.1 配置NFS共享存储备份目录

服务端:

mkdir -p /data/dbbackup
chown nfsnobody:nfsnobody -R /data/dbbackup
cat << EOF >> /etc/exports
/data/dbbackup *(insecure,rw,sync,no_root_squash)
EOF
chmod 777 -R /data/dbbackup
systemctl start nfs-utils

客户端:

yum install nfs-utils -y
mkdir -p /data/dbbackup
mount -t nfs 192.168.1.205:/data/dbbackup /data/dbbackup

1.2 准备测试数据

mysql -uroot -h192.168.1.204 -P4000 -pAdmin#123 -e "create database test1;"

mysql -uroot -h192.168.1.204 -P4000 -pAdmin#123 -e "create table testtab1(id INT NOT NULL PRIMARY KEY,name VARCHAR(255));"

for i in `seq 1 10`
do 
    mysql -uroot -h192.168.1.204 -P4000 -pAdmin#123 -e "insert into test1.testtab1 value($i,'zhangsan$i')"
done

mysql -uroot -h192.168.1.204 -P4000 -pAdmin#123 -e "select * from test1.testtab1;"

image-20221012145218683

1.3 全量备份与恢复

1.3.1 全量备份

#安装br
cd TIDB安装目录
cp br-{version}-linux-amd64.tar.gz ../
cd ..
tar br-{version}-linux-amd64.tar.gz
mv br /bin/

# 获取当前日期
dataDir=`date +%Y%m%d`

# 创建全备目录并赋权
mkdir -p /data/dbbackup/all$dataDir
chmod 777 /data/dbbackup/all$dataDir
# 开始全备
#br backup full代表全库 --pd "{ip地址与端口}" -s "local://{备份目录}" --log-file {备份日志输入目录}
br backup full --pd "192.168.1.205:2379" -s "local:///data/dbbackup/all$dataDir" --log-file backupfull.log

image-20221012154619584

image-20221012154601459

1.3.2 删除数据库

image-20221012154329250

1.3.3 全量恢复

#br restore full代表全库 --pd "{ip地址与端口}" --ratelimit {任务的速率限制，每节点MB/s} --storage "local://{备份目录}" --log-file {备份日志输入目录}
br restore full --pd "192.168.1.205:2379" --ratelimit 5 --storage "local:///data/dbbackup/all20221012/" --log-file restorefull.log

image-20221012155413479

image-20221012155110296

1.4 单库备份与恢复

1.4.1 单库备份

# 单库备份
dataDir=`date +%Y%m%d`
mkdir -p /data/dbbackup/Onedb$dataDir
chmod 777 /data/dbbackup/Onedb$dataDir

#br backup db --db {数据库名} --pd "{ip地址与端口}" -s "local://{备份目录}" --log-file {备份日志输入目录}
br backup db --db test1 --pd "192.168.1.205:2379" -s "local:///data/dbbackup/Onedb$dataDir" --log-file backupfull.log

image-20221012160017991

1.4.2 删除数据库

image-20221012160445827

1.4.3 恢复单库数据

#br restore db --db {数据库名} --pd "{ip地址与端口}" --ratelimit {任务的速率限制，每节点MB/s} --storage "local://{备份目录}" --log-file {备份日志输入目录}

br restore db --db test1 --pd "192.168.1.205:2379" --ratelimit 5 --storage "local:///data/dbbackup/Onedb20221012/" --log-file restorefull.log

image-20221012160642775

1.5 单表备份与恢复

1.5.1 单表备份

dataDir=`date +%Y%m%d`
mkdir -p /data/dbbackup/onedbt$dataDir
chmod 777 /data/dbbackup/onedbt$dataDir

#br backup db --db {数据库名} --table {表名} --pd "{ip地址与端口}" --ratelimit {任务的速率限制，每节点MB/s} --storage "local://{备份目录}" --log-file {备份日志输入目录}

br backup table --db test1 --table testtab1 --pd "192.168.1.205:2379" -s "local:///data/dbbackup/onedbt$dataDir" --log-file backupfull.log

image-20221012161121913

1.5.2 删除数据表

1.5.2.1 查看表

image-20221012161410153

1.5.2.2 删除表

image-20221012161543870

1.5.3 恢复表

#br restore table单个表操作 --db {数据库名} --table {表名} --pd "{ip地址与端口}" --ratelimit {任务的速率限制，每节点MB/s} --storage "local://{备份目录}" --log-file {备份日志输入目录}

br restore table --db test1 --table testtab1 --pd "192.168.1.205:2379" --ratelimit 5 --storage "local:///data/dbbackup/onedbt20221012/" --log-file restorefull.log

image-20221012162011414

1.6 增量备份与恢复

1.6.1 增量数据介绍

如果想要备份增量，只需要在备份的时候指定上一次的备份时

间戳 --lastbackupts 即可。

  • 注意增量备份有以下限制：

    • 增量备份需要与前一次全量备份在不同的路径下

    • GC safepoint 必须在 lastbackupts 之前

1.6.2 插入增量数据

for i in `seq 21 30`
do 
    mysql -uroot -h192.168.1.204 -P4000 -pAdmin#123 -e "insert into test1.testtab1 value($i,'zhangsan$i')"
done

mysql -uroot -h192.168.1.204 -P4000 -pAdmin#123 -e "select * from test1.testtab1;"

image-20221012165031481

1.6.3 进行增量备份

获取上一次备份的时间戳,增量数据记录 (LAST_BACKUP_TS,current PD timestamp] 之间的数据变更。
br validate decode --field="end-version" -s local:///data/dbbackup/all20221012/ |tail -n1
436617729606418436

LAST_BACKUP_TS=`br validate decode --field="end-version" -s local:///data/dbbackup/all20221012/ |tail -n1`
mkdir -p /data/dbbackup/add20221012/
chmod 777 /data/dbbackup/add20221012/

br backup full --pd "192.168.1.204:2379" -s "local:///data/dbbackup/add20221012/" --log-file backupfull.log --lastbackupts ${LAST_BACKUP_TS}

1.6.4 删除数据

image-20221012170107043

1.6.5 恢复数据

# 恢复全量数据
br restore full --pd "192.168.1.204:2379" -s "local:///data/dbbackup/add20221012/"

# 恢复增量备份数据
br restore full --pd "192.168.1.204:2379" -s "local:///data/dbbackup/add20221012/"

全量恢复结果

image-20221012170512532

增量备份结果

image-20221012170503277

二、逻辑备份

安装dumpling与lingtning

#安装dumpling与lingtning
cd TIDB安装目录
cp dumpling-{version}-linux-amd64.tar.gz ../
cp tidb-lightning-{version}-linux-amd64.tar.gz ../
cd ..
tar dumpling-{version}-linux-amd64.tar.gz
tar tidb-lightning-{version}-linux-amd64.tar.gz
mv dumpling /bin/
mv tidb-lightning /bin/
  • dumpling导出
  • 备份库
#dumpling -h{指定IP} -P{端口} -u{用户} -p{密码} -B {指定数据库} -o {指定备份目录}
dumpling -h192.168.1.204 -P4000 -uroot -pAdmin#123 -B test1 -o /data/test1/

# 带条件备份
dumpling -h192.168.1.204 -P4000 -uroot -pAdmin#123 -B test1 --where='id < 10' -o /data/test1/
  • lingtning导入

创建配置文件

cat << EOF > /data/tidb-lightning.toml
[lightning]

# 转换数据的并发数，默认为逻辑 CPU 数量，不需要配置。
# 混合部署的情况下可以配置为逻辑 CPU 的 75% 大小。
# region-concurrency =

# 日志
level = "info"
file = "tidb-lightning.log"

[tikv-importer]
# backend 设置为 local 模式
backend = "local"
# 设置本地临时存储路径
sorted-kv-dir = "/tmp/sorted-kv-dir"

[mydumper]
# 源数据目录。
data-source-dir = "/data/test1"

[tidb]
# 目标集群的信息。tidb-server 的监听地址，填一个即可。
host = "192.168.1.204"
port = 4000
user = "root"
password = "Admin#123"
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
# pd-server 的地址，填一个即可
pd-addr = "192.168.1.204:2379"
EOF

删除数据表

image-20221012174918794

恢复数据

tidb-lightning -config /data/tidb-lightning.toml

image-20221012174951031

image-20221012175013213

三、使用binlog恢复数据

需要指定start/stop-datatime, 或者start/stop-tso.

可通过查看备份日志查看datatime，或通过命令br validate decode --field="end-version" -s local:///tmp/backup 查看tso.

下载工具: 
wget https://download.pingcap.org/tidb-binlog-cluster-latest-linux-amd64.tar.gz
tar -xvf tidb-binlog-cluster-latest-linux-amd64.tar.gz

4.1 配置reparo.toml
# Drainer 输出的 protobuf 格式 binlog 文件的存储路径。
data-dir = "/tidb-deploy/drainer-8249/data.drainer"

# 日志输出信息等级设置：debug, info, warn, error, fatal (默认值：info)。
log-level = "info"

# 使用 start-datetime 和 stop-datetime 来选择恢复指定时间范围内的 binlog，格式为 “2006-01-02 15:04:05”。
#start-datetime = ""
#stop-datetime = ""

# start-tso、stop-tso 分别对应 start-datetime 和 stop-datetime，也是用于恢复指定时间范围内的 binlog，用 tso 的值来设置。如果已经设置了 start-datetime 和 stop-datetime，就不需要再设置 start-tso 和 stop-tso。
# start-tso = 0
# stop-tso = 0

# 下游服务类型。 取值为 print, mysql（默认值：print）。当值为 print 时，只做解析打印到标准输出，不执行 SQL；如果为 mysql，则需要在 [dest-db] 中配置 host、port、user、password 等信息。
dest-type = "mysql"

# 输出到下游数据库一个事务的 SQL 语句数量（默认 20）。
txn-batch = 20

# 同步下游的并发数，该值设置越高同步的吞吐性能越好（默认 16）。
worker-count = 16

# 安全模式配置。取值为 true 或 false（默认值：false）。当值为 true 时，Reparo 会将 update 语句拆分为 delete + replace 语句。
safe-mode = false

# replicate-do-db 和 replicate-do-table 用于指定恢复的库和表，replicate-do-db 的优先级高于 replicate-do-table。支持使用正则表达式来配置，需要以 '~' 开始声明使用正则表达式。
# 注：replicate-do-db 和 replicate-do-table 使用方式与 Drainer 的使用方式一致。
# replicate-do-db = ["~^b.*","s1"]
# [[replicate-do-table]]
# db-name ="test"
# tbl-name = "log"
# [[replicate-do-table]]
# db-name ="test"
# tbl-name = "~^a.*"

# 如果 dest-type 设置为 mysql, 需要配置 dest-db。
[dest-db]
host = "xxx.xx.xxx.xx"
port = xxxx
user = "root"
password = ""

4.2 启动reparo进行binlog恢复

./bin/reparo   -config ~/reparo.toml
步荀仙
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TiDB（4）：TiDB-SQL操作
u013938578的博客
07-04 995
（2）对于值不唯一的列，可使用 CREATE INDEX 或 ALTER TABLE 语句。（5）使用 SHOW FULL COLUMNS 语句查看表的列。（2）使用 SHOW TABLES 语句查看数据库中的所有表。（4）使用 SHOW CREATE 语句查看建表语句。（6）使用 DROP TABLE 语句删除表。（1）使用 INSERT 语句向表内插入数据。（3）使用 CREATE TABLE 语句创建表。（2）使用 SELECT 语句检索表内数据。（3）使用 UPDATE 语句修改表内数据。
PCTA认证--TiDB 备份恢复
02-08
TiDB PCTA认证之备份恢复总结
TiDB部署及常用命令
m0_55877125的博客
10-11 1182
安装TiDB Dashboard：TiDB Dashboard是一个Web界面，可以查看TiDB集群的状态和性能指标。安装TiUP：TiUP是一个TiDB生态系统的集成管理工具，你可以使用它来安装和管理各种TiDB组件。部署PD组件：PD是TiDB集群中的元数据管理组件，必须先部署它才能继续进行后续操作。部署TiKV组件：TiKV是分布式存储组件，负责存储TiDB集群中的数据。部署TiDB组件：TiDB是关系型数据库组件，提供SQL查询等功能。创建TiDB集群：使用TiUP来创建一个新的TiDB集群。
TiDB数据库从入门到精通系列之四：SQL 基本操作
zhengzaifeidelushang的博客
08-15 587
成功部署 TiDB 集群之后，便可以在 TiDB 中执行 SQL 语句了。因为 TiDB 兼容 MySQL，你可以使用 MySQL 客户端连接 TiDB，并且大多数情况下可以直接执行 MySQL 语句。SQL 是一门声明性语言，它是数据库用户与数据库交互的方式。它更像是一种自然语言，好像在用英语与数据库进行对话。
TiDB入门篇-数据物理备份和恢复
S1124654的博客
03-28 1319
TiDB入门篇-数据物理备份和恢复
TiDB备份与恢复简介
weixin_42241611的博客
07-04 1287
本文档介绍如何对 Kubernetes 上的 TiDB 集群进行数据备份和数据恢复。备份与恢复中所使用的工具有 Dumpling、TiDB Lightning 和 BR。Dumpling 是一个数据导出工具，该工具可以把存储在 TiDB/MySQL 中的数据导出为 SQL 或者 CSV 格式，可以用于完成逻辑上的全量备份或者导出。TiDB Lightning 是一个数据导入工具，该工具可以把 Dumpling 或 CSV 输出格式的数据快速导入到 TiDB 中，可以用于完成逻辑上的全量恢复或者导入。BR 是
TiDB集群的备份和恢复
互联网知识分享
10-06 244
备份和恢复是数据库管理中非常重要的功能，用于保护数据免受意外损坏或丢失的影响。在TiDB集群中，备份和恢复功能允许用户创建数据库的快照，并在需要时将其恢复到先前的状态。本章将详细介绍TiDB集群的备份和恢复方法。
数据库系列之TiDB备份恢复
牧羊人的方向
07-16 2170
BR工具用于TiDB集群的备份恢复，适合大数据量的备份恢复场景。本文简单介绍BR备份恢复原理和流程以及BR命令行的使用，并结合实际备份恢复场景加以测试验证。
TiDB部署全攻略——快照备份与恢复
bbsxb520的博客
07-04 240
TiDB的备份工具BR的使用，包括nfs场景及minio场景的使用，详细介绍了nfs的创建、建立、安全配置等，以及两种场景下的备份与恢复演示。同时以nfs场景为例，列巨额了br工具相关常用命令的介绍
TiDB工具——学习笔记
02-26
1. Dumpling 2. Lightning 3. Data Migration(DM) 4. Backup & Restore (BR) 5. Binlog 6. TiCDC
tidb将生产环境的数据库备份在测试环境恢复.pdf
09-15
tidb将生产环境的数据库备份在测试环境恢复.pdf
tidb技术分享.pptx
03-23
tidb的简介、安装部署、Sql操作等
TiDB体系架构思维导图
01-04
TiDB体系架构思维导图
TiDB系列之：认识TiDB数据库，使用TiUP部署TiDB集群，同时部署TiCDC的详细步骤
zhengzaifeidelushang的博客
04-25 43
TiUP 的直接功能是作为 TiDB 生态中的包管理器，但这并不是它的最终使命。TiUP 的愿景是将 TiDB 生态中所有工具的使用门槛降到极致，这个仅仅靠包管理功能是做不到的，还需要引入一些额外的包来丰富这个系统，它们一起加入到 TiUP 生态中，让 TiDB 的世界变得更简单。TiUP 系列文档的主要内容就是介绍 TiUP 及这些包的功能和使用方式。Usage:Examples:Flags:可用的命令install：用于安装特定版本的组件list：查看可用组件列表或组件可用版本列表。
TiDB系列之：TiCDC使用Changefeed完成数据同步任务
zhengzaifeidelushang的博客
04-25 46
changefeed_id、start_ts、target_ts、sink_uri 的含义和格式与使用 cli 创建同步任务中所作的解释相同，具体解释请参见该文档。使用 changefeed query 命令可以查询特定同步任务（对应某个同步任务的信息和状态），指定 --simple 或 -s 参数会简化输出，提供最基本的同步状态和 checkpoint 信息。在 TiCDC 运行过程中，同步任务可能会运行出错、手动暂停、恢复，或达到指定的 TargetTs，这些行为都可以导致同步任务状态发生变化。
TiDB-PCTP考试复习
qq_34226628的博客
04-24 117
本文仅作学习交流使用，对应《TiDB 数据库管理（303）》
TiDB 6.x 新特性解读 | Collation 规则
Ly768768的博客
04-23 1007
对数据库而言，合适的字符集和 collation 规则能够大大提升使用者运维和分析的效率。TiDB 从 v4.0 开始支持新 collation 规则，并于 TiDB 6.0 版本进行了更新。本文将深入解读 Collation 规则在 TiDB 6.0 中的变更和应用。
springboot(酒店管理系统)
04-25
开发语言：Java JDK版本：JDK1.8（或11） 服务器：tomcat 数据库：mysql 5.6/5.7（或8.0） 数据库工具：Navicat 开发软件：idea 依赖管理包：Maven 代码+数据库保证完整可用，可提供远程调试并指导运行服务（额外付费）～ 如果对系统的中的某些部分感到不合适可提供修改服务，比如题目、界面、功能等等... 声明： 1.项目已经调试过，完美运行 2.需要远程帮忙部署项目，需要额外付费 3.本项目有演示视频，如果需要观看，请联系我 4.调试过程中可帮忙安装IDEA，eclipse，MySQL，JDK，Tomcat等软件 重点： 需要其他Java源码联系我，更多源码任你选，你想要的源码我都有！ 需要加v19306446185
BP神经网络matlab实例.doc
最新发布
04-25
数学模型算法
mysql迁移tidb
06-10
3. 转换数据格式：将 MySQL 导出的数据转换成 TiDB 支持的格式，可以使用 TiDB 中的 tidb-lightning 工具将数据转换成 TiDB 格式。 4. 导入数据到 TiDB：使用 TiDB 中的 tidb-importer 工具将转换后的数据导入到 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值