恢复过程场景
通过dumpling导出了大表数据,数据格式为csv。现需使用tidb-lightning工具将此数据导入到TIDB集群中。
注意:
数据源表所在schema 为 test_old,表名为group_dtl 。 目标表建在 test_general 库中,表名仍为 group_dtl。
1、安装部署tidb-lightning工具
2、TiDB Lightning 任务配置
配置文件:
TiDB Lightning 的配置文件分为“全局”和“任务”两种类别,二者在结构上兼容。只有当服务器模式开启时,全局配置和任务配置才会有区别;
默认情况下,服务器模式为禁用状态,此时 TiDB Lightning 只会执行一个任务,且全局和任务配置使用同一配置文件。
实际恢复过程中使用的配置文件如下:
# touch tidb-lightning.toml
[lightning]
# 转换数据的并发数,默认为逻辑 CPU 数量,不需要配置。
# 混合部署的情况下可以配置为逻辑 CPU 的 75% 大小。
# region-concurrency =
# 日志
level = "info"
file = "/data/lighting-log/tidb-lightning.log"
[tikv-importer]
# backend 设置为 local 模式
backend = "local"
# 设置本地临时存储路径
# 当后端是 “local” 时,本地进行 KV 排序的路径。如果磁盘性能较低(如使用机械盘),建议设置成与 `data-source-dir` 不同的磁盘,这样可有效提升导入性能。
# 当后端是 “local” 时,TiKV 写入 KV 数据的并发度。当 TiDB Lightning 和 TiKV 直接网络传输速度超过万兆的时候,可以适当增加这个值。
sorted-kv-dir = "/lightning-data/"
[mydumper]
# 源数据目录。
data-source-dir = "/data/mps_bak/"
# no-schema=true 会默认下游已经创建好所需的数据库和表,如果没有创建,会报错。
no-schema = true
[tidb]
# 目标集群的信息。tidb-server 的监听地址,填一个即可。
host = "10.9.252.125"
port = 4000
user = "root"
password = "retail409"
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
# pd-server 的地址,填一个即可
pd-addr = "10.9.252.125:2379"
[checkpoint]
enable =true
# 是否启用断点续传。
# # 导入数据时,TiDB Lightning 会记录当前表导入的进度。
# # 所以即使 TiDB Lightning 或其他组件异常退出,在重启时也可以避免重复再导入已完成的数据。
# # 存储断点的数据库名称。
# # schema = "tidb_lightning_checkpoint"
# # 存储断点的方式。
# # - file:存放在本地文件系统。
# # - mysql:存放在兼容 MySQL 的数据库服务器。
driver = "file"
dsn = "/tidb_lightning_checkpoint.pb"
# # 设置为 false 时为删除断点。
keep-after-success = false
# 配置 CSV 文件的解析方式。
[mydumper.csv]
# # 字段分隔符,支持一个或多个字符,默认值为 ','。
separator = ','
# # 引用定界符,设置为空表示字符串未加引号。
delimiter = '"'
# # 行尾定界字符,支持一个或多个字符。设置为空(默认值)表示 "\n"(换行)和 "\r\n" (回车+换行),均表示行尾。
terminator = ""
# # CSV 文件是否包含表头。
# # 如果 header = true,将跳过首行。
header = false
# # CSV 文件是否包含 NULL。
# # 如果 not-null = true,CSV 所有列都不能解析为 NULL。
not-null = false
# # 如果 not-null = false(即 CSV 可以包含 NULL),
# # 为以下值的字段将会被解析为 NULL。
null = '\N'
# # 是否对字段内“\“进行转义
# backslash-escape = true
# # 如果有行以分隔符结尾,删除尾部分隔符。
trim-last-separator = false
3、启动tidb-lightning
执行的命令:
./tidb-lightning -config tidb-lightning.toml -d /data/csv/ -f 'test_general.group_dtl'
如果直接在命令行中用 nohup 启动程序,可能会因为 SIGHUP 信号而退出,建议把 nohup 放到脚本里面。
开始导入数据,会提示如下内容:
注意:
从上示例中可以看到导入的数据,并未指定数据要导入的schema ,配置文件中也未指定目标库。
这是因为 通过备份数据文件的名称 “test_general.group_dtl.csv”,已经提示了库名为test_general,表名为group_dtl。
而导入csv文件的路径、分隔符号、格式等细节,在tidb-lightning.toml文件中已做了相关设定。
5、注意事项
① 如果 tidb-lightning 异常退出,集群可能仍处于“导入模式” (import mode),该模式不适用于生产环境。此时可执行以下命令查看当前使用的模式:
tidb-lightning-ctl --config tidb-lightning.toml --fetch-mode
可执行以下命令强制切换回“普通模式” (normal mode):
tidb-lightning-ctl --config tidb-lightning.toml --switch-mode=normal
② 备份的数据文件,不能和临时kv数据文件在同一个盘,否则报错
| sorted-kv-dir:/lightning-data/ and data-source-dir:/data/mps_bak/csv are in the same disk, may slow down performance | performance | false |
③资源分配不合理,或会导致tidb-lightning工具“无故”退出
tidb-lightning 是 CPU 密集型程序,如果和其它程序混合部署,需要通过 region-concurrency 限制 tidb-lightning 的 CPU 实际占用核数,否则会影响其他程序的正常运行。建议将混合部署机器上 75% 的 CPU 资源分配给 tidb-lightning。
例如,机器为 32 核,则 tidb-lightning 的 region-concurrency 可设为 “24”。