使用tidb-lightning工具恢复csv格式表数据

恢复过程场景

通过dumpling导出了大表数据，数据格式为csv。现需使用tidb-lightning工具将此数据导入到TIDB集群中。
注意：
数据源表所在schema 为 test_old，表名为group_dtl 。 目标表建在 test_general 库中，表名仍为 group_dtl。

1、安装部署tidb-lightning工具

2、TiDB Lightning 任务配置

配置文件：

TiDB Lightning 的配置文件分为“全局”和“任务”两种类别，二者在结构上兼容。只有当服务器模式开启时，全局配置和任务配置才会有区别；

默认情况下，服务器模式为禁用状态，此时 TiDB Lightning 只会执行一个任务，且全局和任务配置使用同一配置文件。

实际恢复过程中使用的配置文件如下：

# touch tidb-lightning.toml

[lightning]

# 转换数据的并发数，默认为逻辑 CPU 数量，不需要配置。

# 混合部署的情况下可以配置为逻辑 CPU 的 75% 大小。

# region-concurrency = 

# 日志

level = "info"

file = "/data/lighting-log/tidb-lightning.log"

[tikv-importer]

# backend 设置为 local 模式

backend = "local"

# 设置本地临时存储路径

# 当后端是 “local” 时，本地进行 KV 排序的路径。如果磁盘性能较低（如使用机械盘），建议设置成与 `data-source-dir` 不同的磁盘，这样可有效提升导入性能。

# 当后端是 “local” 时，TiKV 写入 KV 数据的并发度。当 TiDB Lightning 和 TiKV 直接网络传输速度超过万兆的时候，可以适当增加这个值。

sorted-kv-dir = "/lightning-data/"

[mydumper]

# 源数据目录。

data-source-dir = "/data/mps_bak/"

# no-schema=true 会默认下游已经创建好所需的数据库和表，如果没有创建，会报错。

no-schema = true

[tidb]

# 目标集群的信息。tidb-server 的监听地址，填一个即可。

host = "10.9.252.125"

port = 4000

user = "root"

password = "retail409"

# 表架构信息在从 TiDB 的“状态端口”获取。

status-port = 10080

# pd-server 的地址，填一个即可

pd-addr = "10.9.252.125:2379"

[checkpoint]

enable =true

# 是否启用断点续传。

# # 导入数据时，TiDB Lightning 会记录当前表导入的进度。

# # 所以即使 TiDB Lightning 或其他组件异常退出，在重启时也可以避免重复再导入已完成的数据。

# # 存储断点的数据库名称。

# # schema = "tidb_lightning_checkpoint"

# # 存储断点的方式。

# #  - file：存放在本地文件系统。

# #  - mysql：存放在兼容 MySQL 的数据库服务器。

driver = "file"

dsn = "/tidb_lightning_checkpoint.pb"

# # 设置为 false 时为删除断点。

keep-after-success = false

# 配置 CSV 文件的解析方式。

[mydumper.csv]

# # 字段分隔符，支持一个或多个字符，默认值为 ','。

separator = ','

# # 引用定界符，设置为空表示字符串未加引号。

delimiter = '"'

# # 行尾定界字符，支持一个或多个字符。设置为空（默认值）表示 "\n"（换行）和 "\r\n" （回车+换行），均表示行尾。

terminator = ""

# # CSV 文件是否包含表头。

# # 如果 header = true，将跳过首行。

header = false

# # CSV 文件是否包含 NULL。

# # 如果 not-null = true，CSV 所有列都不能解析为 NULL。

not-null = false

# # 如果 not-null = false（即 CSV 可以包含 NULL），

# # 为以下值的字段将会被解析为 NULL。

null = '\N'

# # 是否对字段内“\“进行转义

# backslash-escape = true

# # 如果有行以分隔符结尾，删除尾部分隔符。

trim-last-separator = false

3、启动tidb-lightning

执行的命令：

./tidb-lightning -config tidb-lightning.toml  -d  /data/csv/ -f 'test_general.group_dtl'

如果直接在命令行中用 nohup 启动程序，可能会因为 SIGHUP 信号而退出，建议把 nohup 放到脚本里面。

开始导入数据，会提示如下内容：

注意：

从上示例中可以看到导入的数据，并未指定数据要导入的schema ，配置文件中也未指定目标库。

这是因为 通过备份数据文件的名称 “test_general.group_dtl.csv”，已经提示了库名为test_general，表名为group_dtl。

而导入csv文件的路径、分隔符号、格式等细节，在tidb-lightning.toml文件中已做了相关设定。

 

5、注意事项

① 如果 tidb-lightning 异常退出，集群可能仍处于“导入模式” (import mode)，该模式不适用于生产环境。此时可执行以下命令查看当前使用的模式：

tidb-lightning-ctl --config tidb-lightning.toml --fetch-mode

可执行以下命令强制切换回“普通模式” (normal mode)：

tidb-lightning-ctl --config tidb-lightning.toml --switch-mode=normal

② 备份的数据文件，不能和临时kv数据文件在同一个盘，否则报错

| sorted-kv-dir:/lightning-data/ and data-source-dir:/data/mps_bak/csv are in the same disk, may slow down performance | performance | false  |

③资源分配不合理，或会导致tidb-lightning工具“无故”退出

tidb-lightning 是 CPU 密集型程序，如果和其它程序混合部署，需要通过 region-concurrency 限制 tidb-lightning 的 CPU 实际占用核数，否则会影响其他程序的正常运行。建议将混合部署机器上 75% 的 CPU 资源分配给 tidb-lightning。

例如，机器为 32 核，则 tidb-lightning 的 region-concurrency 可设为 “24”。