TiDB Lightning

TiDB Lightning原理

TiDB Lightning 是TiDB的生态工具之一，可以将Dumpling导出的sql或者csv文件全量数据高速导入到TiDB集群中

1. 导入模式：会自动将TiKV集群切换为导入模式，导入模式会对写入进行优化，并停止数据的自动压缩，从而提高导入效率；此时会影响线上业务的读写性能；
2. 创建schema和表
3. 分割表
4. 读取SQL dump
5. 写入本地临时存储文件：将数据源转换为TiKV相同编码方式的键值对，排序后存储到TiKV的本地存储中；
6. 导入到TiKV集群：加载到TiKV的RocksDB中
7. 校验与分析
8. 切换为普通模式：如果导入过程中异常中断，需要手动切换为普通模式；

导入的模式

Local和Importer的导入期间集群无法写入数据，TiDB Backend可以写入数据；

硬件需求：CPU/MEMORY/DISK/网卡 = 32c/20G/SSD/万兆网卡
建议单独部署

部署： tiup install lightning 或者 tidb-toolkit

TiDB Lightning 适用场景

支持大批量数据的导入， 400G-500G/Hour的快速导入，50G/Hour的事务型导入；

支持格式文件：SQL、CSV、Amazon Aurora Parquet