由于TIDB二阶段提交的特性,对事务大小有做限制:
单个事务包含的 SQL 语句不超过 5000 条(默认)
单条 KV entry 不超过 6MB
KV entry 的总条数不超过 30w
KV entry 的总大小不超过 100MB
因此批量导入或者批量删除数据时在tidb里经常会遇到transction too large的情况。
批量插入数据可以使用
set tidb_batch_insert=1;
完成后将参数关闭
set tidb_batch_insert=0
该操作不建议在生产环境中使用,因为这样insert 会把大事务分批执行,如果中途报错,已插入的数据不会回滚,丢失事务的原子性。
批量删除数据可以使用
set tidb_batch_delete=1;
完成后将参数关闭
set tidb_batch_delete=0
批量删除被切分为小事务,也可以使用 limit 加循环的方式进行操作。
update可以通过limit加循环的方式实现。