百万级数据库表数据迁移记录
【数据库数据迁移】
做个笔记吧,毕竟也没遇到过迁移的案例,就记录一下今天在公众号所遇到的一篇文章!
某IT技术员在一家公司做历史数据迁移出现了在迁移过程中导致当前交易出现超时或失败的现象,是因为用了insert into select语句,导致最终被迫辞职!
本人也为此进行了测试,但是数据不多不足已见证是否可用,请慎用!
一张一百万条记录的表order_today,一张历史表order_today_his:
(赋值表结构语句)
create table order_today_his like order_today
(给表order_today添加日期索引,paytime为表字段)
alter table order_today add index(paytime)
原迁移sql语句,导致在边迁移的同时边进行交易出现交易失败的语句
INSERT into order_today_his SELECT
*
FROM
order_today
where
paytime < '2020-08-24 00:00:00'
改正后
INSERT into order_today_his SELECT
*
FROM
order_today FORCE INDEX (paytime)
where
paytime < '2020-08-24 00:00:00'
可以看到的是上下两个sql语句其实没有太大的变化,但是却意义有很大的区别,第二个语句出现了索引,所以大大的提高了查表得效率,再一个就是第一个查询是进行全表查询,一个是效率上会出现问题,再一个就是会出现锁表的情况;
在默认的事务隔离级别下,insert into order_today_his select * from order_today 加锁规则是:order_today_his表锁,order_today逐步锁(扫描一个锁一个)。所以导致在前面部分数据被锁后导致后面的数据全被锁住,从而出现交易失败的情况!
以上说明仅供参考,如需使用请自行测试后再使用!