mysql - 14. 新增/修改表结构 - 线上修补历史数据（数据量比较大的时候）

最新推荐文章于 2024-07-24 22:02:04 发布

开发小头目

最新推荐文章于 2024-07-24 22:02:04 发布

阅读量267

点赞数

分类专栏：进阶 mysql

本文链接：https://blog.csdn.net/qq_33199919/article/details/103482124

版权

进阶同时被 2 个专栏收录

20 篇文章 0 订阅

订阅专栏

mysql

17 篇文章 0 订阅

订阅专栏

业务场景：财务需要增加一张A表，将B表与C表的某些数据整合起来，以B表id为唯一索引，然后将历史的订单数据补全

解决方案：

先记录A表上线之后，进入的最小的idA，我们补的就是比idA小的所有数据，建一张临时表A1保持修补数据
根据B表数据量的大小选择不同的处理方式（不行还可以分割么，多次处理）
1. 1万条数据以下（不包含varchar>2048的）：使用单条insert语句，其后拼接多条数据
2. 1万以上，10万以下：可以选择存储过程
3. 10万以上，推荐local_infile 导入csv文件的方式
导入数据到表A1之后，将A 和A1的表名调换一下，这里防止调换过程中有写操作进来加把表锁

lock tables tableA write ,tableA1 write;
alter table tableA rename to tableA2;
alter table tableA1 rename to tableA;
unlock tables;
alter table tableA2 rename to tableA1;

最后将现在表名变成A1的表中数据全部导出到csv，然后在导入到A表，至此完成表数据补全