超级会员免费看
最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬，因为合理的创建索引速度还是挺快的，再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息，极不方便做统计和分析。所以我需要创建一张新表，把旧表中的数据一条一条取出来优化后放回新表；
本文总结了在处理2000万条记录的MySQL数据表时的优化和迁移经验。通过清除冗余数据、优化字段结构，以及采用分批处理、利用自增ID优化SQL等方式，成功将查询时间从35秒降至2毫秒，最终将脚本执行时间缩短到20分钟内。数据迁移过程中，尝试了不同插入策略，选择了既能及时发现错误又稳定的方案。
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
