数据量非常大的数据库操作小技巧

最近遇到一个sqlite数据，其中一个表有两千多万行数据，读取时软件严重卡顿。于是想到给数据库文件瘦个身，删掉其中不需要的一千多万条数据（将2023-08-08之前的数据删除）。

1、用传统的方式直接delete+where条件，时间太久，一千多万条数据几个小时可能都处理不完；

delete from 表名 where create_at < '2023-08-08';

2、添加索引，依旧很慢；

create index ind_create_at on 表名(create_at)

delete from 表名 where create_at < '2023-08-08';

3、曲线救国，可以先创建一个临时表，将有用的几十万条数据存下来，然后直接删除原来的表，再将临时表改名为原来的表名即可。这个算下来只用了大约不到10分钟。

-- 创建一个temp表，将符合条件的数据存下来；

create table temp as select * from 原表名 where create_at > '2023-08-08'；

-- 直接删除原来的表，这一步时间比较久；

drop table 原表名；

-- 修改temp表名

alter table temp rename to 原表名；

需要注意的是：sqlite为了能方便删除数据后再插入数据，采用特殊的存储方式；这就导致数据虽然删了，但是数据库文件大小看起来还是那么大。可以使用vacuum命令处理一下。