Mysql删除重复数据：百万级别数据

若不你突然闯进我心窝

已于 2023-08-10 15:58:54 修改

阅读量298

点赞数

文章标签： mysql 数据库

于 2023-08-07 16:37:22 首次发布

本文链接：https://blog.csdn.net/qq_43185254/article/details/132149375

版权

1.数据量小时：

根据字段对数据进行分组，查询出所有分组的最小ID（即要保留的不重复数据）
将查询出来的数据（所有不重复的数据）存放到临时表中
从原来的表中删除ID不在临时表中的重复数据

DELETE FROM SZ_Building WHERE id NOT IN (
  SELECT t.min_id FROM (
    SELECT MIN(id) AS min_id FROM SZ_Building GROUP BY BLDG_NO
  ) t
);

2.数据量大时：百万级以上时 ：减新表存不重复的最小id，id列加索引；删除需要去重的表根据不在id不在新表的所有id中，
(1)：先把min(id)存到临时表（SZ_Building_id）

create table SZ_Building_id
SELECT MIN(id) AS id FROM SZ_Building GROUP BY BLDG_NO
;

(2)：给临时表的id设置成主键或者创建索引（加快后面的查询速度）

alter table add index ind_xxName(字段名：如ID);

(3)：删除id不在临时表的数据。

delete from SZ_Building where id not in(
  select id from SZ_Building_id
)

关注