使用SQL语句对重复记录查询、统计重复次数、删除重复数据

 

上周工作中数据库中出现了N多重复记录的情况，导致联合查询时数据异常。

由于数据是客户提供的，当时并没有提供唯一标识列，而且也没预料到会出现重复数据。

哎，大意了。后来对表中的数据进行了一次重复查询。

1、查找表中重复记录，重复记录是根据单个字段来判断，并统计重复次数
select [字段],count(0) AS 重复次数 from[表名] group by [字段] having count([字段]) > 1

2、删除表中多余的重复记录，重复记录是根据单个字段来判断，只留有rowid最小的记录
delete from [表名] where [字段] in ( select [字段] from [表名] group by [字段] having count([字段]) > 1 )
and rowid not in ( select  min(rowid) from [表名] group by [字段] having count([字段]) > 1 )

3、查询无重复记录，根据单个字段查询
select distinct [字段] from [表名] order by [字段] desc

PS:血淋淋的教训，不管别人提供的数据里面否真的都是唯一的，一定要唯一主键或标识列（就算有重复的数据也不怕）。

操作的时候都已唯一主键或标识列来联合，要合理的使用本表主键和对方提供的唯一主键进行操作。