如何删除数据库中的重复记录

如何删除数据库中的重复记录?

一、题外篇

今天很悲催啊，给用户数据做datapatch的时候，每个月的数据多导入了一份，瞬间惊出一身冷汗... 这可是产品环境，要是被老板知道了可就死定了，赶紧去掉重复的记录，同时写下下面的文章以备后用。

二、准备篇

1. 先创建一张学生表student：

[sql]  view plain copy

1. create table student(  
2.        id varchar(10) not null,  
3.        name varchar(10) not null,  
4.        age number not null  
5. );  

2. 插入几条数据到表student：

[sql]  view plain copy

1. insert into student values('1', 'zhangs', 20);  
2. insert into student values('1', 'zhangs', 20);  
3. insert into student values('2', 'zhangs', 20);  
4. insert into student values('3', 'lisi', 20);  
5. insert into student values('4', 'lisi', 30);  
6. insert into student values('5', 'wangwu', 30);  

三、处理篇

1. 使用rowid

① 查询:

[sql]  view plain copy

1. select *  
2.   from student s1  
3.  where rowid != (select max(rowid)  
4.                    from student s2  
5.                   where s1.id = s2.id  
6.                     and s1.name = s2.name  
7.                     and s1.age = s2.age)  

注: rowid是唯一标志记录物理位置的一个id, 括号中是查询出重复数据中rowid最大的一条.

② 删除:

[sql]  view plain copy

1. delete from student s1  
2.  where rowid != (select max(rowid)  
3.                    from student s2  
4.                   where s1.id = s2.id  
5.                     and s1.name = s2.name  
6.                     and s1.age = s2.age)  

2. 使用 group by 和 having

① 查询:

[sql]  view plain copy

1. select id, name, age, count(*)  
2.   from student  
3.  group by id, name, age  
4. having count(*) > 1;  

3. 使用distinct

[sql]  view plain copy

1. create table stud_temp as select distinct * from student; -- 创建临时表 stud_temp  
2. truncate table student; -- 清空student表  
3. insert into student select * from stud_temp; -- 将临时表数据导入student表  
4. drop table stud_temp; -- 删除临时表  

注: distinct只适用于对小表处理, 如果是千万级别数据的表, 请使用rowid, 因为它具有唯一性, 效率更高.