oracle-快速删除重复的记录

原创 2006年06月06日 14:34:00

oracle-快速删除重复的记录

文/Ray

做项目中,一位同事导数据的时候,不小心把一个表中的数据全都搞重了,也就是说,这个表里所有的记录都有一条重复的。这个表的数据是千万级的,而且是生产系统。也就是说,不能把所有的记录都删除,而且必须快速的把重复记录删掉。

对此,总结了一下删除重复记录的方法,以及每种方法的优缺点。

为了陈诉方便,假设表名为Tbl,表中有三列col1,col2,col3,其中col1,col2是主键,并且,col1,col2上加了索引。

1、通过创建临时表

可以把数据先导入到一个临时表中,然后删除原表的数据,再把数据导回原表,SQL语句如下:

creat table tbl_tmp (select distinct* from tbl);

truncate table tbl;//清空表记录

insert into tbl select * from tbl_tmp;//将临时表中的数据插回来。

这种方法可以实现需求,但是很明显,对于一个千万级记录的表,这种方法很慢,在生产系统中,这会给系统带来很大的开销,不可行。

2、利用rowid

在oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是oracle中的哪一个数据文件、块、行上。在重复的记录中,可能所有列的内容都相同,但rowid不会相同。SQL语句如下:

delete from tbl where rowid in (select a.rowid from tbl a, tbl b where a.rowid>b.rowid and a.col1=b.col1 and a.col2 = b.col2)

如果已经知道每条记录只有一条重复的,这个sql语句适用。但是如果每条记录的重复记录有N条,这个N是未知的,就要考虑适用下面这种方法了。

3、利用max或min函数

这里也要使用rowid,与上面不同的是结合max或min函数来实现。SQL语句如下

delete from tbl a where rowid not in (select max(b.rowid) from tbl b where a.col1=b.col1 and a.col2 = b.col2);//这里max使用min也可以

或者用下面的语句

delete from tbl a where rowid < (select max(b.rowid) from tbl b where a.col1=b.col1 and a.col2 = b.col2);//这里如果把max换成min的话,前面的where子句中需要把"<"改为">"

  4、利用group by,提高效率

跟上面的方法思路基本是一样的,不过使用了group by,减少了显性的比较条件,提高效率。SQL语句如下:

delete from tbl where rowid not in (select max(rowid) from tbl t group by t.col1, t.col2 );

 还有一种方法,对于表中有重复记录的记录比较少的,并且有索引的情况,比较适用。假定col1,col2上有索引,并且tbl表中有重复记录的记录比较少,SQL语句如下

delete from tbl where (col1, col2) in (select col1,col2 from tbl group by col1,col2 having  count(*) > 1) and rowid  not in (select  nin(rowid) from tbl group by col1,col2 having  count(*) > 1)

高效删除Oracle数据库中重复数据,并保留最新一条的方法

在对数据库进行操作过程中我们可能会遇到这种情况,表中的数据可能重复出现,使我们对数据库的操作过程中带来很多的不便,那么怎么删除这些重复没有用的数据呢?   重复数据删除技术可以提供更大的备份容量,实现...
  • Flood_Dragon
  • Flood_Dragon
  • 2013年06月06日 12:56
  • 1384

ORACLE查询删除重复记录三种方法

比如现在有一人员表 (表名:peosons) 若想将姓名、身份证号、住址这三个字段完全相同的记录查询出来  复制代码代码如下: select p1.*    from pe...
  • qiu_x_b
  • qiu_x_b
  • 2016年11月04日 15:34
  • 3001

Oracle删除重复记录只保留一条数据的几种方法

Oracle删除重复记录只保留一条数据的几种方法 1. 问题描述 BBSCOMMENT表为BBSDETAIL的从表,记录商户评价信息。因为数据倒腾来倒腾去的,有很多重复数据。表结构如下: C...
  • haiross
  • haiross
  • 2014年08月12日 11:53
  • 21813

oracle-快速删除重复的记录

做项目的时候,一位同事导数据的时候,不小心把一个表中的数据全都搞重了,也就是说,这个表里所有的记录都有一条重复的。这个表的数据是千万级的,而且是生产系统。也就是说,不能把所有的记录都删除,而且必须快速...
  • ShulingLiu
  • ShulingLiu
  • 2011年04月19日 14:08
  • 201

oracle 快速删除大批量数据方法(全部删除,条件删除,删除大量重复记录)

全部删除如果是删除某个表的所有数据,并且不需要回滚,使用 TRUNCATE 就ok了。关于Trancate 参见这里http://blog.csdn.net/gnolhh168/archive/201...
  • gnolhh168
  • gnolhh168
  • 2011年05月24日 16:39
  • 72669

oracle 快速删除大批量数据方法(全部删除,条件删除,删除大量重复记录)

全部删除 如果是删除某个表的所有数据,并且不需要回滚,使用 TRUNCATE 就ok了。关于Trancate 参见这里http://blog.csdn.net/gnolhh168/archive...
  • zzia100510305
  • zzia100510305
  • 2015年10月19日 21:16
  • 329

oracle 快速删除大批量数据方法(全部删除,条件删除,删除大量重复记录)

全部删除 如果是删除某个表的所有数据,并且不需要回滚,使用 TRUNCATE 就ok了。关于Trancate 参见这里http://blog.csdn.net/gnolhh168/archive/2...
  • u010736419
  • u010736419
  • 2013年08月22日 16:35
  • 764

使用Oracle查询并删除重复记录的SQL语句

  • 2012年10月30日 00:31
  • 18KB
  • 下载

Oracle中用Rowid查找和删除表中的重复记录

  • 2010年10月29日 17:17
  • 5KB
  • 下载

Oracle 查找与删除表中重复记录的步

  • 2015年10月28日 16:40
  • 45KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:oracle-快速删除重复的记录
举报原因:
原因补充:

(最多只允许输入30个字)