删除数据库中重复数据的几个方法

原创 2006年06月19日 11:10:00
数据库的使用过程中由于程序方面的问题有时候会碰到重复数据,重复数据导致了数据库部分设置不能正确设置……
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select
主字段,count(*) from 表名 group by 主字段 having count(*) > 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from
表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
1
、对于第一种重复,比较容易解决,使用
    select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
    select distinct * into #Tmp from tableName
    drop table tableName
    select * into tableName from #Tmp
    drop table #Tmp
发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
   
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
    select identity(int,1,1) as autoID, * into #Tmp from tableName
    select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
    select * from #Tmp where autoID in(select autoID from #tmp2)
   
最后一个select即得到了NameAddress不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)
 

Oracle数据库中重复数据删除方法:部分去重+完全去重

Oracle数据库重复的数据一般有两种去重方法,一、完全重复数据去重;二、部分字段数据重复去重。     一、完全重复数据去重方法   对于表中完全重复数据去重,可以采用以下SQL语...

高效删除Oracle数据库中重复数据,并保留最新一条的方法

在对数据库进行操作过程中我们可能会遇到这种情况,表中的数据可能重复出现,使我们对数据库的操作过程中带来很多的不便,那么怎么删除这些重复没有用的数据呢?   重复数据删除技术可以提供更大的备份容量,实...
  • e_wsq
  • e_wsq
  • 2011年08月30日 16:08
  • 1192

高效删除Oracle数据库中重复数据的方法

在对数据库进行操作过程中我们可能会遇到这种情况,表中的数据可能重复出现,使我们对数据库的操作过程中带来很多的不便,那么怎么删除这些重复没有用的数据呢?     重复数据删除技术可以提供更大的备份容...

删除掉mysql数据库某张表中完全重复数据的方法

需要处理的表大概包含400万条数据,首次运行php代码之后发现完全重复的数据有很多,原因可能是导入时重复导入某张表(当时一起导入超过30份数据到同一个表可能出错),也有可能拿到的数据中存在重复数据,因...
  • liujl6
  • liujl6
  • 2014年12月27日 00:28
  • 1662

postgresql数据库三种删除重复数据的方法

PG数据库几种删除重复数据的方法在使用PG数据库的这段时间,总结了三种删除重复数据的方法,其中最容易想到的就是最常规的删除方法,但此方法性能较差,删数据耗时较久,虽容易实现,但性能太差,影响写数据的速...

插入MySQL数据库前去除重复数据的几种方法

若数据不存在插入,存在更新 使用duplicate key关键字,如插入数据时发生主键冲突就更新数据 使用Ingore关键字 使用replace into关键字 一、若数据不存在插入,存在更新: ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:删除数据库中重复数据的几个方法
举报原因:
原因补充:

(最多只允许输入30个字)