SQLSERVER 怎样去除重复记录

 【SQLSERVER】怎样去除重复记录

有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。  
  1、对于第一种重复,比较容易解决,使用  
  select   distinct   *   from   tableName  
  就可以得到无重复记录的结果集。  
  如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除  
  select   distinct   *   into   #Tmp   from   tableName  
  drop   table   tableName  
  select   *   into   tableName   from   #Tmp  
  drop   table   #Tmp  
  发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。  
   
  2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下  
  假设有重复的字段为title,要求得到这个字段唯一的结果集   
 

delete companynews where id in
(
 select id from (select title,max(id) as id ,count(*) as rcount from companynews group by title) a where rcount>1
)


在查询分析器中循环执行若干边,直到影响航数为0为止即可去除所有重复记录。


查询同一表内多字段同时重复记录的SQL语句

比如现在有一人员表  (表名:peosons)
若想将姓名、身份证号、住址这三个字段完全相同的记录查询出来 
select   p1.*   from   persons   p1,persons   p2   where   p1.id<>p2.id   and   p1.cardid   =   p2.cardid   and   p1.pname   =   p2.pname   and   p1.address   =   p2.address


 

使用一条SQL语句删除表中重复记录

数据库结构的脚本:


if exists (select * from dbo.sysobjects where id = object_id(N'[dbo].[TempA]') and OBJECTPROPERTY(id, N'IsUserTable') = 1)
drop table [dbo].[TempA]
GO

CREATE TABLE [dbo].[TempA] (
 [id] [int] IDENTITY (1, 1) NOT NULL ,
 [PositionName] [varchar] (256) COLLATE Chinese_PRC_CI_AS NULL ,
 [EnglishPositionName] [varchar] (256) COLLATE Chinese_PRC_CI_AS NULL
) ON [PRIMARY]
GO

ALTER TABLE [dbo].[TempA] ADD
 CONSTRAINT [PK_TempA] PRIMARY KEY  CLUSTERED
 (
  [id]
 )  ON [PRIMARY]
GO



TempA表中有三个字段,id唯一且为主键,自动增长; PositionName,EnglishPositionName中有重复的记录,比如:
id      PositionName        EnglishPositionName
20     其他                           Others
21     质量 工程 师               QC Engineer
22     其他                           Others
.......
100  质量 工程师                QC Engineer
需要剔除重复的"其他","质量工程师"等记录。

采用的SQL语句:
Delete from TempA where id not in (
        select max(t1.id) from TempA t1 group by
         t1.PositionName,t1.EnglishPositionName)

说明:
(1)需要剔除那几个用于判断重复的字段,则将它们放在group by语句之后。
(2)max(t1.id) 也可以改成:min(t1.id)


查找重复记录

Select * From 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1)

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQL Server中有多种方法可以高效地删除重复记录,通常使用的是聚集索引或其他唯一约束来识别唯一的行。这里有几个常见的策略: 1. **使用`DISTINCT`关键字**: 如果你知道要删除哪些列,你可以先创建一个临时表或视图,只包含不重复的组合,然后从原始表中删除非唯一项。 ```sql DELETE T1 FROM YourTable T1 WHERE NOT EXISTS (SELECT 1 FROM ( SELECT DISTINCT Column1, Column2, ... FROM YourTable ) T2 WHERE T1.Column1 = T2.Column1 AND T1.Column2 = T2.Column2); ``` 2. **使用`GROUP BY`和`HAVING`**: 这种方法通过分组并检查每个组的数量来找出重复行,如果某个组有超过1条记录,则删除所有除了第一条之外的记录。 ```sql DELETE YourTable WHERE ID NOT IN ( SELECT MIN(ID) FROM YourTable GROUP BY Column1, Column2, ... HAVING COUNT(*) > 1 ); ``` 3. **利用`ROW_NUMBER()`窗口函数**: 如果你的数据库支持窗口函数,可以按照指定列排序,并保留每组的第一条记录。 ```sql WITH CTE AS ( SELECT *, ROW_NUMBER() OVER(PARTITION BY Column1, Column2, ... ORDER BY (SELECT NULL)) RN FROM YourTable ) DELETE FROM CTE WHERE RN > 1; ``` 4. **考虑使用分区**: 对于非常大的表,可以考虑按特定列分区,然后再分别处理每个分区内的重复记录。 无论哪种方法,都要谨慎操作,尤其是当数据量大时,因为删除操作通常是不可逆的。建议在实际操作前备份数据,并在测试环境中验证。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值