oracle去重（部分和全部）

Distinct，用distinct关键字只能过滤查询字段中所有记录相同的（记录集相同） （1）取一个字段，去除重复项。假设要id这个字段的值：        select distinct name from t1;   --能消除重复记录，缺点：但只能取一个字段；distinct关键字会排序，效率很低      （2）取多个字段，去除重复项。假设要同时取id,name这2个字段的值：            select distinct id,name from t1; --可以取2个字段，但只能消除这2个字段值全部相同的记录   所以用distinct无法达到同时取多个字段并去重其中一个字段。用group by可以解决这个问题。 （3）取多个字段并去重其中一个字段。例如要显示的字段为A、B、C三个，而A字段的内容不能重复可以用下面的语句：     select A, min(B),min(C),count(*) from [table] where [条件] group by   A  having [条件] order by A desc; 为了字段名显示明了，可以把     select A, min(B),min(C),count(*) 换成     select A as A, min(B) as B,min(C) as C,count(*) as 重复次数  显示出来的字段和排序字段都要包括在group by 中 但显示出来的字段包有min,max,count,avg,sum等聚合函数时可以不在group by 中 如上句的min(B),min(C),count(*) 一般条件写在where 后面 有聚合函数的条件写在having 后面     如果在上句中having加 count(*)>1   就可以查出记录A的重复次数大于1的记录     如果在上句中having加 count(*)>2   就可以查出记录A的重复次数大于2的记录 ☆如果在上句中having加 count(*)>=1   就可以查出所有的记录，但重复的只显示一条，并且后面有显示重复的次数 ----这就是所需要的结果，而且语句可以通过hibernate 下面语句可以查询出那些数据是重复的：      select [字段1],[字段2],count(*) from [表名] group by [字段1],[字段2] having count(*) > 1; 将上面的>号改为=号就可以查询出没有重复的数据了。例如找出没有重复的gkrq字段值的记录：     select count(*) from (select gcmc,gkrq,count(*) from gczbxx_zhao t group by gcmc,gkrq having  count(*)>=1 order by GKRQ); 推荐使用：     select * from gczbxx_zhao where viewid in ( select max(viewid) from gczbxx_zhao group by gcmc ) order by gkrq desc;    例子2： SELECT ROWID,EMPNO,JOB FROM EMP   WHERE ROWID!=(SELECT MAX(ROWID) FROM EMP D   WHERE  EMP.JOB=D.JOB) ORDER BY JOB; 举例解释： 假设现在EMP表有三条记录，分别为a(rowid=1)，b(rowid=2)，b(rowid=3)。（b存在重复） 那么where语句中， 对于记录a来说，只有一条记录，其rowid为1，而关联的D的max（rowid)也为1，由于1=1，所以条件不成立，记录a不会被检出； 对于记录b来说，由于存在2条记录，rowid分别为2和3，而关联的D的max（rowid)也为3（2小于3），所以rowid为2的记录满足条件（2<>3)，rowid为2的b记录会被检出，rowid为3的记录不会被检出。 故对于以上，查询结果就是b(rowid=2)。 总结：此语句对于任何存在件数为n(n>=1)的记录来说，必将有n-1条记录被检出。 oracle去重：综合了别人的记录，大致有以下两种看起来顺眼。但速度如何，暂没时间验证。 1.delete from t where   rowid   not   in   (select   min(rowid)   from   t   group   by   去重字段); 2.（注意：distinct是记录完全一致的重复。而上面是以某一列的值是否重复来决定） insert into 临时表 select distinct mobile from 原表; drop table 原表; rename 临时表名 to 原表名; 根据原评论，第二种方法经常用在数据迁移等方面，如有此需求，可以验证。 ***************************** 而这位老兄写了挺多，先跟作者说声辛苦啦，俺也在加班，暂不详细研究。详文如下： 重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。 一、对于部分字段重复数据的删除         先来谈谈如何查询重复的数据吧。         下面语句可以查询出那些数据是重复的： select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1         将上面的>号改为=号就可以查询出没有重复的数据了。         想要删除这些重复的数据，可以使用下面语句进行删除 delete from 表名 a where 字段1,字段2 in     (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)         上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下： CREATE TABLE 临时表 AS (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)         上面这句话就是建立了临时表，并将查询到的数据插入其中。         下面就可以进行这样的删除操作了： delete from 表名 a where 字段1,字段2 in (select 字段1，字段2 from 临时表);         这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。        这个时候，大家可能会跳出来说，什么？你叫我们执行这种语句，那不是把所有重复的全都删除吗？而我们想保留重复数据中最新的一条记录啊！大家不要急，下面我就讲一下如何进行这种操作。        在oracle中，有个隐藏了自动rowid，里面给每条记录一个唯一的rowid，我们如果想保留最新的一条记录， 我们就可以利用这个字段，保留重复数据中rowid最大的一条记录就可以了。        下面是查询重复数据的一个例子： select a.rowid,a.* from 表名 a  where a.rowid !=  (    select max(b.rowid) from 表名 b     where a.字段1 = b.字段1 and     a.字段2 = b.字段2  )        下面我就来讲解一下，上面括号中的语句是查询出重复数据中rowid最大的一条记录。        而外面就是查询出除了rowid最大之外的其他重复的数据了。        由此，我们要删除重复数据，只保留最新的一条数据，就可以这样写了： delete from 表名 a  where a.rowid !=  (    select max(b.rowid) from 表名 b     where a.字段1 = b.字段1 and     a.字段2 = b.字段2  )        随便说一下，上面语句的执行效率是很低的，可以考虑建立临时表，讲需要判断重复的字段、rowid插入临时表中，然后删除的时候在进行比较。 create table 临时表 as      select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.字段1,a.字段2; delete from 表名 a  where a.rowid !=  (    select b.dataid from 临时表 b     where a.字段1 = b.字段1 and     a.字段2 = b.字段2  ); commit; 二、对于完全重复记录的删除         对于表中两行记录完全一样的情况，可以用下面语句获取到去掉重复数据后的记录： select distinct * from 表名 可以将查询的记录放到临时表中，然后再将原来的表记录删除，最后将临时表的数据导回原来的表中。如下： CREATE TABLE 临时表 AS (select distinct * from 表名); drop table 正式表; insert into 正式表 (select * from 临时表); drop table 临时表;       如果想删除一个表的重复数据，可以先建一个临时表，将去掉重复数据后的数据导入到临时表，然后在从 临时表将数据导入正式表中，如下： INSERT INTO t_table_bak select distinct * from t_table;