在删除大量重复数据表的时候,如果表本身建做联接删除的话,效率会非常低
在删除一个没有索引的20多W条的表中,重复记录大概有2000多条,在表自身做联接删除时,大概需要1.3个小时
如果建一个临时表,再加上索引,做联接删除,效率非常高,只用了4秒钟!!!
案例如下:
表A 字段有radecode, fundkey, pubdate, 需要删掉重复radecode, fundkey, pubdate字段的记录
处理过程如下:
1.首先成临时表B
create table B as
(select tradecode, fundkey, pubdate,max(a.rowid) dataid
from A group by a.tradecode,a.fundkey,a.pubdate)
2. 对于表A,表B 的radecode, fundkey, pubdate建集合索引,对表B的dataid建立索引
3.执行SQL语句删除重复记录
delete from a
where a.rowid != (select b.dataid
from b
where a.tradecode = b.tradecode
and a.fundkey = b.fundkey
and a.pubdate = b.pubdate)
删除2347条记录,用时4秒