Oracle删除大表数据慢,oracle 删除大表内的重复数据

因为一些原因数据库中的一张表(2kw+数据)没有建立主键,并且随着时间的增加产生了大量的重复数据,我通过以下方式进行数据去重: 原理:即使是所有业务字段都一样的两条数据他的rowid也是不一样的。 首先按照业务要求找出哪些字段重复的算重复数据,我是这

因为一些原因数据库中的一张表(2kw+数据)没有建立主键,并且随着时间的增加产生了大量的重复数据,我通过以下方式进行数据去重:

原理:即使是所有业务字段都一样的两条数据他的rowid也是不一样的。

首先按照业务要求找出哪些字段重复的算重复数据,我是这样的,以下字段全部一致就认为是重复数据: hphm,hpzl,wfsj,wfxw,jszh

表名:VIOLATION_USE

此表为分区表,查此表分区详情:

SELECT * FROM USER_TAB_PARTITIONS WHERE TABLE_NAME =’VIOLATION_USE’;

USER_TAB_PARTITIONS-300x118.jpg

查询表使用的分区

可以看到此表有10个分区:SYS_P51 – SYS_P60;

查询重复数据里的最大的rowid,然后删除rowid 在里面的数据,因为是分区表所以可以分区操作,否则时间会非常长(ps我在服务器上操作一晚上也没成功):

delete from violation_use PARTITION(SYS_P51) where rowid in (

select rid from

(

select max(rowid) rid,count(*)

from violation_use

group by hphm,hpzl,wfsj,wfxw,jszh

having count(*)>1

)

);

重复执行直到删除所有重复数据。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用以下 SQL 语句删除中的重复数据: ```sql DELETE FROM table_name WHERE rowid NOT IN ( SELECT MIN(rowid) FROM table_name GROUP BY column1, column2, ... ); ``` 其中,`table_name` 示要删除重复数据名,`column1`, `column2`, ... 示要根据哪些列来判断数据是否重复。这个 SQL 语句将保留每组重复数据中的第一条记录,并删除其余记录。 ### 回答2: 在Oracle中,我们可以使用多种方法来删除中的重复数据。 一种简单的方法是使用ROWID函数和子查询。首先,我们可以使用ROWID函数来标识中的每一行数据的唯一标识符。然后,我们可以使用子查询来查找出重复的行数据,并将其ROWID保存在一个临时中。最后,我们可以根据这个临时中的ROWID来删除中的重复数据。 以下是一个示例代码: CREATE TABLE tmp_table AS SELECT ROWID FROM your_table GROUP BY column1, column2, ... -- 根据中的列来判断重复数据 HAVING COUNT(*) > 1; -- 删除重复数据 DELETE FROM your_table WHERE ROWID IN (SELECT ROWID FROM tmp_table); -- 删除临时 DROP TABLE tmp_table; 另外,我们还可以使用Oracle中内置的ROW_NUMBER()函数来删除中的重复数据。该函数可以为查询结果集中的每一行数据分配一个唯一的序列号。我们可以根据这个序列号来判断哪些行是重复的,并将其删除。 以下是一个示例代码: DELETE FROM ( SELECT column1, column2, ..., ROW_NUMBER() OVER (PARTITION BY column1, column2, ... -- 根据中的列来判断重复数据 ORDER BY column1) AS rn FROM your_table ) WHERE rn > 1; 这些方法都可以帮助我们在Oracle删除中的重复数据。但是在执行之前,请务必备份好数据,以免数据丢失。 ### 回答3: 要删除中的重复数据,可以使用Oracle的DELETE语句结合子查询来实现。 首先,使用子查询找出中的重复数据,可以使用GROUP BY子句和HAVING子句来实现。例如,假设我们有一个名为"customers"的,其中包含列"customer_id"和"email",我们想要删除email字段重复数据,可以使用以下查询: ``` DELETE FROM customers WHERE (customer_id, email) NOT IN ( SELECT MIN(customer_id), email FROM customers GROUP BY email ) ``` 在这个查询中,子查询通过GROUP BY和MIN函数找出每个email字段的最小"customer_id",然后将这些行与原进行比较。DELETE语句将删除那些在子查询中没有匹配到的行,即删除重复数据。 需要注意的是,在执行DELETE语句之前,最好先备份数据或者使用事务来保证数据的安全性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值