大数据量表数据删除方法

最新推荐文章于 2022-05-28 10:40:15 发布
最新推荐文章于 2022-05-28 10:40:15 发布
阅读量764 收藏 1
点赞数
分类专栏： DB2 文章标签： 大数据 数据库 java

    对于表的数据量在百万上的使用delete from table_name 时候，会很慢很慢，难以接受。而且delete删除多张表数据时更难以接受。找了下方法，发现非常的快。步骤如下：

（1）、在C盘上新建一个名为【empty.del】的文件，此文件是空文件

（2）、命令行连接DB2数据库

        DB2 connect to TEST_36 USER administrator using password

（3）、执行删除

       DB2 import from empty.del of del replace into table_name

 

 试一下吧，你会发现不同寻常的速度。。。。

 

爱涵雨
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL大数据量删除策略：优化你的百万级别数据处理
博客
03-05 1981
根据不同的场景和需求，选择合适的优化策略来提高MySQL大数据量删除的效率和性能。
大数据量，海量数据处理方法总结
09-11
在IT领域，大数据量和海量数据的处理是关键的技术挑战之一，尤其对于互联网巨头如百度、谷歌、腾讯等公司，这种处理能力是其业务运行的基础。以下是对大数据处理方法的详细解析： 1. **Bloom Filter**：这是一种...
大数据量数据删除策略
sql_help的专栏
07-12 866
<br />SETROWCOUNT5000<br />WHILE1=1<br />BEGIN<br />   DELETEfrom T_History where LDate ='2010-06-01'<br />   IF@@ROWCOUNT<5000<br />   BREAK;<br />END<br />SETROWCOUNT0
大数据量删除的思考（一）
08-26 860
在最近一篇关于从表中删除列的文章里，我留下了一个悬而未决的问题，删除列之后你应该/可能会做什么？因为删除列只不过是“大量删除”的特殊情况。在这篇文章中，我计划为我们如何思考“大量删除”及产生的后果...
大数据量表删除插入
abcyzq的专栏
11-06 457
1。alter table t nologging 不记录日志，完成后记录日志。2。先停用索引，在全部操作完成后启用索引。3。多次小批量提交。4。选择业务操作量少的时间进行。
大数据量删除的思考（三）
woqutechteam的博客
10-07 429
在本系列的上一部分中，我们研究了在大数据删除表和索引和案例。在这一部分中，我们将继续讨论不同案例所隐含的工作量，然后考虑删除策略，或者需要制定减少工作量的策略。 基本开销部分 除了时间本身，我们还要关注其它三个指标，即大数据删除的过程中：生成的undo和生成的redo以及发生的I/ O量。这些因素并不是相互独立的，这在优化删除的一般性讨论中引入了很多复杂性，并且删除操作本身可能会影响同时运行的...
Oracle中大批量删除数据的方法
09-11
当数据库中的数据量非常大时，删除数据的操作可能会变得非常慢，甚至影响到整个数据库的性能。因此，找到高效的删除数据方法是非常重要的。 本文将介绍一种使用 PL/SQL procedure 实现大批量删除数据的方法，并...
MySQL删除表数据的方法
12-16
在MySQL数据库管理中，删除表数据是常见的操作，主要分为两种方法：DELETE语句和TRUNCATE TABLE语句。这两种方法各有特点，适用于不同的场景。 首先，DELETE语句提供了更大的灵活性，因为它允许通过WHERE子句指定...
数据量超大时删除方法
comfzzk637942924的博客
04-01 570
数据量超大时，如果直接delete，会导致： 1.redo 很快满掉，然后checkpoint not compete, 等等日志切换 2.大事务致使 自动扩展的undo 表空间迅速增大，系统处于等等 固定大小的...
mysql 存储过程大数据量表内连删除
nickDaDa的博客
02-22 292
mysql在mgr模式中，数据量大于145M会报错，为了快速实现功能，采取存储过程的方式执行。 -- 功能：删除t_mytable表中和t_mytable_bak重复的部分 -- 重写结束符号，改为$ delimiter $ -- batchSize作为入参传入 create procedure t_mytable(in bs int) begin -- 声明增量表数据总量 -- 声明循环次数 -- 声明删除索引开始位置 -- 声明删除索引结束位置 -- 声明整数部分 -- 声明
怎么在大数据里面删除不了_删除大数据量表的列的一个好方法
weixin_36109375的博客
01-12 525
很多开发的朋友可能遇到过这样的情况：一个数据量很大的表，业务需要添加一个字段(添加字段很快)，在测试环境测试以后，还想再做一遍，就需要删除这个字段，这时纠结的问题发生了：删除字段是如此漫长，而且最后经常会无缘无故中断了，白花花的几个小时就这么浪费了，还搞的心情很烦躁。。。。今天发现了一个好方法，这里跟大家分享一下：造成删除字段失败的很大原因是回滚段被耗尽，下面看看我的测试：1. 建两个结构和数据量...
大数据量删除时delete的表现
cptbtptp88124的博客
04-07 903
http://www.itpub.net/thread-1286997-1-1.html ...
快速删除大表中的大量数据
11-07 713
近日，碰到一个案例，一个朋友在一张大表上删除大量的数据，最终得以快速的解决，不敢独享，共享之。[@more@]下面是朋友发过来的邮件：###############################################...
MYSQL大数据量数据删除[表直接不需要的情况][亲测]
weixin_42482108的博客
05-28 1172
MYSQL大数据量数据删除
mysql删除大数据量表数据
qq_52121960的博客
09-24 887
背景：生产环境服务器磁盘空间不足，调查发现mysql容器占用过大，进一步排查发现存在一个非生产应用需求表占用过百G磁盘空间。确认目标处理为留表不留数据且表中有亿级数据。 问题：删除该类数据可以drop、truncate、delete，选择哪一个可以及时释放表空间且影响最小？ 过程： >目前最好的选择是truncate，但是针对mysql并不熟悉，对使用truncate后是否能释放表空间产生了疑惑。 >百度，存在一个说法“当使用 truncate tab...
大数据中的批量删除
一个普通码农的总结
03-26 3011
oken表中目前有400w条数据，且以每天十几万的数据继续增长。需要定期将其中过期的数据取消掉，仅保留最新的万计以内的数据； token表有两个字段：id（long ,自增），update_time（timestamp，更新时间），其中在id上建立了索引； 一次性删除掉400w条数据显然不靠谱，会发现删除失败，因为lock wait timeout exceed错误； 因此最后分批删除，每次
大数据量delete操作
技术改变世界！
12-11 1996
最近在做一个项目，要求程序在400多万条数据的数据表中一次性删除30多万条数据，由于之前建表过程中未采用分区表的方式，只能使用其他的优化方式： 起初用delete from where的方式，发现程序非常不稳定，甚至有时会阻塞在delete位置，原因是delete操作会写入日志，导致删除大量数据时性能低下。 为解决此问题，采用了临时表的方式。 步骤如下： 1、create table te
SQL Server百万级大数据量删除
热门推荐
xia_xing的专栏
06-21 1万+
删除一个表中的部分数据，数据量百万级。一般delete from 表 delete from ysh where date<’2016-06-21’ ； 此操作可能导致，删除操作执行的时间长；日志文件急速增长；针对此情况处理 delete top fromdeclare @onecount int set @onecount=1000000 print getdate() while 1=1 b
mysql数据量很大的表删除慢
最新发布
09-03
MySQL数据量很大的表删除慢主要是由于以下几个原因： 1. 索引问题：如果表没有恰当的索引，那么删除操作需要搜索整个表才能找到要删除的行，这将导致删除操作的耗时增加。解决方法是为表添加合适的索引，使删除操作可以快速定位到要删除的行。 2. 外键约束：如果表中存在外键约束，那么在删除行之前，需要检查该行是否被其他表所引用。如果被引用，则需要先删除引用的行，这会导致删除操作的耗时增加。解决方法是在进行删除操作时，临时关闭外键约束检查，或者更改外键关系，以避免进行额外的关联查询。 3. 日志记录：MySQL在执行任何修改操作时，会将其写入日志中，以便在需要时进行回滚或恢复操作。当数据量较大时，写入大量的日志会导致删除操作变慢。解决方法是可以考虑减少或调整MySQL的日志记录设置，或者考虑将日志文件放在独立的存储设备上以提高性能。 4. 事务处理：如果删除操作包含在一个事务中，那么在事务提交之前，所有删除的行都需要被记录在事务日志中，这会增加删除操作的时间。解决方法是将删除操作分解成多个较小的事务，或者禁用事务处理。 5. 硬件性能：MySQL服务器的硬件性能也会对删除操作的速度产生影响。如果硬件资源不足，例如CPU、内存或磁盘I/O等，都会造成删除操作的延迟。解决方法是可以考虑升级硬件，增加服务器的性能。 综上所述，如果MySQL数据量很大的表删除慢，可以通过添加索引、优化外键约束、调整日志记录设置、优化事务处理或提升硬件性能等方式来改善删除操作的速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值