sql server 对大表大数据删除方案解析

最新推荐文章于 2024-01-26 09:55:00 发布

henrycg55

最新推荐文章于 2024-01-26 09:55:00 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/henrycg55/article/details/6556410

版权

通常对一张表的数据按指定条件进行删除一般的做法都是 delete from table where 。。。。

但这样会有一个问题，就是数据库在对表进行删除时都会写日志，即使把日志模式改成简单时，还是会写日志，这是sql server 本身的机制。即使通过主键进行删除也一样很慢，除非很有空，通过程序定时循环删除，如果要一次性批量删除可能会有点难度。

经过本人测试发现通过DEL删除是非常慢的。在1700W条记录的表中删除700W的数据，直接通过主键删除还是很慢，。

可以考虑新建一张备份表，然后把不需要删除的数据insert到新建的表中。然后直接把原来的表drop掉，然后再把新建的表直接改名，添加索引等，效率会更高很多

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

henrycg55

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

mysql快速删除大表数据部分数据_SQL Server大表如何快速删除数据

weixin_39605004的博客

02-02

1829

在SQL Server中，如何快速删除大表中的数据呢？回答这个问题前，我们必须弄清楚上下文环境和以及结合实际、具体的需求，不同场景有不同的应对方法。1：整张表的数据全部删除如果是整张表的数据全部清空、删除，这种场景倒是非常简单，TRUNCATE TABLE肯定是最快的。反而用DELETE处理的话，就是一个糟糕的策略。2：大表中删除一部分数据对于场景1、非常简单，但是很多实际业务场景，并不能使...

SQL Server参数化查询大数据下的实践

12-14

SQL Server参数化查询在大数据场景下是提升查询性能和确保数据安全的重要手段。在传统的编程方式中，我们常常用字符串拼接的方式构造SQL语句，比如`WHERE IN`子句，这种方式在处理少量数据时是可行的，但在面对几百...

1 条评论您还未登录，请先登录后发表或查看评论

如何在SQLSERVER中快速有条件删除海量数据

domino的专栏

03-14

3134

最近有个朋友问我，他说他在SQLSERVER删除几百万到几千万数据是显的很慢，帮他分析了一下，提了一些以下意见，或许对很多人有用，再者也好长没写过BLOG了，一起探讨一下如果你的硬盘空间小，并且不想设置数据库的日志为最小(因为希望其他正常的日志希望仍然记录)，而且对速度要求比较高，并清除所有的数据建议你用turncate table1,因为truncate 是DDL操作，不产生

SQL Server删除表及删除表中数据的方法

12-15

本文介绍SQL Server中如何删除表，如何删除表中的数据。在删除表数据时有delete和truncate两种方法，delete和truncate有什么区别呢？ SQL Server，我们现在基本上使用的最古老的版本应该是SQL Server 2000吧，应该没有更早的版本了吧？！从SQL Server 2000开始，到SQL Server 2005，2008，2012等，T-SQL的处理能力越来越强。今天我们就来说说如何使用T-SQL脚本来删除表，以及删除表中的数据。删除表和删除表数据这是两回事！删除表表示不管表中有没有数据，将该数据库表彻底抹去，不留下任何东西。而删除表数据，只是删除表

从MS SQL删除大数据说开去

MinSen

04-07

737

对于数据库中删除数据，你说要注意什么呢？代码怎样写？多数同学看到这两个问题，想都不想就说，就一个Delete语句，注意删除的条件不要删除错了就是，有什么好注意的！是的，可以我再问一下，删除动作是会写日志的，你放日志的磁盘够空间吗？本文的内容： 1. 我先举个实际的工作问题； 2. 整理T－SQL的删除数据的语句和写法； 3. 解决这个工作中的问题和效果总结。先举个我实际

SQL Server系列之删除大量数据

weixin_30507269的博客

04-27

737

一、写在前面 - 想说爱你不容易　　为了升级数据库至SQL Server 2008 R2，拿了一台现有的PC做测试，数据库从正式库Restore(3个数据库大小夸张地达到100G+)，而机器内存只有可怜的4G，不仅要承担DB Server角色，同时也要作为Web Server，可想而知这台机器的命运是及其惨烈的，只要MS SQL Server一启动，内存使用率立马飙升至99%。没办法，只能升内...

SQLServer编辑模式删除数据速度非常慢

kk791159796的专栏

10-21

3449

不要在SQLServer Management Studio的编辑界面大量删除数据，能用数量较少的sql搞定的删除操作就用较少的sql完成。比如：delete * from table1 where col1>100 类似的操作，如果在编辑模式下面使用shift选中大量数据，然后在右键弹出菜单中选择“删除”会导致界面卡住，并且非常耗时。个人猜测，使用shift选中，然后右键删除会生成大量sql

SQL Server 中，删除表数据有以下几种方式

活到老学到老

01-26

8847

请注意，使用 DELETE 和 TRUNCATE 语句删除表数据后，标识字段（如 ID）可能会被重新使用。这意味着如果你删除了一条数据并重新插入新数据，标识字段的值可能会与已删除的数据重复。而使用 DROP TABLE 语句删除表后，表将彻底从数据库中移除，所有数据和结构都将丢失。：TRUNCATE TABLE 语句会删除表中的所有数据，并且不会记录任何事务日志。DELETE 语句不会删除表本身，只会删除表中的数据。：DROP TABLE 语句将删除整个表，包括表的结构、索引、触发器等。

Sqlserver大数据量插入速度慢或丢失数据的解决方法

07-04

### Sqlserver大数据量插入速度慢或丢失数据的解决方法 #### 概述在处理大量数据插入SQL Server数据库的过程中，可能会遇到插入速度慢或者数据丢失的问题。这种情况通常出现在需要批量插入数千甚至上万条记录的...

在 SQLSERVER 中快速有条件删除海量数据

09-11

最近有个朋友问我，他说他在SQLSERVER删除几百万到几千万数据是显的很慢，帮他分析了一下，提了一些以下意见，或许对很多人有用。

sql-server驱动包

最新发布

03-07

String url = "jdbc:sqlserver://localhost:1433;databaseName=MyDatabase"; String username = "myUsername"; String password = "myPassword"; try (Connection conn = DriverManager.getConnection(url, ...

SQL 数据插入、删除 大数据

qq_36688928的博客

02-28

257

转自：https://www.cnblogs.com/lenovo_tiger_love/p/3719989.html 几种数据库的大数据批量插入:https://www.cnblogs.com/telwanggs/p/7485378.html SQL 数据插入、删除 大数据 --测试表 CREATE TABLE [dbo].[Employee] ( [EmployeeNo] I...

sqlserver 大数据量的insert、delete操作优化

weixin_33713503的博客

04-20

114

经常使用的语句！ --大批量导出orders表:insert DBCC DROPCLEANBUFFERS DBCC FREEPROCCACHE go SET NOCOUNT ON BEGIN TRANSACTION INSERT INTO test.dbo.orders with(tablock) SELECT * FROM bak.dbo.Orders WH...

在Sql server中海量数据删除方法

weixin_34363171的博客

05-02

217

在删除一个拥有将近2000万条记录的表时，用简单的delete操作，发现即使只是删除几万条数据都要很长的运行时间，可能的原因我猜想大概有：（1）每一条记录的delete操作都会在数据库日志中加以记录；（2）表上的索引重建也导致比较耗时的操作。在参考网上的一些建议之后，并根据实际情况：（1）确定要删除的数据并不打算做日志回滚；（2）通过减少数据量...

数据库中其中的一个表删除数据的时候特别慢

java_beckham的专栏

06-20

1000

表中一共只有2000多条数据，我的删除语句是delete from jx1114 where xnxqh='2011-2012-2' 这个删除只要删除80多条数据，但是却执行了将近3分钟的时间，这张表引用了其他一个表的主键作为外键。删除表记录非常慢有好几个原因： 1.机器性能问题，cpu被其他进程占用。这种方式最好解决，在进程管理器中关掉几个进程，释放出cpu用于处理删除记录操作...

SQLServer 索引碎片清理(数据量少执行很慢)

ningyingjun的专栏

07-13

2445

1.查找索引碎片大于50% SELECT OBJECT_NAME(IND.OBJECT_ID) AS TABLENAME ,IND.NAME AS INDEXNAME ,INDEXSTATS.INDEX_TYPE_DESC AS INDEXTYPE ,INDEXSTATS.AVG_FRAGMENTATION_IN_PERCENT FROM SYS.DM_DB_INDEX_PHYSICAL_STATS(DB_ID() ,NULL ,NULL

删除千万级数据量导致的慢查询优化

Mamba Out

04-13

490

删除千万级的数据，结果导致频繁的慢查询。线上收到大量慢查询告警，于是检查慢查询的SQL，发现不是啥复杂SQL，这些SQL主要针对一个表，基本都是单行查询，看起来应该不会有慢查询。这种SQL基本上都是直接根据索引查找出来的，性能应该极高。是否可能慢查询不是SQL问题，而是MySQL生产服务器的问题？特殊情况下，MySQL出现慢查询还真不是SQL问题，而是他自己生产服务器的负载太高，导致SQL语句执行慢。磁盘I/O 磁盘I/O负载高，每秒执行大量高负载的随机I/O，但磁盘本身每秒能执行的随机I/O

sqlServer慢sql问题的排查与解决和优化

qq_41827511的博客

06-05

4770

前一段时间，项目将要上线到现场时，发现开发服务器上的程序，查询开始变得越来越慢。今天对该类问题写个总结，已记录下来。

Oracle到Sqlserver2008大数据表迁移图文教程

"Oracle到Sqlserver2008数据库的大数据表迁移教程" 在IT环境中，数据迁移是一项常见的任务，尤其是在不同的数据库系统之间。本教程详细讲解了如何将Oracle中的大数据表高效地迁移到Sqlserver2008数据库。以下是对...