sql server 对大表大数据删除方案解析

最新推荐文章于 2024-04-13 22:47:17 发布

henrycg55

最新推荐文章于 2024-04-13 22:47:17 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/henrycg55/article/details/6556410

版权

通常对一张表的数据按指定条件进行删除一般的做法都是 delete from table where 。。。。

但这样会有一个问题，就是数据库在对表进行删除时都会写日志，即使把日志模式改成简单时，还是会写日志，这是sql server 本身的机制。即使通过主键进行删除也一样很慢，除非很有空，通过程序定时循环删除，如果要一次性批量删除可能会有点难度。

经过本人测试发现通过DEL删除是非常慢的。在1700W条记录的表中删除700W的数据，直接通过主键删除还是很慢，。

可以考虑新建一张备份表，然后把不需要删除的数据insert到新建的表中。然后直接把原来的表drop掉，然后再把新建的表直接改名，添加索引等，效率会更高很多

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

henrycg55

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

SQL Server参数化查询大数据下的实践

12-14

SQL Server参数化查询在大数据场景下是提升查询性能和确保数据安全的重要手段。在传统的编程方式中，我们常常用字符串拼接的方式构造SQL语句，比如`WHERE IN`子句，这种方式在处理少量数据时是可行的，但在面对几百...

Sqlserver大数据量插入速度慢或丢失数据的解决方法

07-04

### Sqlserver大数据量插入速度慢或丢失数据的解决方法 #### 概述在处理大量数据插入SQL Server数据库的过程中，可能会遇到插入速度慢或者数据丢失的问题。这种情况通常出现在需要批量插入数千甚至上万条记录的...

1 条评论您还未登录，请先登录后发表或查看评论

SQL Server删除表及删除表中数据的方法

12-15

本文介绍SQL Server中如何删除表，如何删除表中的数据。在删除表数据时有delete和truncate两种方法，delete和truncate有什么区别呢？ SQL Server，我们现在基本上使用的最古老的版本应该是SQL Server 2000吧，应该没有更早的版本了吧？！从SQL Server 2000开始，到SQL Server 2005，2008，2012等，T-SQL的处理能力越来越强。今天我们就来说说如何使用T-SQL脚本来删除表，以及删除表中的数据。删除表和删除表数据这是两回事！删除表表示不管表中有没有数据，将该数据库表彻底抹去，不留下任何东西。而删除表数据，只是删除表

从MS SQL删除大数据说开去

MinSen

04-07

740

对于数据库中删除数据，你说要注意什么呢？代码怎样写？多数同学看到这两个问题，想都不想就说，就一个Delete语句，注意删除的条件不要删除错了就是，有什么好注意的！是的，可以我再问一下，删除动作是会写日志的，你放日志的磁盘够空间吗？本文的内容： 1. 我先举个实际的工作问题； 2. 整理T－SQL的删除数据的语句和写法； 3. 解决这个工作中的问题和效果总结。先举个我实际

SQL Server系列之删除大量数据

weixin_30507269的博客

04-27

739

一、写在前面 - 想说爱你不容易　　为了升级数据库至SQL Server 2008 R2，拿了一台现有的PC做测试，数据库从正式库Restore(3个数据库大小夸张地达到100G+)，而机器内存只有可怜的4G，不仅要承担DB Server角色，同时也要作为Web Server，可想而知这台机器的命运是及其惨烈的，只要MS SQL Server一启动，内存使用率立马飙升至99%。没办法，只能升内...

SQLServer编辑模式删除数据速度非常慢

kk791159796的专栏

10-21

3459

不要在SQLServer Management Studio的编辑界面大量删除数据，能用数量较少的sql搞定的删除操作就用较少的sql完成。比如：delete * from table1 where col1>100 类似的操作，如果在编辑模式下面使用shift选中大量数据，然后在右键弹出菜单中选择“删除”会导致界面卡住，并且非常耗时。个人猜测，使用shift选中，然后右键删除会生成大量sql

SQL Server 中，删除表数据有以下几种方式

活到老学到老

01-26

9091

请注意，使用 DELETE 和 TRUNCATE 语句删除表数据后，标识字段（如 ID）可能会被重新使用。这意味着如果你删除了一条数据并重新插入新数据，标识字段的值可能会与已删除的数据重复。而使用 DROP TABLE 语句删除表后，表将彻底从数据库中移除，所有数据和结构都将丢失。：TRUNCATE TABLE 语句会删除表中的所有数据，并且不会记录任何事务日志。DELETE 语句不会删除表本身，只会删除表中的数据。：DROP TABLE 语句将删除整个表，包括表的结构、索引、触发器等。

sql-server驱动包

03-07

String url = "jdbc:sqlserver://localhost:1433;databaseName=MyDatabase"; String username = "myUsername"; String password = "myPassword"; try (Connection conn = DriverManager.getConnection(url, ...

SQL 数据插入、删除 大数据

qq_36688928的博客

02-28

258

转自：https://www.cnblogs.com/lenovo_tiger_love/p/3719989.html 几种数据库的大数据批量插入:https://www.cnblogs.com/telwanggs/p/7485378.html SQL 数据插入、删除 大数据 --测试表 CREATE TABLE [dbo].[Employee] ( [EmployeeNo] I...

在 SQLSERVER 中快速有条件删除海量数据

09-11

最近有个朋友问我，他说他在SQLSERVER删除几百万到几千万数据是显的很慢，帮他分析了一下，提了一些以下意见，或许对很多人有用。

sqlserver 大数据量的insert、delete操作优化

weixin_33713503的博客

04-20

118

经常使用的语句！ --大批量导出orders表:insert DBCC DROPCLEANBUFFERS DBCC FREEPROCCACHE go SET NOCOUNT ON BEGIN TRANSACTION INSERT INTO test.dbo.orders with(tablock) SELECT * FROM bak.dbo.Orders WH...

在Sql server中海量数据删除方法

weixin_34363171的博客

05-02

220

在删除一个拥有将近2000万条记录的表时，用简单的delete操作，发现即使只是删除几万条数据都要很长的运行时间，可能的原因我猜想大概有：（1）每一条记录的delete操作都会在数据库日志中加以记录；（2）表上的索引重建也导致比较耗时的操作。在参考网上的一些建议之后，并根据实际情况：（1）确定要删除的数据并不打算做日志回滚；（2）通过减少数据量...

数据库中其中的一个表删除数据的时候特别慢

java_beckham的专栏

06-20

1000

表中一共只有2000多条数据，我的删除语句是delete from jx1114 where xnxqh='2011-2012-2' 这个删除只要删除80多条数据，但是却执行了将近3分钟的时间，这张表引用了其他一个表的主键作为外键。删除表记录非常慢有好几个原因： 1.机器性能问题，cpu被其他进程占用。这种方式最好解决，在进程管理器中关掉几个进程，释放出cpu用于处理删除记录操作...

SQLServer 索引碎片清理(数据量少执行很慢)

ningyingjun的专栏

07-13

2448

1.查找索引碎片大于50% SELECT OBJECT_NAME(IND.OBJECT_ID) AS TABLENAME ,IND.NAME AS INDEXNAME ,INDEXSTATS.INDEX_TYPE_DESC AS INDEXTYPE ,INDEXSTATS.AVG_FRAGMENTATION_IN_PERCENT FROM SYS.DM_DB_INDEX_PHYSICAL_STATS(DB_ID() ,NULL ,NULL

删除千万级数据量导致的慢查询优化

Mamba Out

04-13

495

删除千万级的数据，结果导致频繁的慢查询。线上收到大量慢查询告警，于是检查慢查询的SQL，发现不是啥复杂SQL，这些SQL主要针对一个表，基本都是单行查询，看起来应该不会有慢查询。这种SQL基本上都是直接根据索引查找出来的，性能应该极高。是否可能慢查询不是SQL问题，而是MySQL生产服务器的问题？特殊情况下，MySQL出现慢查询还真不是SQL问题，而是他自己生产服务器的负载太高，导致SQL语句执行慢。磁盘I/O 磁盘I/O负载高，每秒执行大量高负载的随机I/O，但磁盘本身每秒能执行的随机I/O

sqlServer慢sql问题的排查与解决和优化

qq_41827511的博客

06-05

4801

前一段时间，项目将要上线到现场时，发现开发服务器上的程序，查询开始变得越来越慢。今天对该类问题写个总结，已记录下来。

SQL SERVER在对大数据量表数据进行DELETE时易发“操作超时”

宁以至远

08-25

4262

使用的是SQL2000数据库，编写了一个C#的应用程序，其中一个功能就是清空指定表的全部数据，一个奇怪的现象直到今天才被发现，那就是当这个表的数据的容量非常大的时候，我遇到的情况是该表内包含5800条数据，但是数据的总容量大于3G，当程序调用SQL语句“DELETE FROM TABLE”时，再等待了20秒左右后，提示“数据库操作超时，ODBC执行超时”，然后我分别尝试删除其中的3000条

SqlServer 远程删除1000万数据需要多久？