sqlserver删除千万级数据

公司包装站刷机台很卡,查了一下,有个表数据量很大。天真的因为把这个表删掉点就会好点。
所以准备在产线吃午饭的时候开干,以为50分钟九年解决。刚开始想法是delete from table。然后再建索引。天真的以为很快。然后刚开始删,快二十分钟还没反应,眼看他们快吃完饭回来,赶紧取消delete。然后跑去产线看看,产线反馈说刷得很卡。估计和我删数据有很大的关系;
没办法,只能等他们晚上下班了再搞。因为产线领导说夜班不刷包装。
为了以防万一,还是在自己电脑上面先做测试把。先把生产数据导入到自己电脑里面。发现这个单向同步不影响事务。同步结束后,把这个表成为表1.再把表1复制一份变成表2.拿表2 做测试。为了还原真实的生产环境,将表2和生产数据库里面的表设置成差不多。也建了一个索引。
刚开始删除借鉴了别人的写法。

	declare @onecount int
set @onecount=15000
print getdate()
while 1=1
begin
     delete top(@onecount) from SfcdatPackageDetail where PackageID in (select Fguid from SfcdatPackage where len(box)>0 and Createtime <GETDATE()-50) ;
     IF (@@rowcount<@onecount) BREAK;
	 print getdate()
end

查了一下,删除的很慢。想了一下,把索引删了再删,发现速度有很大的提升。然后开始测试把@onecount设置成多少才能达到速度最快。应该是1.5万的速度最快。这个数据仅供参考。最后删了半个小时才删完。删完后发现这个表数据还是比较大。然后又对表进行压缩。压缩完再建索引。这个全部测试完花了1个小时。总体还能接受;
晚上等产线下班了,开始删表;
1.先备份数据到 SfcdatPackageDetail_back
select * into SfcdatPackageDetail_back from SfcdatPackageDetail
2.备份三个索引名称,截图备份;建索引的时候可以考虑到用线程比较快。
python USE [MES40] GO /****** Object: Index [PK_SfcdatPackageDetail] Script Date: 2020/3/16 19:52:40 ******/ ALTER TABLE [dbo].[SfcdatPackageDetail] ADD CONSTRAINT [PK_SfcdatPackageDetail] PRIMARY KEY CLUSTERED ( [Fguid] ASC )WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, SORT_IN_TEMPDB = OFF, IGNORE_DUP_KEY = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] GO
3.使用sqlserver语句删除索引;
4.开始压缩表空间–作用很大
USE [MES40]
ALTER TABLE [dbo].[SfcdatPackageDetail] REBUILD PARTITION = ALL
WITH
(DATA_COMPRESSION = NONE,MAXDOP = 6)
5.开始删表 删表的实际情况是越删越慢,没有查到是什么原因;
declare @onecount int
set @onecount=15000
print getdate()
while 1=1
begin
delete top(@onecount) from SfcdatPackageDetail where PackageID in (select Fguid from SfcdatPackage where len(box)>0 and Createtime <GETDATE()-50) ;
IF (@@rowcount<@onecount) BREAK;
print getdate()
end
7.删完以后开始压缩表,也可以使用线程:

	USE [MES40]
	ALTER TABLE [dbo].[SfcdatPackageDetail] REBUILD PARTITION = ALL
	WITH 
	(DATA_COMPRESSION = NONE,MAXDOP = 6)
8.压缩完了开始建索引,速度很快。

整个过程在1.2个小时作用,做完以后发现刷包装还是那么慢。
哎,又是太天真了。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值