大数据量删除算法

开门见山,直接进入主题,数据量在百万级已下,可以不看下边内容。

起因:

  某客户今年上了U9不久,随着业务量的增加,每日业务达2000多单据。由于客户操作业务有误,把业务做到了2018年底,之后才发现输入有误。在U9系统中,为了报表或是查询数据方便,随着业务的增减会按期间自动产生一些统计数据(至少18*12个期间的数据)两千万条数据,经过分析,客户不存在提前做业务场景,这些数据在系统中也就成了冗余数据,这数据占正常业务数据的90%。而随着业务的发生,自动按期间往后去更新各期间数据,每次更新的时候,数据库会自动优化锁,由行锁升级成页锁,再升级为表锁。表锁后这样可能导致数据操作等待排队现象。多业务操作,系统无法运行。这样就引出了,要删除这90%多的数据问题。

 

抽象:

  删除数据本应该是一个再简单不过的操作,在SQL中,我们可以用如下脚本:

1Delete From AA Where Period>100

 

  其实,应该区分应用场景

  •   如果需要删除的数据占全部数据的80%以上,而且数据量在百万级以上,那么就得考虑删除效率问题了。
    • 先把可用数据迁移到其它地方,如:
      代码
       
             
      <!--

      Code highlighting produced by Actipro CodeHighlighter (freeware)
      http://www.CodeHighlighter.com/

      --&gt If OBJECT_ID ( ' InvTrans_AccountPeriodLine_Temp ' ) is not null
      Drop Table InvTrans_AccountPeriodLine_Temp
      Select * into InvTrans_AccountPeriodLine_Temp From InvTrans_AccountPeriodLine Where AccountPeriod <= @AccountPeriod

       

    • 然后,删除原表所有数据:
       
            
      <!--

      Code highlighting produced by Actipro CodeHighlighter (freeware)
      http://www.CodeHighlighter.com/

      --&gt Truncate table InvTrans_AccountPeriodLine

       

    • 最后,把刚才迁移的数据迁移回来:
       
            
      <!--

      Code highlighting produced by Actipro CodeHighlighter (freeware)
      http://www.CodeHighlighter.com/

      --&gt Insert Into InvTrans_AccountPeriodLineBin Select * From InvTrans_AccountPeriodLineBin_Temp

       

  • 如果数据量小的话,那么直接用Delete 脚本就可以搞定。

以上,是一点点建议,是否还有更合理的算法。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16436858/viewspace-680679/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/16436858/viewspace-680679/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值