解决update或delete时where查询的结果很庞大导致sql执行超时的问题

对于轻量级的更新,单一的update或delete可以很快处理,但如果where查出的结果达到百万甚至千万级别,这一条更新语句执行下去,估计程序连接超时是必不可免的了。

其实我们可以换个思路,将where查询的结果进行分页,然后我们程序循环调用这个sql,这样每次小量的更新会很迅速。程序不至于出现链接超时的情况。

这种方法有个前提,就是每次更新的内容必须影响where查询的记录,否则就是死循环

举个例子:我遇到的实际问题是将下架(status=2)的商品全部逻辑删除(status = 3),乍一看,一条sql (update prd set status = 3 where status = 2) 就搞定了,但是数据库实际下架的商品高达600W,程序直接这么做更新,铁定要废。

所以,我准备将操作防止线程中,用户点击,进入线程,线程去开分页进行更新。代码如下:

线程类



/**
 *
 * @author yanxh
 */
public class HandleHistoryExecutor implements Runnable {

    Logger log = LoggerFactory.getLogger(HandleHistoryKeywordsExecutor.class);

    private PrdBaseMapper prdBaseMapper;

    private DataSourceTransactionManager txManager;

    public HandleHistoryExecutor (PrdBaseMapper prdBaseMapper,
                                  DataSourceTransactionManager txManager) {
        this.prdBaseMapper = prdBaseMapper;
        this.txManager = txManager;
    }

    @Override
    public void run() {

        log.info("处理历史数据开始.......");
        long start = System.currentTimeMillis();
       
        while (true){
            // spring无法处理thread的事务,声明式事务无效
            DefaultTransactionDefinition def = new DefaultTransactionDefinition();
            def.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRED);
            def.setIsolationLevel(TransactionDefinition.ISOLATION_READ_COMMITTED);
            // 设置回滚点
            TransactionStatus rollbackPoint = txManager.getTransaction(def);
            try {
                 int recordMiddle = prdBaseMapper.handleHistory();
                 // 提交事务
                 txManager.commit(rollbackPoint);
                 if(recordMiddle == 0){
                      break;
                  }
             }catch (Exception e){
                  e.printStackTrace();
                  // 回滚事务
                  txManager.rollback(rollbackPoint);
             
        }
        long end = System.currentTimeMillis();
        log.info("处理历史数据结束,用时:"+((end-start)/1000)+"s.......");
    }
}

sql:

update prd_base set status = 3 where status =2 limit 5000;

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值