对于轻量级的更新,单一的update或delete可以很快处理,但如果where查出的结果达到百万甚至千万级别,这一条更新语句执行下去,估计程序连接超时是必不可免的了。
其实我们可以换个思路,将where查询的结果进行分页,然后我们程序循环调用这个sql,这样每次小量的更新会很迅速。程序不至于出现链接超时的情况。
这种方法有个前提,就是每次更新的内容必须影响where查询的记录,否则就是死循环
举个例子:我遇到的实际问题是将下架(status=2)的商品全部逻辑删除(status = 3),乍一看,一条sql (update prd set status = 3 where status = 2) 就搞定了,但是数据库实际下架的商品高达600W,程序直接这么做更新,铁定要废。
所以,我准备将操作防止线程中,用户点击,进入线程,线程去开分页进行更新。代码如下:
线程类
/**
*
* @author yanxh
*/
public class HandleHistoryExecutor implements Runnable {
Logger log = LoggerFactory.getLogger(HandleHistoryKeywordsExecutor.class);
private PrdBaseMapper prdBaseMapper;
private DataSourceTransactionManager txManager;
public HandleHistoryExecutor (PrdBaseMapper prdBaseMapper,
DataSourceTransactionManager txManager) {
this.prdBaseMapper = prdBaseMapper;
this.txManager = txManager;
}
@Override
public void run() {
log.info("处理历史数据开始.......");
long start = System.currentTimeMillis();
while (true){
// spring无法处理thread的事务,声明式事务无效
DefaultTransactionDefinition def = new DefaultTransactionDefinition();
def.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRED);
def.setIsolationLevel(TransactionDefinition.ISOLATION_READ_COMMITTED);
// 设置回滚点
TransactionStatus rollbackPoint = txManager.getTransaction(def);
try {
int recordMiddle = prdBaseMapper.handleHistory();
// 提交事务
txManager.commit(rollbackPoint);
if(recordMiddle == 0){
break;
}
}catch (Exception e){
e.printStackTrace();
// 回滚事务
txManager.rollback(rollbackPoint);
}
long end = System.currentTimeMillis();
log.info("处理历史数据结束,用时:"+((end-start)/1000)+"s.......");
}
}
sql:
update prd_base set status = 3 where status =2 limit 5000;