笔者使用了redis的key/value方式在redis里面维护了一个批量导入的进度情况,
value是一个json,里面维护了当前批量任务的进度,由于需要原子的更新任务进度,需要对value的修改使用到事务。首先想到的使用watch exec的方式。代码实现如下
/**
* 保存导入详情结果 Description: <br>
*
* @author bestree<br>
* @taskId <br>
* @param item 导入单个详情 <br>
*/
public void saveImportItem(BatchImportItem item) {
redisTemplate.execute(new SessionCallback<Object>() {
@Override
@SuppressWarnings({
"unchecked", "rawtypes"
})
public Object execute(RedisOperations operations) {
String custId = taskMetadata.getCustId();
String redisKey = "xx:batchImport:" + custId;
List<Boolean> result = new ArrayList<>();
do {
// watch某个key,当该key被其它客户端改变时,则会中断当前的操作
operations.watch(redisKey);
String importTaskStatusJsonStr = (String) operations.opsForValue().get(redisKey);
if (!StringUtils.isEmpty(importTaskStatusJsonStr)) {
ImportTaskProgressReq importTaskProgressReq = JSONObject.parseObject(importTaskStatusJsonStr,
ImportTaskProgressReq.class);
int processedNum = importTaskProgressReq.getProcessed() + 1;
int failNum = importTaskProgressReq.getFail();
if (!item.isSuccess()) {
failNum = failNum + 1;
importTaskProgressReq.setFail(failNum);
}
importTaskProgressReq.setProcessed(processedNum);
importTaskProgressReq.setUpdateTime(DateUtils.getNowDateTime());
LOGGER.info("update batch process, processed:{} fail:{}", processedNum, failNum);
// 开始事务
operations.multi();
operations.opsForValue().set(redisKey, JSONObject.toJSONString(importTaskProgressReq));
try {
// 提交事务
result = operations.exec();
} catch (Exception e) {
// 如果key被改变,提交事务时这里会报异常
LOGGER.info("saveImportItem exec exception", e);
}
} else {
break;
}
} while (CollectionUtils.isEmpty(result));
return null;
}
});
redisTemplate.boundSetOps("xx:batchImportDetails:" + item.getBatchId()).add(JSONObject.toJSONString(item));
}
在测试环境使用redis集群的情况下,发现计数存在问题。查看日志发现
Watch is currently not supported in cluster mode
看到日志后意识到redis集群模式下不支持事务。
由于上线比较紧急,考虑到批量任务的执行在实现时是分配到某个JVM实例中运行。结合实际情况,暂时采用了Java里面的加锁的方式对redis的某个key进行更新。