场景:项目过程, 会从第三方推送过来很多报警数据,需要存到报警的总表里面。
表结构:报警总表Event,category事件类型,type报警类型,code报警对象编号
需求:往报警总表批量插入数据时,可能会有重复的数据,假如当天的数据里面category事件类型,type报警类型,code报警对象编号全部相同的话,则不新增到数据库
@Override
@Transactional(rollbackFor = Exception.class)
public void saveTEvents(List<Events> eventList) {
QueryWrapper<TEvents> queryWrapper = new QueryWrapper<>();
queryWrapper.apply("to_char(CREATE_TIME,'yyyy-MM-dd')=to_char('" + DateUtil.today() + "','yyyy-MM-dd')");
List<TEvents> list =this.list(queryWrapper);
//差集,数据库状态为0,1的不新增
List<Events> events = eventList.stream().distinct().filter(item ->
list.stream().allMatch(each ->
!item.getCode().equals(each.getCode())
|| !item.getCategory().equals(each.getCategory())
|| !item.getType().equals(each.getType())
)).map(item -> {
return item;
}).collect(Collectors.toList());
if (CollUtil.isNotEmpty(events)) {
saveBatch(events)
}
}
这是我最开始的想法,数据批量新增的时候,先将今日数据库中今日新增的数据查询出来,然后把数据库中的数据跟新增的数据做比较,然后再新增。
后来review代码的时候,技术经理让我把这一串的判断,放到sql中,
也就是把新增的list放到or条件遍历如下:
where ((type=#{type} and category=#{category} and code in (X,X,X,X)) or () )
后来经过讨论,这种方式还是不太好,or条件太多,十分的损耗性能,此方法弃用
另一种办法,将日期跟category事件类型,type报警类型,code报警编号拼接,然后使用md5加密进行存储,新增时根据md5判断数据库是否存在。(据说可行,之前用过,我没有去证实过)
最后是采用存到redis中,将日期,category事件类型,type报警类型,code报警对象编号拼接,然后将拼接的字符串作为key跟value进行存储,过期时间设置的24小时(考虑到性能问题设置没有全部设置当天0点过期),每次新增时都会去redis中判断key是否存在,存在则不新增。删除的话根据key删除。
List<Events> addList = new ArrayList<>();
String key =
DateUtil.today() + "-" + tEvents.getType()
+ "-" + tEvents.getCategory() + "-" + tEvents.getCode();
Boolean keyExists = redisTemplate.opsForValue().setIfAbsent(key, key, 24, TimeUnit.HOURS);
if (keyExists) {
//省略
// addList.add(对象)
}
if (CollUtil.isNotEmpty(addList)) {
saveBatch(addList)
}
//删除时直接根据id查询到对象,然后用对象的值再生成key删除redis
以上是工作中遇到实际问题,如有不足或更好方案欢迎大佬补充