java批量新增时数据库中已存在的数据不新增解决方案

文章描述了在项目过程中处理第三方推送的报警数据时,为避免重复插入报警总表,提出了多种策略。首先尝试通过Java代码进行数据比较,然后考虑SQL的OR条件过滤,但由于性能问题放弃。接着提出使用MD5加密组合键进行存储和检查,但未验证。最终采用Redis存储拼接后的键值,通过Redis的键是否存在判断是否新增数据,并在删除时同步清理Redis中的键。
摘要由CSDN通过智能技术生成

场景:项目过程, 会从第三方推送过来很多报警数据,需要存到报警的总表里面。
表结构:报警总表Event,category事件类型,type报警类型,code报警对象编号
需求:往报警总表批量插入数据时,可能会有重复的数据,假如当天的数据里面category事件类型,type报警类型,code报警对象编号全部相同的话,则不新增到数据库

 @Override
    @Transactional(rollbackFor = Exception.class)
    public void saveTEvents(List<Events> eventList) {
          QueryWrapper<TEvents> queryWrapper = new QueryWrapper<>();
        queryWrapper.apply("to_char(CREATE_TIME,'yyyy-MM-dd')=to_char('" + DateUtil.today() + "','yyyy-MM-dd')");
         List<TEvents> list =this.list(queryWrapper);
        //差集,数据库状态为0,1的不新增
        List<Events> events = eventList.stream().distinct().filter(item ->
                list.stream().allMatch(each ->
                        !item.getCode().equals(each.getCode())
                                || !item.getCategory().equals(each.getCategory())
                                || !item.getType().equals(each.getType())
                )).map(item -> {
            return item;
        }).collect(Collectors.toList());
        if (CollUtil.isNotEmpty(events)) {
        saveBatch(events)
        }
        }

这是我最开始的想法,数据批量新增的时候,先将今日数据库中今日新增的数据查询出来,然后把数据库中的数据跟新增的数据做比较,然后再新增。

后来review代码的时候,技术经理让我把这一串的判断,放到sql中,
也就是把新增的list放到or条件遍历如下:
where ((type=#{type} and category=#{category} and code in (X,X,X,X)) or () )

后来经过讨论,这种方式还是不太好,or条件太多,十分的损耗性能,此方法弃用

另一种办法,将日期跟category事件类型,type报警类型,code报警编号拼接,然后使用md5加密进行存储,新增时根据md5判断数据库是否存在。(据说可行,之前用过,我没有去证实过)

最后是采用存到redis中,将日期,category事件类型,type报警类型,code报警对象编号拼接,然后将拼接的字符串作为key跟value进行存储,过期时间设置的24小时(考虑到性能问题设置没有全部设置当天0点过期),每次新增时都会去redis中判断key是否存在,存在则不新增。删除的话根据key删除。

   List<Events> addList = new ArrayList<>();
   String key =
                    DateUtil.today() + "-" + tEvents.getType()
                    + "-" + tEvents.getCategory() + "-" + tEvents.getCode();
            Boolean keyExists = redisTemplate.opsForValue().setIfAbsent(key, key, 24, TimeUnit.HOURS);
            if (keyExists) {
            //省略
           // addList.add(对象)
            }
               if (CollUtil.isNotEmpty(addList)) {
 saveBatch(addList)
}



//删除时直接根据id查询到对象,然后用对象的值再生成key删除redis

以上是工作中遇到实际问题,如有不足或更好方案欢迎大佬补充

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值