记一次对接第三方数据，存入数据库后清洗数据，数据重复

wit_cx

已于 2024-04-17 09:49:50 修改

阅读量230

点赞数 3

文章标签：数据库 java

于 2024-04-17 09:48:51 首次发布

本文链接：https://blog.csdn.net/wit_cx/article/details/137857328

版权

一现象：

对接第三方数据，先全量存入数据库，然后进行跑批清洗，在清洗过程中发现每次都有不同条数的数据重复。

二根本原因：

就是数据库中有的重复的字段条数存在空格，有的没有。

        QueryWrapper<DDeviceType> queryWrapper = new QueryWrapper<>();
        queryWrapper.eq("protocol_type",zhttVhc.getTerminalModel());
        if(StringUtils.isNotBlank(zhttVhc.getEquipmentmodel())) {
            queryWrapper.eq("device_model", zhttVhc.getEquipmentmodel());
        }else {
            queryWrapper.isNull("device_model");
        }
        DDeviceType dDeviceType = dDeviceTypeMapper.selectOne(queryWrapper);
        if (Objects.isNull(dDeviceType)) {
            deviceType.setProtocolType(zhttVhc.getTerminalModel());
            if (StringUtils.isNotBlank(zhttVhc.getEquipmentmodel())) {
                deviceType.setDeviceModel(zhttVhc.getEquipmentmodel().trim());
            }
            deviceType.setCommunicationModel(zhttVhc.getCommunicationMode());
            deviceType.setLocationModel(zhttVhc.getPositionMode());
            deviceType.setCreatetime(now);
            deviceType.setUpdateTime(now);

三解决办法：

之前是有发现数据存在空格，当时只是把插入时候去掉了空格，通过查询并插入时，查询没有去空格判断。

解决一是：queryWrapper.eq("device_model", zhttVhc.getEquipmentmodel().trim()); 查询这一行也加入去空格。

解决二是（根本办法）：在存入数据时，就去掉所有空格。