java数据库大量数据同步处理方法记录

勉之~

已于 2022-08-23 17:22:50 修改

阅读量4k

点赞数

分类专栏： Java开发技术要点文章标签： java 数据库大量数据 redis

于 2022-08-23 17:18:17 首次发布

本文链接：https://blog.csdn.net/hcyxsh/article/details/126488966

版权

Java开发技术要点专栏收录该内容

24 篇文章 1 订阅

订阅专栏

本文介绍了如何处理Java中大量数据同步保存到数据库的优化方法，通过使用Redis缓存进行数据暂存，然后分段批量读取并插入数据库，以减少I/O交互和提高效率。在实践中，首先将数据放入Redis，接着分批读取500条数据进行批量保存，最后清除缓存，确保高效且稳定地完成数据保存。

摘要由CSDN通过智能技术生成

java数据库大量数据同步保存处理方法

一场景

当有大量数据需要保存到数据库时，此时若是一条一条的保存，将会多次进行I/O交互，而且大量数据还会让数据库崩溃，这个时候就需要进行优化处理。

二实现

一实现思路（redis缓存+分段批量插入）

第一步：将需要保存到数据库中的数据放到缓存中
第二步：从缓存中分段读取数据，进行批量保存
第三步：删除缓存中的数据

二实现代码

//第一步: 将大量数据放入缓存中
   listCacheSvc.rightPush(CacheKey.SYNC_ID.append("test"), dataObj);
//第二步：分段读取缓存并进行批量保存到数据库中
        long orgStartSize = 0;
        boolean hasOrgData = true;
        if (listCacheSvc.hasKey(CacheKey.SYNC_ID.append("test"))) {
            while (hasOrgData) {
                long orgEndSize = orgStartSize + 499;
                List<Object> orgJsonList = listCacheSvc.range(CacheKey.SYNC_ID.append("test"), orgStartSize, orgEndSize);
                orgStartSize += 501;
                if (CollectionUtils.isEmpty(orgJsonList)) {
                    hasOrgData = false;
                    continue;
                }
                if (!CollectionUtils.isEmpty(orgJsonList)) {
                    log.debug("保存组织架构数据-----开始");
                    insertDbOrgBatch(orgJsonList);
                    log.debug("保存组织架构数据----结束");
                }

            }
            //第三步：清空缓存
        listCacheSvc.del(CacheKey.SYNC_ID.append("test"));
    public List<HrGroupEntity> insertOrgList(List<HrGroupEntity> list) {
        List<HrGroupEntity> result = new ArrayList<>();
        int insertLength = list.size();
        int i = 0;
        while (insertLength > 1000) {
            List<HrGroupEntity> orgEntityList = hrGroupRepo.saveAll(list.subList(i, i + 1000));
            result.addAll(orgEntityList);
            i = i + 1000;
            insertLength = insertLength - 1000;
        }
        if (insertLength > 0) {
            List<HrGroupEntity> orgEntityList = hrGroupRepo.saveAll(list.subList(i, i + insertLength));
            result.addAll(orgEntityList);
        }
        return result;
    }