记一次优化JPA批量存储数据

最新推荐文章于 2024-06-17 14:53:59 发布

Tonels

最新推荐文章于 2024-06-17 14:53:59 发布

阅读量1w

点赞数

分类专栏： springsecurity SpringData JPA 文章标签： java

本文链接：https://blog.csdn.net/qq_42105629/article/details/103882154

版权

本文记录了一次针对JPA批量存储数据的优化过程。在处理500条Excel数据时，原本耗时40s，优化后显著提升了效率。问题主要出在SpringSecurity的一个对象上，而非JPA的save()或saveAll()。在批量插入时，注意Mysql服务端缓存配置、客户端连接配置，以及对象初始化和多线程异步操作，采取分批次批处理策略以提高性能。

摘要由CSDN通过智能技术生成

记一次优化JPA批量存储数据

写在前面

JPA中的批量存储方案，Save( )，或者saveAll( ),

一、优化细节

其实数据不大，excel 导入 500条数据，用了 40s，可能的原因

excel解析速度
集合操作（几种for循环的不同）
JPA的保存操作，save()和saveAll()

其实最后，试了很多次，这么都不是主要原因，而是SpringSecurity中一个对象

    // 这里密码部分若是放到循环里面，会大大消耗执行时间
        String encode = passwordEncoder.encode(Constants.USER_DEFAULT_PD);

        usersFromExcel.forEach(user -> {
   
            user.setPassword(encode);
            user.setDepartmentId(departmentNames.get(user.getDepartmentName().trim()));

            user.setCreateBy(currentUserLogin);
            user.setUpdateBy(currentUserLogin);
            user.setCreateTime(now)