MyBatis的五种批量插入

已于 2023-03-11 10:24:26 修改
阅读量4.7k 收藏 5
点赞数
分类专栏： mybatis 文章标签： mybatis java mysql
于 2023-01-04 00:09:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43189971/article/details/128539918
版权

一.直接循环插入

@RestController
@RequestMapping("/mybatis3/user")
@RequiredArgsConstructor
public class UserController {

    private final IUserService iUserService;

    @GetMapping("/one")
    public Long one(){
       return iUserService.add();
    }
}


  Long add();


@Service
@RequiredArgsConstructor
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {

    private final UserMapper userMapper;

    @Override
    public Long add() {

        long start = System.currentTimeMillis();
        for (int i = 0; i < 10000; i++) {
            User user = new User();
            user.setUsername("name"+i);
            user.setPassword("password"+i);
            userMapper.insertUsers(user);
        }
        long end = System.currentTimeMillis();
        System.out.println("耗时："+( end - start ) + "ms");
        return (end-start);
    }
    }



 Integer insertUsers(User user);

 <insert id="insertUsers" >
        insert into user(username,password)
        values (#{username}, #{password})
    </insert>

最终耗时：14s多
在这里插入图片描述

二.关闭MySql自动提交，手动进行循环插入提交

@RestController
@RequestMapping("/mybatis3/user")
@RequiredArgsConstructor
public class UserController {

    private final IUserService iUserService;

        @GetMapping("/one")
    public Long one(){
       return iUserService.add();
    }
}


 Long add2();


@Service
@RequiredArgsConstructor
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {

    private final UserMapper userMapper;

//    手动开启sql的批量提交
    private final   SqlSessionTemplate sqlSessionTemplate;

    @Override
    public Long add2(){
        //关闭自动提交
        SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
        UserMapper mapper = sqlSession.getMapper(UserMapper.class);
        long start = System.currentTimeMillis();
        for (int i = 0; i < 10000; i++) {
            User user = new User();
            user.setUsername("name"+i);
            user.setPassword("password"+i);
            mapper.insertUsers(user);
        }
        //自动提交SQL
        sqlSession.commit();
        long end = System.currentTimeMillis();
        System.out.println("耗时："+( end - start ) + "ms");
        return (end-start);
    }
    }

平均：0.12s
在这里插入图片描述

第三种：用List集合的方式插入数据库（推荐）

@RestController
@RequestMapping("/mybatis3/user")
@RequiredArgsConstructor
public class UserController {

    private final IUserService iUserService;

       @GetMapping("/one3")
    public Long one3(){
        return iUserService.add3();
    }
}


  Long add3();


@Service
@RequiredArgsConstructor
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {

    private final UserMapper userMapper;

  @Override
    public Long add3(){
        long start = System.currentTimeMillis();
        List<User> userList = new ArrayList<>();
        User user;
        for (int i = 0; i < 10000; i++) {
            user = new User();
            user.setUsername("name"+i);
            user.setPassword("password"+i);
            userList.add(user);
        }
        userMapper.insertUsersThree(userList);
        long end = System.currentTimeMillis();
        System.out.println("耗时："+( end - start ) + "ms");
        return (end-start);
    }
    }


 Integer insertUsersThree(List<User> userList);
 

<insert id="insertUsersThree">
        insert into user(username,password)
        values
        <foreach collection="userList" item="user" separator=",">
            (#{user.username},#{user.password})
        </foreach>
    </insert>

第四种: MyBatis-Plus提供的SaveBatch方法

@RestController
@RequestMapping("/mybatis3/user")
@RequiredArgsConstructor
public class UserController {

    private final IUserService iUserService;

@GetMapping("/one4")
    public Long one4(){
        return iUserService.add4();
    }
}


  Long add4();


@Service
@RequiredArgsConstructor
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements IUserService {

    private final UserMapper userMapper;

@Override
    public Long add4() {
        long start = System.currentTimeMillis();

        List<User> userList= new ArrayList<>();
        User user ;
        for (int i = 0; i < 10000; i++) {
            user = new User();
            user.setUsername("name"+i);
            user.setPassword("password"+i);
            userList.add(user);
        }

        saveBatch(userList);
        long end = System.currentTimeMillis();
        System.out.println("耗时："+( end - start ) + "ms");
        return (end-start);
    }
    }

直接报错：
在这里插入图片描述
看报错信息：
长串：Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.dao.DataIntegrityViolationException: com.huang.mybatis3.mapper.UserMapper.insert (batch index #1) failed. Cause: java.sql.BatchUpdateException: Data truncation: Out of range value for column ‘id’ at row 1
; Data truncation: Out of range value for column ‘id’ at row 1; nested exception is java.sql.BatchUpdateException: Data truncation: Out of range value for column ‘id’ at row 1] with root cause

短串：Data truncation: Out of range value for column ‘id’ at row 1

翻译一下：
在这里插入图片描述
可以发现就是我们的id超出范围：
在这里插入图片描述
int类型改为bigint即可

故此我们可以得出一个结论：设置数据库id的时候设置为bigint还是蛮好的哈

平均时间：0.2s
在这里插入图片描述

第五种 MyBatis-Plus提供的InsertBatchSomeColumn方法（推荐）

InsertBatchSomeColumn方法了解

在这里插入图片描述
这个类的注解就写的很明白

扩展这个InsertBatchSomeColumn方法
@Slf4j
public class EasySqlInjector extends DefaultSqlInjector {

    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass, TableInfo tableInfo) {
        // 注意：此SQL注入器继承了DefaultSqlInjector(默认注入器)，调用了DefaultSqlInjector的getMethodList方法，保留了mybatis-plus的自带方法
        List<AbstractMethod> methodList = super.getMethodList(mapperClass, tableInfo);
        methodList.add(new InsertBatchSomeColumn(i -> i.getFieldFill() != FieldFill.UPDATE));
        log.info("扩展的getMethodList方法被框架调用了");
        return methodList;
    }
}
扩展的方法注入bean容器
/**
 * @author Stone
 * @date 2023/1/3
 * @apiNote
 */
@Configuration
public class MybatisPlusConfig {
    @Bean
    public  EasySqlInjector sqlInjector(){
        return new EasySqlInjector();
    }
}
创建一个Mapper去实现我们的扩展的飞方法
public interface EasySqlInjectMapper<T> extends BaseMapper<T> {
    /**
     * 批量插入 仅适用于mysql
     *
     * @param entityList 实体列表
     * @return 影响行数
     */
    Integer insertBatchSomeColumn(Collection<T> entityList);
}

业务层


 @Override
    public Long add5() {
        long start = System.currentTimeMillis();

        List<User> userList= new ArrayList<>();
        User user ;
        for (int i = 0; i < 10000; i++) {
            user = new User();
            user.setUsername("name"+i);
            user.setPassword("password"+i);
            userList.add(user);
        }

        userMapper.insertBatchSomeColumn(userList);
        long end = System.currentTimeMillis();
        System.out.println("耗时："+( end - start ) + "ms");
        return (end-start);
    }

耗时： 0.2 s
在这里插入图片描述

谁是黄黄
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mybatis-plus---的批量插入
second_place_zyj的博客
04-20 1万+
丝滑的批量操作，我选它insertBatchSomeColumn
Mybatis批量新增
dashen110的博客
01-25 6773
文章目录前言一、For each标签1、Mapper.xml2、Mapper.interface3、controller.class4、运行结果二、基于Session的Executor Type方式1.Mappler.xml2、在controller调用3、运行结果总结 前言 批量插入的使用背景现实中应该会用到很多很多，但哪种方式效率才是最高的呢？以下内容仅代表个人观点。不喜勿喷 mybatis的批量新增有两种方式，mybatis的foreach标签，基于Session的Executor T.
SpringBoot+MyBatis批量插入数据的三种方式
pscool的博客
06-12 1903
在开发过程中，我们经常会遇到往数据库表中插入大量数据的场景，比如excel批量导入数据。那么该如何快速地插入数据呢？我们可以考虑使用批量插入来实现，实测100000条数据添加，后附具体实现代码。用一个 for 循环，把数据一条一条地插入。/*** 第一种方案，用 for语句循环插入 10万 条数据*/i < count;i++) {user.setName("方案1测试" + i);user.setGender("男");user.setUsername("方案1测试");
MyBatis批量插入数据
chenzhou123520的专栏
07-10 6022
在程序中封装了一个List集合对象，然后需要把该集合中的实体插入到数据库中，由于项目使用了Spring+MyBatis的配置，所以打算使用MyBatis批量插入，由于之前没用过批量插入，在网上找了一些资料后最终实现了，把详细过程贴出来。   实体类TrainRecord结构如下：   public class TrainRecord implements Serializable { ...
Mybatis批量插入数据
詹Sir的博客
10-10 6788
开源字节使用MyBatis foreach标签方式优雅的实现了材料的出入库
Mybatis批量插入
热门推荐
qq_43486404的博客
09-01 3万+
使用Mybatis框架批量插入的3种方法：多次调用insert方法、foreach标签、batch模式。每插入一条数据都调用一次insert方法，这种方法适用于数据量小时使用，频繁使用会浪费数据库资源。适用于少量数据插入，每次使用都要调用数据库连接，频繁使用会浪费资源，效率低。使用foreach可以减少数据库连接的调用，效率比inser高。当数据特别多时效率比foreach标签高。一、 多次调用insert方法。二、 foreach标签。2）foreach标签。三、 batch模式。............
mybatis中批量插入的两种方式(高效插入)
09-01
本文将深入探讨MyBatis中实现批量插入的两种高效方式。 ### 1. MyBatis `foreach` 标签 `foreach` 是MyBatis中用于在SQL语句中迭代集合的标签，特别适合构建`IN`条件。`foreach` 元素的属性包括： - `item`: 集合...
Mybatis数据批量插入如何实现
08-18
Mybatis是一种流行的持久层框架，它提供了多种方式来实现数据批量插入。本文将详细介绍如何使用Mybatis实现数据批量插入。 使用foreach标签实现批量插入 在Mybatis中，可以使用foreach标签来实现数据批量插入。...
mybatis插入与批量插入返回ID的原理详解
08-25
二、MyBatis批量插入返回ID的原理 MyBatis也提供了批量插入的功能，可以一次性插入多条数据。批量插入返回ID的原理与单个插入相同，但是需要使用`<batch>`标签来指定批量插入的SQL语句。 在批量插入时，MyBatis会...
spring中使用mybatis实现批量插入的示例代码
08-19
本文将详细介绍 Spring 中使用 MyBatis 实现批量插入的示例代码，主要分为三种实现方式：foreach、Spring 事务、ExecutorType.BATCH。 二、foreach 方式 foreach 方式实际是对 SQL 语句进行拼接，生成一个长长的 ...
Mybatis 3+Mysql 实现批量插入
08-19
通过foreach实现ibatis的批量插入
mybatis批量添加
07-12
mybatis批量添加的时候报错总结报错 parameter'_frch_item_0 not found
MyBatis批量插入(insert)数据操作
09-02
在MyBatis中，批量插入数据是一种提高性能的有效方式，特别是在处理大量数据时。本文将详细介绍如何在MyBatis中实现批量插入，并通过一个具体的示例来说明。批量插入操作通常涉及以下关键步骤： 1. **实体类定义**...
mybatis批量新增系列之表的批量新增初探
HelloWorld
08-03 3881
开发项目中，总是与数据打交道，有的时候将数据放入到一个集合中，然后在遍历集合一条一条的插入，感觉效率超不好，最近又碰到这个问题，插入50条数据用了将近1s，完全满足不了系统的需求.效率必须加快，然后网上查询资料，历经千万bug，终于搞定，这里指提供mybatis中的配置，至于dao层的调用mybatis就自己上网查询下资料吧 1根据网上搜了一下资料，在sql-mapper.xml文件中写了如下配
mybatis的批量插入
m0_55045698的博客
08-19 1461
看网上知道了有大概三种方法优势：JDBC 中的 PreparedStatement 有预编译功能，预编译之后会缓存起来。之后SQL执行会比较快，且 JDBC可以开启批处理，这个批处理执行非常给力。劣势：这种方式插入大量数据时，效率非常底下，不推荐。很多时候我们的 SQL 服务器和应用服务器可能并不是同一台，所以必须要考虑网络 IO。如果网络 IO 比较费时间的话，那么可能会拖慢 SQL 执行的速度。
MyBatis 批量插入数据的 3 种方法！
程序员高级码农的博客
01-22 3928
本文我们介绍了 MyBatis 批量插入的 3 种方法，其中循环单次插入的性能最低，也是最不可取的；使用 MyBatis 拼接原生 SQL 一次性插入的方法性能最高，但此方法可能会导致程序执行报错（触发了数据库最大执行 SQL 大小的限制），所以综合以上情况，可以考虑使用 MP 的批量插入功能。
达梦使用mybatis-plus批量插入
最新发布
07-18
达梦数据库(DAMO)结合MyBatis Plus进行批量插入操作相对直观，MyBatis Plus提供了一种简便的方式来简化数据的增删改查操作。以下是批量插入的基本步骤： 1. 首先，确保你已经创建了一个实体类（Entity），这个类需要继承自`BaseEntity`或`GlobalConfiguration`, MyBatis Plus会自动识别它作为表对应的映射。 ```java public class User extends GlobalConfiguration { private String name; private int age; // getters and setters } ``` 2. 使用`BatchInsert`方法来批量插入数据。这个方法通常在Repository接口或者Service层中调用，传递一个List<User>类型的参数。 ```java @Autowired private UserMapper userMapper; List<User> userList = new ArrayList<>(); // 添加一些User对象到userList... // 批量插入 userMapper.batchInsert(userList); ``` 3. `batchInsert`方法内部会对每个实体的数据分别构造SQL语句并执行，从而实现了批量插入。这种方式比手动循环执行insert速度快得多，并且减少了数据库连接次数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值