Mybatis批处理数据插入(rewriteBatchedStatements参数)

目录

一、rewriteBatchedStatements参数

二、批量插入信息

2.1普通saveBatch批量插入

2.2设置rewriteBatchedStatements=true批量插入后


 

一、rewriteBatchedStatements参数

1、MySQL JDBC驱动在默认情况下会无视executeBatch()【也就是说JDBC默认情况下,会将你的语句分拆成单个,一条一条发给数据库执行,数据量小时感知不大,1w或10w以上差距越来越大】

2、MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。【只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL,另外这个选项对INSERT/UPDATE/DELETE都有效】

添加rewriteBatchedStatements=true这个参数后的执行速度比较:

二、批量插入信息

2.1普通saveBatch批量插入

我们循环1万次,把每个对象装到员工集合(List)中,然后调用Mybatis-Plus的saveBatch方法,传入List集合,实现批量插入,然后我们在方法开始结束的地方,计算当前函数执行时长。

@PostMapping("/addBath")
@ResponseBody
public CommonResult<Employee> addBath(){
    long startTime = System.currentTimeMillis();
    List<Employee> list = new ArrayList<>();
    // 循环批量添加1万条数据
    for (int i = 0; i < 10000; i++) {
        Employee employee = new Employee();
        employee.setName("测试"+i);
        employee.setAge(20);
        employee.setSalary(9000D);
        employee.setDepartmentId(i);
        list.add(employee);
    }
    boolean batch = employeeService.saveBatch(list);
    if(batch){
        long endTime = System.currentTimeMillis();
        System.out.println("函数执行时间:" + (endTime - startTime) + "ms");
        return CommonResult.success();
    }
    return CommonResult.error();
}

在这里插入图片描述

批量添加1万条数据,测试结果如下:

第一次:(2秒多)
在这里插入图片描述
第二次:(接近2秒)
在这里插入图片描述
第三次:(接近2秒)
在这里插入图片描述
差不多添加1万条数据在2秒左右,这个时候我们加大量10万条,再测试:
在这里插入图片描述
批量添加10万条员工数据,测试结果如下:

第一次:(19.341 秒)
在这里插入图片描述
第二次:(18.298 秒)
在这里插入图片描述
以上为摘录出品,不过结果却是真实的,确实是这样。不过我在循环插入6w多条数据时基本都会在执行executeBatch时卡住,程序也不报错就是没反应,基本第一次遇到这种情况的会懵掉,常识来说很难排查,因为没有报错日志...

2.2设置rewriteBatchedStatements=true批量插入后

190W条数据导入,执行时间206秒还可以接受了。

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Mybatis提供了批量插入的功能,可以大大提高插入数据的效率。 首先,在Mapper.xml文件中,需要定义一个插入语句,例如: ``` <insert id="batchInsert" parameterType="java.util.List"> INSERT INTO table_name (column1, column2, ...) VALUES <foreach collection="list" item="item" separator=","> (#{item.column1}, #{item.column2}, ...) </foreach> </insert> ``` 其中,list是传入的参数,item是list中的每个元素,separator表示每个元素之间的分隔符。 接着,在Java代码中,可以通过SqlSession的batch方法来批量插入数据,例如: ``` List<MyObject> list = new ArrayList<MyObject>(); // 添加数据到list中 ... SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH); MyMapper myMapper = sqlSession.getMapper(MyMapper.class); myMapper.batchInsert(list); sqlSession.commit(); sqlSession.close(); ``` 其中,MyObject是要插入数据对象,MyMapper是Mapper接口,batchInsert是Mapper接口中定义的方法。需要注意的是,SqlSession要使用ExecutorType.BATCH模式,才能实现批量插入的效果。最后,需要手动提交事务和关闭SqlSession。 这样,就可以使用Mybatis进行批量插入了。 ### 回答2: MyBatis提供了批量插入的方法来优化插入大量数据的性能。以下是使用MyBatis进行批量插入的步骤: 1. 首先,在MyBatis的映射文件中定义一个批量插入的SQL语句。例如: ```xml <insert id="insertBatch" parameterType="java.util.List"> INSERT INTO my_table (column1, column2) VALUES <foreach collection="list" item="item" separator=","> (#{item.column1}, #{item.column2}) </foreach> </insert> ``` 其中,`list`是一个Java集合,包含了要插入数据。 2. 在Java代码中,调用Mapper接口的批量插入方法。例如: ```java List<MyObject> objects = new ArrayList<>(); // 添加要插入数据到objects集合中 mapper.insertBatch(objects); ``` 其中,`MyObject`是一个Java对象,对应插入数据表。 3. 在配置文件中添加批量插入的设置。例如: ```xml <settings> <setting name="jdbc.batch.size" value="100"/> </settings> ``` 上述设置中的`jdbc.batch.size`表示每次批量插入的记录数,可以根据实际情况进行调整。 通过以上步骤,我们可以使用MyBatis的批量插入来提高插入大量数据的效率。在内部,MyBatis会将批量插入的SQL语句优化成一条带有多个参数的SQL语句,并使用JDBC的`PreparedStatement`对象来执行批量插入操作。这样可以减少与数据库的交互次数,提高性能。 ### 回答3: Mybatis批量插入是指在一次数据库操作中,同时插入多条数据。通过批量插入,可以有效地提高数据库的写入效率,减少数据库操作的次数。 在Mybatis中,我们可以使用foreach标签来实现批量插入。首先,我们需要准备一个List或数组来存储需要插入数据,然后通过foreach标签将数据逐条插入。 具体步骤如下: 1. 在Mapper.xml文件中,编写插入语句,如INSERT INTO table_name(column1, column2...) VALUES(#{item.property1}, #{item.property2}...)。 2. 在插入语句的前面使用foreach标签,并设置collection属性为需要插入数据集合的名称,item属性为集合元素的别名,如<foreach collection="list" item="item">。 3. 在foreach标签中,编写需要插入数据的属性值,如#{item.property1},#{item.property2}等。 4. 在Java代码中,创建一个包含需要插入数据的List或数组。 5. 调用Mybatis插入方法,将数据集合作为参数传入。 通过以上步骤,我们就可以实现Mybatis的批量插入功能了。需要注意的是,在插入大量数据时,要根据数据库和服务器的性能,合理设置批量插入的大小,以免出现内存溢出等问题。 总之,Mybatis的批量插入是一种高效的数据库写入方式,能够帮助我们快速插入大量数据,提高系统的性能和效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值