Mybatis 批量操作方式

最新推荐文章于 2024-04-13 21:32:22 发布
最新推荐文章于 2024-04-13 21:32:22 发布
阅读量207 收藏
点赞数 1
文章标签： MyBatis 批量操作 性能测试 SQL ExecutorType.BATCH
原文链接：https://blog.csdn.net/qq_38011415/article/details/84928791
版权

批量新增
1.方式一（常用）
<!-- 批量新增-->
<insert id="batchSave" parameterType="java.util.List">
    INSERT INTO lp_user_test_batch
    (
    id,
    user_id,
    user_name,
    user_age,
    type,
    create_time,
    update_time
    )
    VALUES
    <foreach collection="list" item="item" index="index" separator=",">
        (
        #{item.id,jdbcType=BIGINT},
        #{item.userId,jdbcType=VARCHAR},
        #{item.userName,jdbcType=VARCHAR},
        #{item.userAge,jdbcType=INTEGER},
        #{item.type,jdbcType=INTEGER},
        #{item.createTime,jdbcType=TIMESTAMP},
        #{item.updateTime,jdbcType=TIMESTAMP}
        )
    </foreach>
</insert>


测试结果

数量    耗时
1000    1469ms
2000    2534ms
3000    2613ms
4000    3549ms
5000    4733ms
8000    5761ms
10000    6055ms
2.方式二
批量新增或更新方式
注：需要给唯一主键添加唯一索引，update才会生效

<!-- 批量新增或更新-->
<insert id="batchSaveOrUpdate" parameterType="java.util.List">
    INSERT INTO lp_user_test_batch
    (
    id,
    user_id,
    user_name,
    user_age,
    type,
    create_time,
    update_time
    )
    VALUES
    <foreach collection="list" item="item" index="index" separator=",">
        (
        #{item.id,jdbcType=BIGINT},
        #{item.userId,jdbcType=VARCHAR},
        #{item.userName,jdbcType=VARCHAR},
        #{item.userAge,jdbcType=INTEGER},
        #{item.type,jdbcType=INTEGER},
        #{item.createTime,jdbcType=TIMESTAMP},
        #{item.updateTime,jdbcType=TIMESTAMP}
        )
    </foreach>
    ON DUPLICATE KEY UPDATE
    user_name = VALUES(user_name),
    user_age = VALUES(user_age),
    type = VALUES(type),
    update_time = VALUES(update_time)
</insert>


测试结果

数量    耗时
1000    1692ms
2000    2346ms
3000    3249ms
4000    3443ms
5000    3999ms
8000    6460ms
10000    7053ms
3.方式三
单条sql+批量方式的SqlSession

<insert id="insert" >
    INSERT INTO lp_user_test_batch
    (
    id,
    user_id,
    user_name,
    user_age,
    type,
    create_time,
    update_time
    )
    values
    (
    #{id,jdbcType=BIGINT},
    #{userId,jdbcType=VARCHAR},
    #{userName,jdbcType=VARCHAR},
    #{userAge,jdbcType=INTEGER},
    #{type,jdbcType=INTEGER},
    #{createTime,jdbcType=TIMESTAMP},
    #{updateTime,jdbcType=TIMESTAMP}
    )
</insert>

@Resource(name = "sqlSessionFactory")
private SqlSessionFactory sqlSessionFactory;

/**
 * 利用 MyBatis 批处理特性，批量提交
 */
public void batchInsert(List<UserTestBatchDO> testBatchDAOList) {
    //集合非空
    if (CollectionUtils.isEmpty(testBatchDAOList)) {
        return;
    }
    //批处理方式 SqlSession
    SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
    //获得对应的Mapper
    UserTestBatchDOMapper userTestBatchDOMapper = sqlSession.getMapper(UserTestBatchDOMapper.class);
    try {
        for (UserTestBatchDO testBatchDO : testBatchDAOList) {
            userTestBatchDOMapper.insert(testBatchDO);
        }
        //统一提交
        sqlSession.commit();
    } catch (Exception e) {
        //没有提交的数据可以回滚
        sqlSession.rollback();
    } finally {
        //关闭 sqlSession
        sqlSession.close();
    }
}

测试结果

数量    耗时
1000    2174ms
2000    3104ms
3000    3801ms
4000    4991ms
5000    5930ms
8000    8151ms
10000    8252ms
批量修改
1.方式一
批量新增或更新方式
注：需要给唯一主键添加唯一索引，update才会生效

<!-- 批量新增或更新-->
<insert id="batchSaveOrUpdate" parameterType="java.util.List">
    INSERT INTO lp_user_test_batch
    (
    id,
    user_id,
    user_name,
    user_age,
    type,
    create_time,
    update_time
    )
    VALUES
    <foreach collection="list" item="item" index="index" separator=",">
        (
        #{item.id,jdbcType=BIGINT},
        #{item.userId,jdbcType=VARCHAR},
        #{item.userName,jdbcType=VARCHAR},
        #{item.userAge,jdbcType=INTEGER},
        #{item.type,jdbcType=INTEGER},
        #{item.createTime,jdbcType=TIMESTAMP},
        #{item.updateTime,jdbcType=TIMESTAMP}
        )
    </foreach>
    ON DUPLICATE KEY UPDATE
    user_name = VALUES(user_name),
    user_age = VALUES(user_age),
    type = VALUES(type),
    update_time = VALUES(update_time)
</insert>


测试结果
注：当前表内数据行数 10000

数量    耗时
1000    1505ms
2000    2617ms
3000    2922ms
4000    3292ms
5000    3443ms
8000    4832ms
10000    4886ms
优点：速度快
缺点：使用特殊语法 on duplicate key update 语法 增加sql难度性

2.方式二
单条sql+批量方式的SqlSession

<update id="updateByUserId" >
    UPDATE  lp_user_test_batch
    SET
    user_name = #{userName,jdbcType=VARCHAR},
    user_age = #{userAge,jdbcType=INTEGER},
    type = #{type,jdbcType=INTEGER},
    update_time = #{updateTime,jdbcType=TIMESTAMP}
    WHERE user_id = #{userId,jdbcType=VARCHAR}
</update>


@Resource(name = "sqlSessionFactory")
private SqlSessionFactory sqlSessionFactory;

/**
 * 利用 MyBatis 批处理特性，批量更新
 */
public void batchUpdate(List<UserTestBatchDO> testBatchDAOList) {
    //集合非空
    if (CollectionUtils.isEmpty(testBatchDAOList)) {
        return;
    }
    //批处理方式 SqlSession
    SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
    //获得对应的Mapper
    UserTestBatchDOMapper userTestBatchDOMapper = sqlSession.getMapper(UserTestBatchDOMapper.class);
    try {
        for (UserTestBatchDO testBatchDO : testBatchDAOList) {
            userTestBatchDOMapper.updateByUserId(testBatchDO);
        }
        //统一提交
        sqlSession.commit();
        //清理缓存，防止溢出
        sqlSession.clearCache();
    } catch (Exception e) {
        //没有提交的数据可以回滚
        sqlSession.rollback();
    } finally {
        //关闭 sqlSession
        sqlSession.close();
    }
}


测试结果
注：当前表内数据行数 10000

数量    耗时
1000    3158ms
2000    4324ms
3000    6466ms
4000    7572ms
5000    9812ms
8000    12846ms
10000    16088ms
优点：通过日志观察，生成一条执行语句sql ,多行参数，统一commit
缺点：比方式一速度略慢

3.方式三
java程序循环调用单条修改语句
执行方式：一条sql ,程序循环执行

for (UserTestBatchDO userTestBatch : testBatchDAOList) {
    userTestBatchDOMapper.updateByUserId(userTestBatch);
}
1
2
3
测试结果
注：当前表内数据行数 10000

数量    耗时
1000    33907ms
2000    42866ms
3000    89675ms
5000    ​104833ms
优点：方便单条控制提交事物
缺点：耗时，耗性能、每一次循环都需要与数据库交互一次

4.方式四
Mybatis foreach 循环
执行方式：拼接好一条sql,后执行

<!-- 接收list参数，循环着组装sql语句，注意for循环的写法
             separator=";" 代表着每次循环完，在sql后面放一个分号 -->
<update id="updateForeachByUserId" parameterType="java.util.List">
    <foreach collection="list" item="item" separator=";">
        UPDATE lp_user_test_batch
        SET
        user_name = #{item.userName,jdbcType=VARCHAR},
        user_age = #{item.userAge,jdbcType=INTEGER},
        type = #{item.type,jdbcType=INTEGER},
        update_time = #{item.updateTime,jdbcType=TIMESTAMP}
        WHERE user_id = #{item.userId,jdbcType=VARCHAR}
    </foreach>
</update>


测试结果
注：当前表内数据行数 10000

数量    耗时
1000    2671ms
2000    ​4170ms
3000    4514ms
4000    5152ms
5000    ​6572ms
8000    10209ms
10000    12158ms
优点：生成多条sql,统一执行，与数据库交互次数少
缺点 : 生成多条拼接的update语句,update语句比较多，量大了就有可能造成sql阻塞。

5.方式五
mybatis sql 使用 case when

<!-- 批量更新第二种方法，通过 case when语句变相的进行批量更新 -->
    <update id="updateCaseByUserId" parameterType="java.util.List">
        update lp_user_test_batch
        <trim prefix="set" suffixOverrides=",">

            <!-- 拼接case when 这是另一种写法 -->
            <trim prefix="user_name =case" suffix="end,">
                <foreach collection="list" item="item">
                    <if test="item.userName!=null">
                        when user_id = #{item.userId,jdbcType=VARCHAR} then #{item.userName,jdbcType=VARCHAR}
                    </if>
                </foreach>
            </trim>

            <trim prefix="user_age =case" suffix="end,">
                <foreach collection="list" item="item">
                    <if test="item.userAge!=null">
                        when user_id = #{item.userId,jdbcType=VARCHAR} then #{item.userAge,jdbcType=INTEGER}
                    </if>
                </foreach>
            </trim>

            <trim prefix="type =case" suffix="end,">
                <foreach collection="list" item="item">
                    <if test="item.type!=null">
                        when user_id = #{item.userId,jdbcType=VARCHAR} then #{item.type,jdbcType=INTEGER}
                    </if>
                </foreach>
            </trim>

            <trim prefix="update_time =case" suffix="end,">
                <foreach collection="list" item="item">
                    <if test="item.type!=null">
                        when user_id = #{item.userId,jdbcType=VARCHAR} then #{item.updateTime,jdbcType=TIMESTAMP}
                    </if>
                </foreach>
            </trim>
        </trim>
         <where>
            user_id in
            <foreach collection="list" index="index" item="item" separator="," open="(" close=")">
                #{item.userId,jdbcType=VARCHAR}
            </foreach>
        </where>
    </update>


测试结果
注：当前表内数据行数 10000

数量    耗时
1000    3201ms
2000    4804ms
3000    6833ms
4000    8554ms
5000    11688ms
8000    26501ms
10000    34724ms
缺点:
xml中的循环体有点多，每一个case when 都要循环一遍list集合，所以大批量拼sql的时候会比较慢。
生成多条拼接sql,sql长度过长，容易sql超长引起报错 Packet for query is too large。

MySQL 最大允许的 packet


Mybatis批处理介绍
Mybatis内置执行器类型ExecutorType有3种
分别是
ExecutorType.SIMPLE: 不做特殊处理，为每个语句的执行创建一个新的预处理语句。
ExecutorType.REUSE: 可以复用预处理语句。
ExecutorType.BATCH:可以批量执行所有更新语句

SIMPLE与BATCH（批量）对比
默认的是simple，该模式下它为每个语句的执行创建一个新的预处理语句，单条提交sql；
而batch模式重复使用已经预处理的语句，并且批量执行所有更新语句，显然batch性能将更优；但是批量模式无法返回自增主键

测试环境配置
系统：win 8.1
Mysql : 5.7
java环境：junit
 

xmh-sxh-1314
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MyBatis批量的详细操作
qf2019的博客
09-01 1178
在项目中遇到了需要批量操作数据表的情况，小编遇到的是更新操作。但在mybatis中批量操作有多种，因此在此对mybatis中的批量操作以及其注意点进行总结。 1.批量插入操作 批量插入，传入的是一个List对象的集合，因此在mapper文件中需要用循环的方式进行操作，具体格式如下： <insert id="insertBatch" parameterType="java.utils.List"> insert into tablename (xxx,xxx,xxx)
mybatis postgresql 批量删除操作方法
08-24
MyBatis PostgreSQL 批量删除操作方法 MyBatis 是一个基于 Java 的持久层框架，它提供了一个简单的方式来交互数据库。在本文中，我们将介绍如何使用 MyBatis 实现 PostgreSQL 批量删除操作。 PostgreSQL 简介 ...
Mybatis如何执行批量操作
zjjcchina的博客
01-14 3715
Mybatis常会出现批量操作，如批量查询，批量插入，批量修改(replace into)。批量操作要比循环执行效率提升很多，这里对mybatis的批量操作做一个总结讲解。 Foreach foreach：foreach的主要用在构建in条件中，它可以在SQL语句中进行迭代一个集合。foreach元素的属性主要有 item，index，collection，open，separator，close。它是批量操作的核心标签，下面都是foreach在不同场景的应用和写法。 List-string sel
Mybatis如何执行批量操作？
longzorg_cn的博客
12-09 1762
foreach元素的属性主要有 item，index，collection，open，separator，close。它是批量操作的核心标签，下面都是foreach在不同场景的应用和写法。Mybatis常会出现批量操作，如批量查询，批量插入，批量修改(replace into)。批量操作要比循环执行效率提升很多，这里对mybatis的批量操作做一个总结讲解。replace:会根据主键和唯一索引判断该记录是否存在，存在就删除在插入(修改)，不存在就插入(insert)。这是一个批量保存(插入或修改)的例子。
Mybatis 批量操作8种实现总结
热门推荐
程序员小强的博客
12-09 2万+
Mybatis 批量操作8种实现总结超全带实例
MyBatis批量插入(insert)数据操作
09-02
此外，对于支持批量操作的数据库（如MySQL），还可以利用数据库级别的批量插入API来进一步提升性能。 总的来说，MyBatis的批量插入功能结合了Java代码的灵活性和SQL的高效性，是处理大批量数据插入的理想选择。通过...
Mybatis批量修改的操作代码
08-29
Mybatis批量修改操作代码详解 Mybatis是一款流行的持久层框架，提供了批量修改操作的功能。本文将详细介绍Mybatis批量修改的操作代码，包括批量修改的基本语法、参数说明、trim标签的使用等。 一、基本语法 ...
Mybatis批量更新三种方式的实现
08-26
Mybatis批量更新三种方式的实现 Mybatis是一款流行的持久层框架，它提供了强大的数据库交互能力。其中，批量更新是一种常见的操作，能够提高数据库操作的效率。下面将介绍Mybatis批量更新三种方式的实现。 方式一...
MyBatis批量添加、修改和删除
09-02
MyBatis 是一个流行的 Java ...开发者可以根据实际需求选择合适的批量操作方式，并通过编写 SQL 映射文件来定制操作逻辑。注意，批量操作虽然高效，但也可能带来并发控制和数据一致性的挑战，因此在使用时需谨慎处理。
mybatis执行批量更新batch update 的方法（oracle,mysql两种）
08-31
主要介绍了mybatis执行批量更新batch update 的方法，提供oracle和mysql两种方法，非常不错，需要的朋友参考下
MyBatis执行批量操作
奔跑的小豪吖的博客
06-21 6224
Mybatis常会出现批量操作，如批量查询，批量插入，批量修改(replace into)。批量操作要比循环执行效率提升很多，这里对mybatis的批量操作做一个总结讲解。 foreach的主要用在构建in条件中，它可以在SQL语句中进行迭代一个集合。foreach标签的属性主要有item，index，collection，open，separator，close。在使用foreach的时候最关键的也是最容易出错的就是collection属性，该属性是必须指定的，但是在不同情况下，该属性的值是不一样的，主要
Mybatis的批量操作
qq_38409944的博客
09-09 237
为什么不用sql拼接呢 ？ 因为sql拼接的长度是有限的 超过了就会爆 而批量处理可以理解为无数。 我就用·同一组数据的插入操作·来直观展示两者差距吧。 非批处理： DEBUG 09-06 12:01:23,746 ==&amp;gt; Parameters: null, a22a4c(String), 1(String), 2(Integer) (BaseJdbcLogger.java:1...
Mybatis批量操作
接需求（Java）,各个平台都同名，欢迎搜索关注
02-08 293
1:新增 首先，Mysql插入一条记录返回主键对Mybatis版本要求低，而批量插入返回带主键的，需要升级到3.3.1 以及以上的版本。​ 1.1：Mysql 上图需要注意加入useGeneratedKeys="true" keyProperty="主键字段"。 1.2：Oracle Oracle 批量插入不支持返回主键，具体怎样操作才可以批量返回主键，后面章节专门讲（欢迎关注微信公众号：程序员xiaozhang）。本章节主要讲数据库的批量操作。 2：更新 上面图中的更新方法Ora
在mybatis中进行批量操作
程序员的天堂
04-08 476
1、批量删除 &lt;delete id="deleteCollect" parameterType="Map"&gt; delete from FIN_PRODUCT_COLLECT where fin_product_id in &lt;foreach collection="finProductIds" item="item" index="index" o
Mybatis-批量操作
qq_33879443的博客
05-26 175
1
mybatis批量操作三种方法
baojunhu999的专栏
03-14 214
mybatis批量操作三种方法 一：批量更新某一个字段(数组或者map作为参数) update table set parentID= #{parentID} where SUA_TransItemID in #{item} 二:批量新增或者批量修改(固定字段，不带条件，foreach...
MyBatis批量插入的五种方式
最新发布
qq_45525848的博客
04-13 7245
MyBatis批量插入的五种方式
mybatis各种批量操作(优秀摘录)
m0_59176231的博客
03-20 452
是扩展运算符，是es6的新语法for：简单、可以通过索引访问或者修改原数组while、do while：循环条件确定，和java一样for in：可以遍历对象出对象的属性和属性值。for of：既可以遍历列表也可以遍历对象。可以拿到列表的索引和值，也可以拿到对象的属性和属性值forEach：省内存，但是不能使用for寻找中的break。可以拿到数组的索引和元素。可以获取对象中的属性值。注意：forEach会改变原来数组中的值。forEach方法没有返回值，一般用于直接修改原数组；
mybatis批量操作底层原理
07-27
在MyBatis中，批量操作是指在一次数据库连接中执行多个SQL语句，以减少与数据库的交互次数，提高性能。 MyBatis的批量操作底层原理如下： 1. SQL语句的积累：在批量操作之前，MyBatis会将多个SQL语句积累到一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值