MyBatis+MySQL批量UPDATE的三种实现方式

背景

    通常情况下,我们会遇到批量处理数据,对数据update的操作,如果数据量较大时在内存中进行for循环update,非常损耗性能,此时会尝试在数据库中对updateBatch操作。下面介绍三种批量修改的方法。

实现方式

foreach标签实现

批量更新第一种方法,通过接收传进来的参数list进行循环着组装sql
该方法必须在db链接url后面带一个参数 &allowMultiQueries=true

<update id="updateBatch" parameterType="java.util.List" >
        <foreach collection="list" item="item" index="index" open="" close="" separator=";">
            update standard_relation
            <set >
                <if test="item.standardFromUuid != null" >
                    standard_from_uuid = #{item.standardFromUuid,jdbcType=VARCHAR},
                </if>
                <if test="item.standardToUuid != null" >
                    standard_to_uuid = #{item.standardToUuid,jdbcType=VARCHAR},
                </if>
                <if test="item.gmtModified != null" >
                    gmt_modified = #{item.gmtModified,jdbcType=TIMESTAMP},
                </if>
            </set>
            where id = #{item.id,jdbcType=BIGINT}
        </foreach>
</update>

trim 标签实现

批量更新第二种方法,通过 case when语句变相的进行批量更新

<update id="updateBatch" parameterType="java.util.List" >
        update standard_relation
        <trim prefix="set" suffixOverrides=",">
            <trim prefix="standard_from_uuid =case" suffix="end,">
                <foreach collection="list" item="i" index="index">
                    <if test="i.standardFromUuid!=null">
                        when id=#{i.id} then #{i.standardFromUuid}
                    </if>
                </foreach>
            </trim>
            <trim prefix="standard_to_uuid =case" suffix="end,">
                <foreach collection="list" item="i" index="index">
                    <if test="i.standardToUuid!=null">
                        when id=#{i.id} then #{i.standardToUuid}
                    </if>
                </foreach>
            </trim>
            <trim prefix="gmt_modified =case" suffix="end,">
                <foreach collection="list" item="i" index="index">
                    <if test="i.gmtModified!=null">
                        when id=#{i.id} then #{i.gmtModified}
                    </if>
                </foreach>
            </trim>
        </trim>
        where
        <foreach collection="list" separator="or" item="i" index="index" >
            id=#{i.id}
        </foreach>
</update>

ON DUPLICATE KEY UPDATE实现

ON DUPLICATE KEY UPDATE 只是MySQL的特有语法,并不是SQL标准语法
该方法修改原则是:数据库已有该数据则修改,没数据则新增。注意:该方法只能做增量修改,不能删除数据
数据有没有的判断是主键和唯一键(具体需要根据业务去定)
公司一般都禁止使用replace into和INSERT INTO … ON DUPLICATE KEY UPDATE,这种sql有可能会造成数据丢失和主从上表的自增id值不一致。
ON DUPLICATE KEY UPDATE 修改时一定要加上id,而且values()括号里面放的是数据库字段,不是java对象的属性字段

<insert id="updateBatch" parameterType="java.util.List">
        insert into standard_relation(id,relation_type, standard_from_uuid,
        standard_to_uuid, relation_score, stat,
        last_process_id, is_deleted, gmt_created,
        gmt_modified,relation_desc)VALUES
        <foreach collection="list" item="item" index="index" separator=",">
            (#{item.id,jdbcType=BIGINT},#{item.relationType,jdbcType=VARCHAR}, #{item.standardFromUuid,jdbcType=VARCHAR},
            #{item.standardToUuid,jdbcType=VARCHAR}, #{item.relationScore,jdbcType=DECIMAL}, #{item.stat,jdbcType=TINYINT},
            #{item.lastProcessId,jdbcType=BIGINT}, #{item.isDeleted,jdbcType=TINYINT}, #{item.gmtCreated,jdbcType=TIMESTAMP},
            #{item.gmtModified,jdbcType=TIMESTAMP},#{item.relationDesc,jdbcType=VARCHAR})
        </foreach>
        ON DUPLICATE KEY UPDATE
        id=VALUES(id),relation_type = VALUES(relation_type),standard_from_uuid = VALUES(standard_from_uuid),standard_to_uuid = VALUES(standard_to_uuid),
        relation_score = VALUES(relation_score),stat = VALUES(stat),last_process_id = VALUES(last_process_id),
        is_deleted = VALUES(is_deleted),gmt_created = VALUES(gmt_created),
        gmt_modified = VALUES(gmt_modified),relation_desc = VALUES(relation_desc)
</insert>

性能对比

     下面对数据批量处理,观察一下效率!

在这里插入图片描述

技术选型

    损耗是不变的,性能优化不过是资源的调配。下面对三种方式进行分析

  1. foreach标签实现
        sql语句for循环效率其实相当高的,因为它仅仅有一个循环体,只不过最后update语句比较多,量大了就有可能造成sql阻塞。
  2. trim 标签实现
        case when虽然最后只会有一条更新语句,但是xml中的循环体有点多,每一个case when 都要循环一遍list集合,所以大批量拼sql的时候会比较慢,所以效率问题严重。使用的时候建议分批插入。
  3. ON DUPLICATE KEY UPDATE实现
        利用数据库自带排他锁进行操作,加锁批量处理,同时进行修改和新增操作,虽然效率高,但是数据异常概率也大。慎重考虑

脱离业务的架构都是耍流氓,技术选型适合的就是最好的

ON DUPLICATE KEY UPDATE实现原理

  • 尝试插入新数据到数据库表中,如果插入成功则直接返回插入的列。

  • 如果由于主键或唯一索引出现重复而造成插入失败的话,则先数据库表中已存在的出现冲突的数据行加上共享锁,然后将该数据返回数据库服务器中。

  • 数据库服务器在内存中对改行数据执行on duplicate key update 后的update语句。 然后对该行数据加上排它锁。

  • 最后将内存中update后的数据写入改行,全部执行完毕

ON DUPLICATE KEY UPDATE实现原理图

实现原理图

点关注,不迷路,更多精彩关注微信公众号

在这里插入图片描述

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值