mybatis快速更新大量数据

场景:工作中需要通过另一个表算出某字段的和,再更新其关联表的某个字段。数量量约700万,验收环境,2G内存。

方案一(不建议使用):通过分页查询(也可以org.apache.ibatis.session.ResultHandler的流操作平滑的通过流一条条查出数据,挺快的),再通过外键查到相关的数据在内存分组求和,更新列表的字段值,然后用java8流操作foreach挨个update(实体),耗时约6个小时。(其实际等价于一条一条的执行写好的sql执行,期间还有线程切换,IO等待,本需求一轮更新需要访问pageNum+2次数据库等)

方案二(推荐):同样通过分页查询,再通过外键查到相关的数据在内存分组求和,更新列表的字段值,然后选择一次性传到mybatis中,利用foreach批量更新。(其实际等价于如我们写好了1000条sql到命令台直接enter确认执行,本需求一轮更新只需要访问3次数据库)耗时只需要20分钟

所以:更快的更新的方案是:在理解业务背景下,尽量分批取出数据(需考虑内存是否溢出,选择合适的单批处理数),若有计算尽量查出来在内存执行,最后选择扔给mybatis,foreach批量更新/新建,相当于批量构建sql。

这里举一个mybatis的批量更新(新建同理)如下:


数据库连接必须配置:&allowMultiQueries=true

/**
 * 批量更新
 * @param list list
 */
void initUpdateBatch(@Param("list") List<Student> list);

<update id="initUpdateBatch" parameterType="list" >
    <foreach collection="list" item="item" index="index" open="" close=";" separator=";">
        update student_table set points= #{item.points}
        where id = #{item.id}
    </foreach>
</update>
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值