大批量数据分批批量插入或更新(Mybatis+MySQL)

大批量数据分批批量插入或更新

在MySQL数据库的前提下,插入或更新大批量数据。首先批量插入需要考虑到以下几个因素:

  1. 数据库一次可以承受多大或者多少条数据的插入
  2. 批量插入是否会占用Mysql资源太久,影响系统整体使用性能
  3. 代码中的集合是否会造成内存不足

一、MySql性能考虑

1.1计算插入一条数据需要的空间

以下是mysql各个数据类型的占用的字节,可在菜鸟教程-MySQL查看各个分类的具体字节。
数值类型
数值类型
注意定长和变长数据类型,将所有数据加起来。假设一条数据需要的字节是100。

1.2查看MySQL参数

查看MySQL一次最大能插入多少

show variables like '%max_allowed_packet%';

查询
1073741824/1024/1024=1024M,1M是10241024/100=10485.76,约等于10000条。那么1024M可插入102410000=1024W条。

1.3MySQL执行时间

链接耗时 (30%)
发送query到服务器 (20%)
解析query (20%)
插入操作 (10% * 词条数目)
插入index (10% * Index的数目)
关闭链接 (10%)
可以看出最耗时的是链接。其次是解析。所以插入或更新时尽量采用批量的方式

二、代码实现分批批量查询

2.1Mybatis的xml实现批量sql

直接贴代码,使用DUPLICATE KEY UPDATE是,在设置主键或者唯一键字段的前提下,存在则更新、不存在则插入。这是MySQL中的使用方法

<insert id="saveOrUpdateSlaStandardsRat">
        INSERT INTO sla_standards_rat(date_time,area_name,ec_code,ec_name,belong_trade,apn_name,standards_rat,order_type,create_time)
        VALUES
        <foreach collection="list" index="index" item="item" separator=",">
            (#{item.dateTime},#{item.city},#{item.ecCode},#{item.ecName},#{item.industry},#{item.apnName},#{item.rat},#{item.orderType},now())
        </foreach>
        ON DUPLICATE KEY UPDATE ec_name = values(ec_name), belong_trade=values(belong_trade),area_name=values(area_name),standards_rat=values(standards_rat),update_time=now()
</insert>

2.2分批插入

MAX_NUMBER为自行定义分批的大小。

    private static final Integer MAX_NUMBER = 2000;

    @Override
    public void test() {
        log.info("-----------------开始同步数据--------------------");
        List<SrsfulirmsResourceGprs> resourceGprs = srsfulirmsResourceOssMapper.getSrsfulirmsResourceGprss();
        //分割
        if (!CollectionUtils.isEmpty(resourceGprs)){
            int limit = countStep(resourceGprs.size());
            List<List<SrsfulirmsResourceGprs>> mglist1 = new ArrayList<>();
            Stream.iterate(0, n -> n + 1).limit(limit).forEach(i -> {
                mglist1.add(resourceGprs.stream().skip(i * MAX_NUMBER).limit(MAX_NUMBER).collect(Collectors.toList()));
            });
            for (List<SrsfulirmsResourceGprs> myList:mglist1){
                int row1 = srsfulirmsResourceMysqlMapper.saveOrUpdateSrsfulirmsResourceGprss(myList);
                log.info("---------------------同步数据row1:"+row1+"------------------------");
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }
    }

   
    private static Integer countStep(Integer size) {
        return (size + MAX_NUMBER - 1) / MAX_NUMBER;
    }

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值