MyBatis 批量插入大批量数据 数据过多问题

MyBatis 批量插入大批量数据
场景:导入excel表格,读取数据,再批量插入数据库
service关键代码如下
传入List集合,直接插入数据

bindCardInsertLogMapper.batchInsertHzjjBindCodeLog(list);

XML

    <insert id="batchInsertHzjjBindCodeLog">
        INSERT INTO hzjj_batch_bind_code_log  (id_card,yt_no,redeem_code,card_no,password,name,batch_id,ip,course_id) VALUES
        <foreach collection="list" item="log" separator=",">
            (#{log.idCard},#{log.ytNo},#{log.redeemCode},#{log.cardNo},#{log.password},#{log.name},#{log.batchId},#{log.ip},#{log.courseId})
        </foreach>
    </insert>

刚开始调用接口没有什么问题一切正常,后来一次导入300条数据直接报错:
传入的表格格式数据流(TDS)远程过程调用(RPC)协议流不正确。此 RPC 请求中提供了过多的参数。最多应为 2100
查阅资料才发现原来Mybatis调用SQL SERVER的时候,不管插入还有查询修改等操作,参数是有限制的**,当参数长度超过2100就会报此错误。**
解决办法:
多个线程批量插入数据,本来1000条数据,启动10个线程,每个线程插入100条就OK。
解决以后代码如下:

					//因为我这边数据不会很多,所以线程池就直接使用CachedThreadPool,没有自定义一个线程池。
					ExecutorService executorService = Executors.newCachedThreadPool();
					//num 数据被分为多少批可以发送完
                    //100 每个线程批量插入100个
                    int num=list.size()/100;
                    if(list.size()%100>=0){
                        num=num+1;
                    }
                    // lastIndex 截取结束坐标
                    int lastIndex=0;
                    for (int i=0;i<num;i++){
                        if(100*(i+1)>list.size()){
                            lastIndex=list.size();
                        }else{
                            lastIndex= 100*(i+1);
                        }
                        //多线程批量添加
                        executorService.submit(new BatchInsertHzjjCodeThread(list.subList(i*100,lastIndex),bindCardInsertLogMapper));
                    }
                    //关闭线程池,拒绝接收任务
                    executorService.shutdown();
                    while (true){
                        //任务是否结束 进行下一步操作
                        if(executorService.isTerminated()){
                            bindCardInsertLogMapper.batchBindHzjjCode(batchId);
                            break;
                        }
                    }

然后再次导入表格就可以正常添加

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值