MyBatis 批量插入大批量数据
场景:导入excel表格,读取数据,再批量插入数据库
service关键代码如下
传入List集合,直接插入数据
bindCardInsertLogMapper.batchInsertHzjjBindCodeLog(list);
XML
<insert id="batchInsertHzjjBindCodeLog">
INSERT INTO hzjj_batch_bind_code_log (id_card,yt_no,redeem_code,card_no,password,name,batch_id,ip,course_id) VALUES
<foreach collection="list" item="log" separator=",">
(#{log.idCard},#{log.ytNo},#{log.redeemCode},#{log.cardNo},#{log.password},#{log.name},#{log.batchId},#{log.ip},#{log.courseId})
</foreach>
</insert>
刚开始调用接口没有什么问题一切正常,后来一次导入300条数据直接报错:
传入的表格格式数据流(TDS)远程过程调用(RPC)协议流不正确。此 RPC 请求中提供了过多的参数。最多应为 2100
查阅资料才发现原来Mybatis调用SQL SERVER的时候,不管插入还有查询修改等操作,参数是有限制的**,当参数长度超过2100就会报此错误。**
解决办法:
多个线程批量插入数据,本来1000条数据,启动10个线程,每个线程插入100条就OK。
解决以后代码如下:
//因为我这边数据不会很多,所以线程池就直接使用CachedThreadPool,没有自定义一个线程池。
ExecutorService executorService = Executors.newCachedThreadPool();
//num 数据被分为多少批可以发送完
//100 每个线程批量插入100个
int num=list.size()/100;
if(list.size()%100>=0){
num=num+1;
}
// lastIndex 截取结束坐标
int lastIndex=0;
for (int i=0;i<num;i++){
if(100*(i+1)>list.size()){
lastIndex=list.size();
}else{
lastIndex= 100*(i+1);
}
//多线程批量添加
executorService.submit(new BatchInsertHzjjCodeThread(list.subList(i*100,lastIndex),bindCardInsertLogMapper));
}
//关闭线程池,拒绝接收任务
executorService.shutdown();
while (true){
//任务是否结束 进行下一步操作
if(executorService.isTerminated()){
bindCardInsertLogMapper.batchBindHzjjCode(batchId);
break;
}
}
然后再次导入表格就可以正常添加