做了一个导入的功能,然后根据Excel中的数据更新库里的数据,一共六千多条。并不是很大量。
一开始使用mybatis-plus自带的batchUpdateById方法更新,默认三十条数据一提交,后来改为500条一提交,用时四十多秒
if (updateEmp.size() > 0){
this.updateBatchById(updateEmp);
}
然后改为多线程批量提交,用时四十毫秒,差距何止十倍
if (updateEmp.size() > 0){
logger.debug("===========================================>更新开始:"+System.currentTimeMillis());
//多线程批量更新
//将集合分成多个小份
List<List<Employee>> split = ListSplitUtil.split(updateEmp, 30);
ExecutorService executorService = Executors.newFixedThreadPool(3);
for (List<Employee> employeeList : split) {
executorService.submit(() -> {
this.updateBatchById(employeeList);
});
}
logger.debug("===========================================>更新结束:"+System.currentTimeMillis());
}
打印结果
共更新:6057条
2021-02-03 16:06:03,460 ===========================================>更新开始:1612339563460
2021-02-03 16:06:03,500 ===========================================>更新结束:1612339563500
2021-02-03 16:06:03,502 (EmployeeServiceImpl.java:431)- 未更新:0条
package com.snmy.cs.utils;
import com.google.common.collect.Lists;
import org.apache.commons.collections.CollectionUtils;
import java.util.List;
public class ListSplitUtil {
/**
* 拆分集合
*
* @param <T> 泛型对象
* @param resList 需要拆分的集合
* @param subListLength 每个子集合的元素个数
* @return 返回拆分后的各个集合组成的列表
* 代码里面用到了guava和common的结合工具类
**/
public static <T> List<List<T>> split(List<T> resList, int subListLength) {
if (CollectionUtils.isEmpty(resList) || subListLength <= 0) {
return Lists.newArrayList();
}
List<List<T>> ret = Lists.newArrayList();
int size = resList.size();
if (size <= subListLength) {
// 数据量不足 subListLength 指定的大小
ret.add(resList);
} else {
int pre = size / subListLength;
int last = size % subListLength;
// 前面pre个集合,每个大小都是 subListLength 个元素
for (int i = 0; i < pre; i++) {
List<T> itemList = Lists.newArrayList();
for (int j = 0; j < subListLength; j++) {
itemList.add(resList.get(i * subListLength + j));
}
ret.add(itemList);
}
// last的进行处理
if (last > 0) {
List<T> itemList = Lists.newArrayList();
for (int i = 0; i < last; i++) {
itemList.add(resList.get(pre * subListLength + i));
}
ret.add(itemList);
}
}
return ret;
}
}
emmm,我也不知道这么写对不对,反正也是试验品。