多线程批量更新数据

做了一个导入的功能,然后根据Excel中的数据更新库里的数据,一共六千多条。并不是很大量。
一开始使用mybatis-plus自带的batchUpdateById方法更新,默认三十条数据一提交,后来改为500条一提交,用时四十多秒

if (updateEmp.size() > 0){
	this.updateBatchById(updateEmp);
}

然后改为多线程批量提交,用时四十毫秒,差距何止十倍

if (updateEmp.size() > 0){
			logger.debug("===========================================>更新开始:"+System.currentTimeMillis());

			//多线程批量更新

			//将集合分成多个小份
			List<List<Employee>> split = ListSplitUtil.split(updateEmp, 30);

			ExecutorService executorService = Executors.newFixedThreadPool(3);

			for (List<Employee> employeeList : split) {

				executorService.submit(() -> {
					this.updateBatchById(employeeList);
				});
			}

			logger.debug("===========================================>更新结束:"+System.currentTimeMillis());
		}

打印结果
共更新:6057条
2021-02-03 16:06:03,460 ===========================================>更新开始:1612339563460
2021-02-03 16:06:03,500 ===========================================>更新结束:1612339563500
2021-02-03 16:06:03,502 (EmployeeServiceImpl.java:431)- 未更新:0条

package com.snmy.cs.utils;


import com.google.common.collect.Lists;
import org.apache.commons.collections.CollectionUtils;

import java.util.List;

public class ListSplitUtil {

    /**
     * 拆分集合
     *
     * @param <T> 泛型对象
     * @param resList 需要拆分的集合
     * @param subListLength 每个子集合的元素个数
     * @return 返回拆分后的各个集合组成的列表
     * 代码里面用到了guava和common的结合工具类
     **/
    public static <T> List<List<T>> split(List<T> resList, int subListLength) {
        if (CollectionUtils.isEmpty(resList) || subListLength <= 0) {
            return Lists.newArrayList();
        }
        List<List<T>> ret = Lists.newArrayList();
        int size = resList.size();
        if (size <= subListLength) {
            // 数据量不足 subListLength 指定的大小
            ret.add(resList);
        } else {
            int pre = size / subListLength;
            int last = size % subListLength;
            // 前面pre个集合,每个大小都是 subListLength 个元素
            for (int i = 0; i < pre; i++) {
                List<T> itemList = Lists.newArrayList();
                for (int j = 0; j < subListLength; j++) {
                    itemList.add(resList.get(i * subListLength + j));
                }
                ret.add(itemList);
            }
            // last的进行处理
            if (last > 0) {
                List<T> itemList = Lists.newArrayList();
                for (int i = 0; i < last; i++) {
                    itemList.add(resList.get(pre * subListLength + i));
                }
                ret.add(itemList);
            }
        }
        return ret;
    }
}


emmm,我也不知道这么写对不对,反正也是试验品。

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值