如何将2万条数据快速导入到Mysql数据中，java多线程批量拆分List导入数据库

简述：
前两天接到了一个需求，简单来说就是接口会进入2w多条记录，然后会存入到数据库中。刚开始的时候非常慢，导入2w条数据需要很久，后来一点一点的优化，从直接把list怼进Mysql中，到分配把list导入Mysql中，到多线程把list导入Mysql中。时间是一点一点的变少了。

   就是通过mapper.xml执行insert操作。

注意：

底层的mapper是通过逆向工程来生成的，批量插入如下，是拼接成类似：insert into tb_enroll_student（）values （），（）…….（）;

这样的缺点是，数据库一般有一个默认的设置，就是每次sql操作的数据不能超过4M。这样插入，数据多的时候，数据库会报错Packet for query is too large (6071393 > 4194304). You can change this value on the server by setting the max_allowed_packet’ variable.，虽然我们可以通过

类似 修改 my.ini 加上 max_allowed_packet =67108864，67108864=64M，默认大小4194304 也就是4M

修改完成之后要重启mysql服务，如果通过命令行修改就不用重启mysql服务。

完成本次操作，但是我们不能保证项目单次最大的大小是多少，这样是有弊端的。所以可以考虑进行分组导入。

    @Override
    public String ransmission(List<TbDrillingPlatform> list) {
    
        //每次插入的数量
        int a = 100;
        int b = list.size() / a;
        int c = list.size() % a;

        for (int i = a; i <= a * b; i = i + a) {
            List<TbDrillingPlatform> tbDrillingPlatforms = list.subList(i - a, i);
            //Mybatis-plus方法进行导入
            tbDrillingPlatformService.saveBatch(tbDrillingPlatforms);
        }

        //判断插入条数是否为100的倍数，如果不是则把剩余的一次性插入
        if (c != 0) {
            List<TbDrillingPlatform> tbDrillingPlatforms = list.subList(a * b, list.size());
            tbDrillingPlatformService.saveBatch(tbDrillingPlatforms);
        }
     }

代码说明：

这样操作，可以避免上面的错误，但是分多次插入，无形中就增加了操作实践，很容易超时。所以这种方法还是不值得提倡的。

    @Override
    public String ransmission(List<TbDrillingPlatform> list) {
    
        //虚拟机可用的最大处理器数
        int nThreads = Runtime.getRuntime().availableProcessors();
        log.info("线程的数量为{}", nThreads);
        int size = list.size();
        
        //如果list条数小于虚拟机可用的最大的处理器数，直接一次性导入，不用开启多线程
        if (nThreads > size) {
            tbDrillingPlatformService.saveBatch(list);
            return;
        }
        
        ExecutorService executorService = Executors.newFixedThreadPool(nThreads);        
        List<Future<Integer>> futures = new ArrayList<>(nThreads);
        for (int i = 0; i < nThreads; i++) {
            List<TbDrillingPlatform> tbDrillingPlatforms = list.subList(size / nThreads * i, size / nThreads * (i + 1));
            //执行保存
            Callable<Integer> task = () -> {
                tbDrillingPlatformService.saveBatch(tbDrillingPlatforms);
            };
            futures.add(executorService.submit(task));
        }
        executorService.shutdown();
    }

上述代码分组没有考虑除不尽的情况，可以使用下述代码进行分组

    public <T> List<List<T>> groupList(List<T> list, int groupSize) {
        List<List<T>> groupedLists = new ArrayList<>();
        int index = 0;
        while (index < list.size()) {
            int endIndex = Math.min(index + groupSize, list.size());
            List<T> group = list.subList(index, endIndex);
            groupedLists.add(group);
            index += groupSize;
        }
        return groupedLists;
    }

代码说明：
上面是通过应用ExecutorService 建立线程数，然后根据线程数目进行分组，批量依次导入。一方面可以缓解数据库的压力，另一个面线程数目多了，一定程度会提高程序运行的时间。

缺点就是要看服务器的配置，如果配置好的话会开多点线程，配置差的话就会少点。