大数据量excel导入mysql_十万级百万级数据量的Excel文件导入并写入数据库

一.需求分析

最近接到一个需求,导入十万级,甚至可能百万数据量的记录了车辆黑名单的Excel文件,借此机会分析下编码过程;

首先将这个需求拆解,发现有三个比较复杂的问题:

问题一:Excel文件导入后首先要被解析为存放对象的列表,数据量大的情况下可能会导致内存溢出,解析时间过长;

问题二:插入数据库的时候,数据量大,写入的时间长

问题三:要对数据库中的现有数据进项判断,不仅仅要做插入动作,还要将数据库的数据与导入的数据对比,判断是否做更新操作

其中:

问题一和问题三,可以看做同一类,因为主要涉及内存计算导致的性能问题,以及内存占用过大的溢出问题,

关于这两个问题,现在线上的机器基本上是4核8G的配置集群部署,内存并不是关键,我会在另一篇文章中给出我的方案,

今天主要针对问题二,写入的数据库的问题给出我的方案,

问题二主要是多次写入数据库的问题,显然,如果有几十万条数据,那么是不可能连续写几十万次的,不然要写到后年马月才能全部入库,

解决方案:

这里我主要采用了多线程的写入方式,十万条数据,2000条写一次(可以自己定义),用线程池提交多个线程任务同时写入,提高性能

二.代码环境

Springboot2.1.3+POI+PGSQL

controller层代码

@PostMapping("/upload")public void upload1(MultipartFile file, @Validated UploadReq req) throwsException {//从数据库查询出现有的数据,根据去重的字段分组去构建成一个HashMap,通过containsKey()判断//将需要更新的数据放到updateList中

List updateList=new ArrayList<>();//已取值的行数

int