大数据量excel导入的问题记载

导入excel使用了阿里的一个开源轮子，poi容易有内存溢出问题。
在使用的easyExcel读取数据之后，进行校验拼装数据，由于数据量过大，几个大对象直接将JVM内存撑爆，看了下服务器OLD区使用达到96%。
程序中使用了JAVA8的并行流进行数据处理，处理后的数据中有空对象，导致在后续插入和合并的时候出现问题。
数据库是ORACLE，使用Mybatis的批量插入写法，在空对象遍历到时，会报ORA-01790：表达式必须具有与对应表达式相同的数据类型的错误，解决方法为:对空对象加验证。
合并的时候使用merge，这里遇到一个ORA-30926无法再源表中获取一组稳定的行，这个是由于组装的数据会有重复的对象值插入到表中，在merge的时候源表中的重复数据，会被oracle警告该错误。解决方法：使用set集合去重。

在多线程插入数据时，使用并行流，然后判断线程池状态，执行后续操作，发现存在线程内任务尚未执行完成，就执行了后续操作。猜测应与shutdown方法以及线程并行执行到某一时刻时该线程为终止状态有关。
执行到merge时，仍有部分insert在执行。

为了防止多个用户同时执行导入操作，增加redis锁判断