一、关于easyExce踩坑的点
(1)数据插入慢的问题,例如几万条十万条的数据
原因是前面进行了批量设置,但是没有判断存储的list到达批量之后需要进行保存数据的操作。而全局只有一个saveData的方法 这个saveData方法是在数据全部解析完之后才进行入库的。所以我们应该在invoke方法里面就就进行数据量的判断,到达批次之后就调用saveData的方法。这样能够提升入库速度。这里有个踩坑的点,如果在invoke进行调用saveData的方法时候,数据全都入库了,在SaveData方法里面,对存储的数据进行了清空。那么在全部读取完数据之后的saveData会进行报错,我们在这里要进行判断这个数据的长度是否为空在进行调用。这个SaveData通常是用作于处里批次之外剩余的数据,零散的数据。
(2)明明表里面有一千条或者一万条数据,但是入库了之后还在一直入库 插入的数据远远多余excel表的数据
这个问题的原因是没有对之前存储的数据集合进行清空。在调用saveData方法的时候,在进行入库操作之后我们要对数据的list进行清空,否则这个list一直存在 那么就会一直saveData的方法 因为前面设置了到达批次之后进行插入。
(3)能否使用多线程进行插入呢?
答案是可以的。EasyExcel官方文档API有封装线程的方法,是new Ecache 在read方法后面进行添加,关于核心线程数需要设置多少,通常是CPU的两倍。
// 设置线程池大小 获取CPU核心数 int corePoolSize = Runtime.getRuntime().availableProcessors(); int poolSize = corePoolSize * 2;