8.30号工作感悟

一、关于easyExce踩坑的点

(1)数据插入慢的问题,例如几万条十万条的数据

原因是前面进行了批量设置,但是没有判断存储的list到达批量之后需要进行保存数据的操作。而全局只有一个saveData的方法 这个saveData方法是在数据全部解析完之后才进行入库的。所以我们应该在invoke方法里面就就进行数据量的判断,到达批次之后就调用saveData的方法。这样能够提升入库速度。这里有个踩坑的点,如果在invoke进行调用saveData的方法时候,数据全都入库了,在SaveData方法里面,对存储的数据进行了清空。那么在全部读取完数据之后的saveData会进行报错,我们在这里要进行判断这个数据的长度是否为空在进行调用。这个SaveData通常是用作于处里批次之外剩余的数据,零散的数据。

(2)明明表里面有一千条或者一万条数据,但是入库了之后还在一直入库 插入的数据远远多余excel表的数据

这个问题的原因是没有对之前存储的数据集合进行清空。在调用saveData方法的时候,在进行入库操作之后我们要对数据的list进行清空,否则这个list一直存在 那么就会一直saveData的方法 因为前面设置了到达批次之后进行插入。

(3)能否使用多线程进行插入呢?

答案是可以的。EasyExcel官方文档API有封装线程的方法,是new Ecache 在read方法后面进行添加,关于核心线程数需要设置多少,通常是CPU的两倍。

// 设置线程池大小 获取CPU核心数
int corePoolSize = Runtime.getRuntime().availableProcessors();
int poolSize = corePoolSize * 2;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值