easyPoi 导入遇到的问题,导入5千条卡死5分钟带验证的情况下

1: 哈哈,一开始我也是看到各种推荐说easypoi多好多好。然后我就信了。没做任何的压力测试。就用上了。

2:easypoi 导入的时候,可以加注解进行验证,验证的字段必须全部是string。

然后开启验证,注解只能控制一搬的验证。有的数据需要查询数据库的,确实也可以通过easypoi框架实现对应的接口进行查询。但是,关键问题来了。当我们的数据量5千的时候,特别的卡,大概5分钟把。因为我导入的数据每条需要做数据的验证,并且需要查询数据库,所以必须需要 框架的ExcelImportService类下的importExcelByIs方法。

return new ExcelImportService().importExcelByIs(inputstream, pojoClass, params, true);

这个方法比较坑的一点就是 needMore 参数必须给true。要不无法获取验证结果。

对应的逻辑就是坑娘的要点。这个里面的循环做了5000*5000的循环。并且循环了2次。

其实我就想要个错误数据的列表。其他的东西我不需要的,但是这个里面的方法做不到。大家可以先看下源码然后再决定是否适用。里面逻辑是单线程去做的。又慢又卡。本来我都提测了。没办法。卡死了。我必须一切重新来。

我曾想过加easypoi的官方qq群反应这个问题。虽说入群10快我也觉得是可接受的。但是因为没有绑定qq钱包我就放弃了。

3:时间很紧张。我还是用心写了这篇博客。防止后人和我遇到同样的问题。可能我描述的理解的有不对的。欢迎大家指正。

4:我把我在项目中重新用的上传和下载已经上传到我个人的资源库了。大家可以按需下载。

 

资源下载地址: https://download.csdn.net/download/lileronglilerong/12308637

不需要积分的。仅供参考。里面的逻辑都是18年写的。如有 不适用的,大家可以根据实际情况进行改造。

如果数据量大,大家用多线程进行处理。

评论 21
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值