使用Easy poi导入数据时特别慢的问题汇总

使用Easy Poi导入Excel时特别慢

问题描述:
在使用easy poi导入一个5000多行的excel时特别慢,大概需要5~6分钟,经过查看源码,发现了问题并已经解决,现在记录一下

  1. 依赖
        <dependency>
           <groupId>cn.afterturn</groupId>
           <artifactId>easypoi-base</artifactId>
           <version>4.2.0</version>
       </dependency>
       <dependency>
           <groupId>cn.afterturn</groupId>
           <artifactId>easypoi-web</artifactId>
           <version>4.2.0</version>
       </dependency>
       <dependency>
           <groupId>cn.afterturn</groupId>
           <artifactId>easypoi-annotation</artifactId>
           <version>4.2.0</version>
       </dependency>

使用的是4.2.0版本

  1. 源代码
    这段代码的位置是ExcelImportService类中的ExcelImportResult importExcelByIs(InputStream inputstream, Class<?> pojoClass,
    ImportParams params, boolean needMore)方法里的一段
if (needMore) {
                InputStream successIs = new ByteArrayInputStream(baos.toByteArray());
                try {
                    Workbook successBook = WorkbookFactory.create(successIs);
                    if (params.isVerifyFileSplit()){
                        importResult.setWorkbook(removeSuperfluousRows(successBook, failRow, params));
                     	//慢的原因定位到这行代码
                     	importResult.setFailWorkbook(removeSuperfluousRows(book, successRow, params));
                    } else {
                        importResult.setWorkbook(book);
                    }
                    importResult.setFailList(failCollection);
                    importResult.setVerifyFail(verifyFail);
                } finally {
                    successIs.close();
                }
            }
  1. 解决思路
    既然这行代码执行的特别慢,那么就想办法不执行这段代码,让params.isVerifyFileSplit()为false就可以了。
    所以回到自己的代码里,将importParam里的VerifyFileSplit属性设置为false
    贴一下自己的方法的一部分代码,加上params.setVerifyFileSplit(false);就可以了。
    public ExcelImportResult<?> resolveExcel(MultipartFile files, Class<?> t) throws CustomerException {
        log.info(">>>>> ready to resolve excel");
        long start = System.currentTimeMillis();
        //保存文件到指定的文件夹里, 并将 MultipartFile 转成File
        File file = saveFile(files, t, null);
        ImportParams params = new ImportParams();
        params.setStartRows(0);
        //设置1,就遍历到第一行结束,如果设置2,就遍历到第二行结束
        params.setHeadRows(1);
        params.setNeedVerify(true);
        //返回文件是否分割
        params.setVerifyFileSplit(false);
        params.setVerifyGroup(new Class[]{ViliGroupOne.class});
        //设置自定义的校验规则
        setRuleByClass(t, params);
  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
目前处理Excel的开源javaAPI主要有两种,一是Jxl(Java Excel API),Jxl只支持Excel2003以下的版本。另外一种是Apache的Jakarta POI,相比于Jxl,POI对微软办公文档的支持更加强大,但是它使用复杂,上手POI可支持更高的Excel版本2007。对Excel的读取,POI有两种模式,一是用户模式,这种方式同Jxl的使用很类似,使用简单,都是将文件一次性读到内存,文件小的候,没有什么问题,当文件大的候,就会出现OutOfMemory的内存溢出问题。第二种是事件驱动模式,拿Excel2007来说,其内容采用XML的格式来存储,所以处理excel就是解析XML,而目前使用事件驱动模式解析XML的API是SAX(Simple API for XML),这种模型在读取XML文档,并没有将整个文档读入内存,而是按顺序将整个文档解析完,在解析过程中,会主动产生事件交给程序中相应的处理函数来处理当前内容。因此这种方式对系统资源要求不高,可以处理海量数据。笔者曾经做过测试,这种方法处理一千万条,每条五列的数据花费大约11分钟。可见处理海量数据的文件事件驱动是一个很好的方式。而本文中用到的AbstractExcel2003Reader、AbstractExcel2007Reader对Excel的读取都是采用这种POI的事件驱动模式。至于Excel的写操作,对较高版本的Excel2007,POI提供了很好的支持,主要流程是第一步构建工作薄和电子表格对象,第二步在一个流中构建文本文件,第三步使用流中产生的数据替换模板中的电子表格。这种方式也可以处理海量数据文件。AbstractExcel2007Writer就是使用这种方式进行写操作。对于写入较低版本的Excel2003,POI使用了用户模式来处理,就是将整个文档加载进内存,如果数据量大的话就会出现内存溢出的问题,Excel2003Writer就是使用这种方式。据笔者的测试,如果数据量大于3万条,每条8列的话,就会报OutOfMemory的错误。Excel2003中每个电子表格的记录数必须在65536以下,否则就会发生异常。目前还没有好的解决方案,建议对于海量数据写入操作,尽量使用Excel2007。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值