EXCEL大数据导出(100W条)

     EXCEL导出,如果说上了数十万条,那么走内存直接一次性导出相当的困难,我本地的内存调的相对较小,所以大概5-6万条就不行了,我在createCell加了一个输出语句,循环到5-6万条,就会非常非常慢,每次createCell一次,需要5-10S,后面会越来越慢。解决这种事情,一般的解决思路是,每次到一定量的数据就输出到一个文件,最后汇总成一个文件。POI提供了SXSSFWorkbook,判断一下,然后直接利用多态的思想,进行类的绑定,对于我们这些程序员来说还是非常方便的。

              Workbook  workbook;

   if(arlist.size()<50000){
    workbook = new XSSFWorkbook();
   }else{
    workbook = new SXSSFWorkbook();
   }

   将一定的两的数据输出到一个文件,最后汇总,当然这是有很多可以优化的地方,我看一下,POI的写法,它是压缩了文件,然后最后write的时候进行解压,如果不进行压缩直接进行读取,效率可能会更高,但是相对临时空间可能需要更大,下面是POI的write中调用InjectData的代码

   

  private void injectData(File zipfile, OutputStream out) throws IOException 
    {
        ZipFile zip = new ZipFile(zipfile);
        try
        {
            ZipOutputStream zos = new ZipOutputStream(out);
            try
            {
                @SuppressWarnings("unchecked")
                Enumeration<ZipEntry> en = (Enumeration<ZipEntry>) zip.entries();
                while (en.hasMoreElements()) 
                {
                    ZipEntry ze = en.nextElement();
                    zos.putNextEntry(new ZipEntry(ze.getName()));
                    InputStream is = zip.getInputStream(ze);
                    XSSFSheet xSheet=getSheetFromZipEntryName(ze.getName());
                    if(xSheet!=null)
                    {
                        SXSSFSheet sxSheet=getSXSSFSheet(xSheet);
                        InputStream xis = sxSheet.getWorksheetXMLInputStream();
                        try
                        {
                            copyStreamAndInjectWorksheet(is,zos,xis);
                        }
                        finally
                        {
                            xis.close();
                        }
                    }
                    else
                    {
                        copyStream(is, zos);
                    }
                    is.close();
                }
            }
            finally
            {
                zos.close();
            }
        }
        finally
        {
            zip.close();
        }
    }

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值