超大Excel文件的写入

    一、使用 POI中的XSSFWorkbook

        当我们使用POI进行写入超大文件时,使用XSSFWorkbook就并不合适了,例如:当我们准备写入10w条数据时,当程序执行时,内存和CPU的占用会直线飙升,最终导致内存溢出

         所以POI给我们提供了一个XSSFWorkbook,可以在参数中设置每次读取到的行数,当达到这个行数时,就会flush磁盘上,就不会出现内存不够的情况。

package com.yx.test;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Date;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellStyle;
import org.apache.poi.ss.usermodel.DataFormat;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;

public class Demo09 {
	public static void main(String[] args) {
		
		long begin = System.currentTimeMillis();
		
		try (Workbook workbook = new SXSSFWorkbook();
				FileOutputStream out = new FileOutputStream("d:\\test\\aaa\\10w.xlsx")) {
			
			//在已经存在的Excel文件下创建新的工作簿
			Sheet sheet = workbook.createSheet();
			
			//获取格式编码值
			DataFormat dataFormat = workbook.createDataFormat();
			Short dateFormatCode = dataFormat.getFormat("yyyy年MM月dd日 HH:mm:ss");
			Short moneyFormatCode = dataFormat.getFormat("¥#,###");
			
			//创建日期格式对象
			CellStyle datecellStyle = workbook.createCellStyle();
			datecellStyle.setDataFormat(dateFormatCode);
			
			//创建货币格式对象
			CellStyle moneycellStyle = workbook.createCellStyle();
			moneycellStyle.setDataFormat(moneyFormatCode);
			
			for(int i = 0; i <100000; i++) {
				
				String name = "Y" + i;
				
				//创建行
				Row row = sheet.createRow(i + 1);
				//创建单元格
				Cell cell0 = row.createCell(0); //序号
				cell0.setCellValue(String.valueOf(i));
				
				Cell cell1 = row.createCell(1);//姓名
				cell1.setCellValue(name);
				
				Cell cell2 = row.createCell(2); //日期
				cell2.setCellStyle(datecellStyle); //日期金额格式对象
				cell2.setCellValue(new Date());
				
				Cell cell3 = row.createCell(3); //红包金额
				cell3.setCellStyle(moneycellStyle); //货币金额格式对象
				cell3.setCellValue((int)(Math.random()*100000));
			}
			
			//写入文件
			workbook.write(out);
			
			long end = System.currentTimeMillis();
	    	System.out.println("共耗时:" + (end - begin) + "毫秒");
	    	
		} catch (IOException e) {
			
			e.printStackTrace();
		}
						
	}
}

使用XSSFWorkbook进行写入操作时共耗时2794毫秒

二、使用EasyExcel

        为了使写入文件的效率更快,我们可以使用阿里巴巴提供的开源jar包,使用EasyExcel 来进行超大文件的读写。

  1.使用其中的EasyExcel类调用它的静态方法write()方法进行写入,传入两个参数。

参数1:写入到具体的某个路径

参数2:写入的是某个类型的 :使用(*.class)来决定

   2.调用它的.sheet()决定写入的工作簿名称

   3.调用doWrite() 进行写入

        注意:doWrite()方法传入的要求是一个LIst集合

public class Demo01 {
	
	public static void main(String[] args) {
		
		long begin = System.currentTimeMillis();
	        // 写入100w
	        EasyExcel.write("d:\\test\\10w.xlsx", Order.class)
	                 .sheet("订单列表")
	                 .doWrite(data());
	        
	    	long end = System.currentTimeMillis();
	    	
	    	System.out.println("共耗时:" + (end - begin) + "毫秒");
	    }
  
	    // 创建100w条订单数据
	    private static List<Order> data() {
	        List<Order> list = new ArrayList<Order>();
	        for (int i = 0; i < 100000; i++) {
	            list.add(new Order());
	        }
	        return list;

使用EasyExcel写入超大数据时,耗时:1852毫秒

 

         相比之下,对于超大数据的写入,EasyExcel 比POI提供的XSSFWorkbook更加适用,无论是从CPU和内存的占用情况,还是进行写入的所花费的时间上来看,EasyExcel都是一个更优的选择。

 

  • 29
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值