java生成excel,大数据缓存,解决内存溢出问题

本文介绍了使用Java的POI库生成Excel时如何处理大数据和避免内存溢出问题。通过分页读取数据、使用SXSSFWorkbook进行内存管理,并详细解释了SXSSFWorkbook的工作原理。尽管进行了优化,但在内存有限的环境中,仍然可能面临性能挑战。
摘要由CSDN通过智能技术生成

使用poi生成excel,导入jar包

<dependency>
   <groupId>org.apache.poi</groupId>
   <artifactId>poi</artifactId>
   <version>3.10-FINAL</version>
</dependency>
<dependency>
   <groupId>org.apache.poi</groupId>
   <artifactId>poi-ooxml</artifactId>
   <version>3.10-FINAL</version>
</dependency>

生成excel主要的对象是:Workbook 是一个接口,主要有三种创建方式

1,创建2003 版本的excle,后缀 .xls,最多只能存5.6w行,256列左右的数据
Workbook workbook = new XSSFWorkbook();
2,创建2007 及以后的版本, 后缀 .xlsx 可以存104w行,16384列左右的数据,但这种方式数据稍微大一点就会OOM
Workbook workbook = new HSSFWorkbook();
3, 专门用来生成大数据excel,但也会受到 excel 104w 上限的限制
Workbook workbook = new SXSSFWorkbook();
4,生成 .csv 后缀的excel文件, .csv理论上就纯文本,存多少数据都没问题,但数据太大打开会非常慢
用上面三种方式都可以生成

先来看看普通数据的读取,标准 .xls .xlsx 可以直接生成Workbook对象, 但CSV文件是根据特殊字符分割生成数组。

//读取 excel 根据路径生成输入流,获取workbook对象,获取sheet,获取行row,获取列cell
/**
 * @param filePath    文件路径
 * @param endWith     结束符
 * @return
 * @throws Exception
 */
public static List<List<List<String>>> readXls(String filePath, String endWith) throws Exception {

    InputStream is = null;
    try {
        is = new FileInputStream(filePath);
        //HSSFWorkbook表示整个Excel
        HSSFWorkbook hssfWorkbook = new HSSFWorkbook(is);
        //循环每一页,并处理当前的循环页
        for (int numSheet = 0; numSheet < hssfWorkbook.getNumberOfSheets(); numSheet++) {
            //HSSFSheet表示某一页
            HSSFSheet hssfSheet = hssfWorkbook.getSheetAt(numSheet);
            if (hssfSheet == null) {
                continue;
            }

            //处理当前页,循环处理每一行的数据
            List<List<String>> sheetResult = new ArrayList<>();
            for (int rowNumIndex = 0; rowNumIndex <= hssfSheet.getLastRowNum(); rowNumIndex++) {
                //HSSFRow表示每一行的数据
                HSSFRow hssfRow = hssfSheet.getRow(rowNumIndex);
                int minColIx = hssfRow.getFirstCellNum();
                int maxColIx = hssfRow.getLastCellNum();
                String firstColumn = hssfRow.getCell(0).getStringCellValue();
                //结尾符
                if (StringUtils.isBlank(firstColumn) ||
            
  • 2
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值