XSSFWorkbook导致CPU占用很高

最新推荐文章于 2024-06-20 13:34:21 发布
最新推荐文章于 2024-06-20 13:34:21 发布
阅读量1.2k 收藏
点赞数
分类专栏： JAVA centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43938908/article/details/114838236
版权
博客探讨了在处理大量数据时，XSSFWorkbook可能导致的CPU占用过高和内存溢出问题。介绍了HSSFWorkbook和XSSFWorkbook的区别，以及为了解决XSSFWorkbook的问题，引入了SXSSFWorkbook作为解决方案。SXSSFWorkbook通过设置内存中存储的数据量，定期将数据写入文件，从而防止OOM和高CPU占用。
摘要由CSDN通过智能技术生成

XSSFWorkbook导致CPU占用很高

将微信支付的账单同步至云存储

业务需求

https://pay.weixin.qq.com/wiki/doc/api/wxpay_v2/papay/chapter5_11.shtml
将微信服务商支付的账单，同步到云存储中去

废话不多说
CPU炸了

科普

  1. HSSFWorkbook（excel 2003）
    HSSFWorkbook 针对是 EXCEL2003 版本，扩展名为 .xls;所以 此种的局限就是导出的行数，至多为 65535 行，因为行数不够多所以一般不会发生OOM。

  2. XSSFWorkbook （excel 2007）
    这种形式的出现 是由于 第一种HSSFWorkbook 的局限性而产生的，因为其所导出的行数比较少，所以 XSSFWookbook应运而生 其 对应的是EXCEL2007+(1048576行，16384列)扩展名 .xlsx，最多可以 导出 104 万行，不过，这样就伴随着一个问题—OOM 内存溢出，原因是 你所 创建的 book sheet row cell 等 此时是存在 内存的 并没有 持久化，那么随着数据量增大内存的需求量也就增大，那么很大可能就是要 OOM了或者CPU飙升的情况，进一步导致脚本机挂掉。

  3. SXSSFWorkbook（excel 2007后，poi使用3.8+版本）

最低0.47元/天 解锁文章
Leo.xie
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SXSSFworkbook创建sheet时无反应，界面导出.xlsx为空的问题排查
weixin_43248700的博客
10-14 1486
SXSSFworkbook创建sheet时无反应，界面导出.xlsx为空的问题排查
HSSFWorkbook,XSSFWorkbook所需全部jar
11-28
HSSFWorkbook,XSSFWorkbook所需全部jar,包括poi-3.9-20121203.jar ，poi-ooxml-3.9.jar，poi-ooxml-schemas-4.0.0.jar，dom4j-1.6.1.jar ，xmlbeans-2.6.0.jar
内存溢出xssfworkbook
04-28
File test = new File("D:\\test.xlsx"); try { XSSFWorkbook wb = new XSSFWorkbook(new FileInputStream(test)); SXSSFWorkbook workbook = new SXSSFWorkbook(wb); Sheet sheet = workbook.getSheetAt(0); for (int i = 0; i < 5; i++) { Row row = sheet.getRow(i); if(row==null){ System.out.println(i+":null"); } } } catch (Exception e) { e.printStackTrace(); }
大数据导出excel大小限制_excel导出大数据量时服务器cpu太高解决方式
weixin_39879122的博客
12-19 967
最近服务器时不时的会卡死，后来经过日志分析，发如今卡死的时候有进行excel导出的操做，因而kill掉进程重启后本身手动尝试了下，发现导出的数据量超过三万条时cpu的使用率居然高达600%(服务器8核8G，tomcat原始配置的环境)，而后这种情况持续个一分钟左右后tomcat就会卡死。前端问题已经明确了就是导出的问题，后来就上网查各类解决方式，有说大数据量换成csv的，可是为了方便财务的使用，仍...
POI -- XSSFWorkbook性能优化
最新发布
qq_42530556的博客
06-20 178
背景：财务管理系统凭证导出Excel 文件请求超时。问题2、对合并的单元格添加边框速度很慢。问题1、合并单元格速度很慢。
大数据量导出心得 SXSSFWorkbook
qq_30171331的博客
05-09 1234
一开始做导出excel我是拒绝的。但是前端人员说回家特效duang,duang的。于是我认识了SXSSFWorkbook。 开始做导出使用的poi的标准写法。可是随着真实数据的海量降临，先是jvm内存溢出。这让人很头疼，于是我转换了一个思路。数据不一次性查出来，为数据查询做出分页。逐次放入poi的 Sheet 里面。本想着问题就这样被我简单解决了。可是内存又溢出了。这次是poi的内存溢出。 ...
Excel百万数据导入内存溢出(OOM)解决方案，以及HSSFworkbook，XSSFworkbook，SXSSFworkbook失败分析
secretdaixin的博客
02-15 1万+
Excel百万数据导入，出现内存溢出，HSSFworkbook数据上限太低，不可行；XSSFworkbook会发生OOM，不可行；SXSSFworkbook读取数据做导入还是会发生OOM，不可行。使用StreamingReader可以解决大文件读取造成的OOM，它可以根据配置将一个大文件分成多个临时文件，再读取一部分Row到内存中，全部读取完成后将临时文件删掉。但是它仅支持XLSX文件，需要java8及以上运行环境。
poi-xssfworkbook.jar
11-08
《XSSFWorkbook.jar与Apache POI库的深度解析》 在Java世界中，处理Microsoft Office的电子表格文件，如Excel，离不开一个强大的库——Apache POI。这个开源项目为开发者提供了读写Excel文件的能力，极大地扩展了...
Java-XSSFWorkbook
05-20
Java中的XSSFWorkbook是Apache POI库的一个关键组件，专门用于处理Microsoft Excel的XLSX格式文件。Apache POI是一个开源项目，它提供了API，让开发者能够读取、写入和修改Microsoft Office格式的文件，包括Excel、...
Winform中通过NPOI导出Excel的三种方式HSSFWorkbook，XSSFWorkbook，SXSSFWorkbook示例代码.zip
04-10
2. **XSSFWorkbook（.NET Framework和.NET Core中的高内存消耗方式）** XSSFWorkbook是针对Excel 2007及以上版本（.xlsx，OOXML格式）的API，可以在.NET Framework和.NET Core中使用。相比于HSSFWorkbook，它提供了...
由excel导出引起的cpu 100% 和gc 的问题
烤鸭的世界我们不懂的博客
12-29 4952
大家好，我是烤鸭：     记一次 由excel导出 导致的cpu飙升200%，jvm 内存不足。 1.  场景复现     前端页面导出Excel，之前导出4,5W条数据都没什么问题的。     今天业务突然反馈说导出不了了，我试着导出了2w数据，发现页面卡住了，     没有响应了，查日志，报错如下。 java.lang.IllegalStateException: Cannot c...
基于SXSSFWorkbook并发插入数据到Excel多个Sheet中，并且解决内存溢出
LJHSkyWalker的博客
12-25 8253
本文主旨： 基于SXSSFWorkbook将百万数据插入Excel； 多个Sheet页采用线程池的方式并发插入数据； ThreadPoolExecutor线程池实现； 基于CountDownLatch实现线程多线程结束后进行下一步操作； 基于Java VisualVM排查内存溢出并且分析POI窗口参数； 重温GC过程； 先介绍我们的Demo要实现的功能： 【创建一个四线程的线程池，将...
Java使用POI导出大数据量Excel
beeworkshop的博客
05-13 797
背景 今天需要写一个导出的Excel的功能，但是发现当数据量到3万条时，列数在23列时，内存溢出，CPU使用100%,测试环境直接炸掉。在本地测试时发现，导出3000条左右的数据的时候，堆内存瞬间升高500M左右。然后发现了SXSSFWorkbook这个类。 简介 SXSSFWorkbook 需要poi-ooxml包3.8及以上开始支持，我这边适使用的是3.9版本，本质是一个XSSFWorkbook类(Excel2007)，它使用的方式是采用硬盘空间来大幅降低堆内存的占用，在系统的临时文件夹目录创建一个临时
SXSSF workbook createSheet() 失败获卡死 linux
北巷东东的专栏
08-12 3355
最近在协助解决poi表格生成，在Linux环境部署后的问题。 问题一：创建SXSSFWorkbook时失败或者卡住了。 准确的说，是创建的，后写入磁盘缓存，失败了或者卡住了。 **原因：**授权目录问题。 **分析：**需要确定下您启动项目，是用哪个用户启动的。一般生产环境，是非root用户。那么，会存在目录权限问题。我使用的tomcat容器，那么集成tomcat的默认临时磁盘缓存或读写文件目录是/tmp。 解决： 1、手动授权/tmp目录，chown -R 用户名 /tmp，然后重启项目会看到生成的临
解决POI的XSSFWorkbook导入大excel的内存消耗过大问题
热门推荐
y41992910的博客
11-28 1万+
方式1:使用SXSSFWorkbook ,经过测试,这个情况无效,因为本质上SXSSFWorkbook 也是通过XSSFWorkbook来的,他可以解决写出excel的场景,但是解决不了我们这种用户上传且读取excel中的内容的场景 XSSFWorkbook XSSFWorkbook = new XSSFWorkbook(fileInputStream); System.gc(); SXSSFWorkbook SXSSFWorkbook = new SXSS
java用XSSFWorkbook实现读写Excel
qq_43842093的博客
11-02 4607
写在最前面： 　　　　使用的是JAVA POI实现的导出Excel； 　　　　POI 提供了对2003版本的Excel的支持 ---- HSSFWorkbook 　　　　POI 提供了对2007版本以及更高版本的支持 ---- XSSFWorkbook 引入相关依赖： <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-.
记一次解决poi XSSFWorkbook导出excel内存溢出换成SXSSFWorkbook还是内存溢出的问题
weixin_38008837的博客
10-11 7315
1、需求背景 工作中同事遇到一个导出excel内存溢出的问题，让我帮忙解决。一个excel大约有800个sheet页。原写法使用的XSSFWorkbook写入导出。百度了下了解到应该替换成SXSSFWorkbook，因为SXSSFWorkbook可以设置写入多少条就会生成临时文件保存到磁盘，释放占用内存以此来控制占用内存大小。但是我看了几个例子更换成SXSSFWorkbook以后，依然内存溢出!!! 2、解决过程 先是尝试改动窗口大小（百度的全是这个方法，然而并不管用），...
POI导出Excel工具类(补充)
叮咚细语的专栏
10-11 462
在实际使用中，发现用XSSFWorkbook创建xlsx文件，如果数据量比较大，很容易出现占用cpu过高，内存溢出的情况。查了相关资料后，才发现官方推荐处理大量数据使用SXSSFWorkbook（在POI3.8之后才有) 下面贴下自己写的代码 public static void SXSSFOutputHeadersNew(String[] headersInfo,SXSSFWorkbook
POI导出Excel遇到数据量大该如何解决
z_623623的博客
12-09 3116
Java POI导出Excel数据量大时的解决办法
XSSFWorkbook
09-13
XSSFWorkbook是Apache POI库中的一个类，用于创建和操作Excel文件（.xlsx格式）。它是基于XML的Excel文件格式，提供了一组Java API来读取、写入和修改Excel文档。 使用XSSFWorkbook，你可以创建新的工作簿、工作表，设置单元格的值、格式、样式等。它还提供了各种方法来处理Excel文件，如读取和写入数据、合并单元格、设置超链接、创建图表等。 要使用XSSFWorkbook，你需要先导入Apache POI库，并在代码中创建一个XSSFWorkbook对象来表示一个Excel文件。然后，你可以使用该对象来访问工作表和单元格，并执行所需的操作。 下面是一个简单的示例代码，演示如何使用XSSFWorkbook创建一个Excel文件并写入数据： ```java import org.apache.poi.xssf.usermodel.XSSFWorkbook; import org.apache.poi.ss.usermodel.*; public class ExcelWriter { public static void main(String[] args) { try { // 创建新的工作簿 Workbook workbook = new XSSFWorkbook(); // 创建新的工作表 Sheet sheet = workbook.createSheet("Sheet1"); // 创建行和单元格，并设置值 Row row = sheet.createRow(0); Cell cell = row.createCell(0); cell.setCellValue("Hello, Excel!"); // 保存Excel文件 FileOutputStream fileOut = new FileOutputStream("example.xlsx"); workbook.write(fileOut); fileOut.close(); System.out.println("Excel文件已成功创建！"); } catch (Exception e) { e.printStackTrace(); } } } ``` 请注意，这只是一个简单的示例，你可以根据需要进行更复杂的操作，如读取数据、设置样式等。希望这能帮助到你！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值