高效读取大数据量excle2007文件的解决方案(1)，【原理+实战+视频+源码】

已于 2024-04-14 07:02:23 修改
阅读量1k 收藏 29
点赞数 10
分类专栏： 程序员 文章标签： 音视频 java 算法
于 2024-04-14 07:02:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181911/article/details/137733661
版权

package com.apex.bss.mod.util.excle;

/**

  • Created by Feng

*/

public interface Procedure {

void run();

}

我们扩展了XSSFSheetXMLHandler类，并且重写了endDocument方法，在原本的类中，该方法没有任何操作，在扩展类中，我们调用Procedure.run方法来处理excle读取完毕时的业务逻辑。

poi自带的事件处理接口是XSSFSheetXMLHandler.SheetContentsHandler，代码如下

public interface SheetContentsHandler {

void startRow(int var1);

void endRow(int var1);

void cell(String var1, String var2, XSSFComment var3);

void headerFooter(String var1, boolean var2, String var3);

}

可以看到数据是基于cell被处理的，我们要在startRow和endRow方法中自己构建行数据

public class SheetHandler implements XSSFSheetXMLHandler.SheetContentsHandler,Procedure {

protected List row = new LinkedList<>();

private ExcleHandler excleHandler;

private int preIndex = 1;

public SheetHandler(ExcleHandler excleHandler){

this.excleHandler = excleHandler;

}

@Override

public void run() {

excleHandler.over();

}

@Override

public void startRow(int i) {

row.clear();

}

@Override

public void endRow(int i) {

excleHandler.handleRow(row,i);

}

@Override

public void cell(String cellReference, String formattedValue, XSSFComment comment) {

int index = excleCelNumToIndex(cellReference);

if(index - preIndex > 1){

for(int i = 0;i < index - preIndex - 1;i++){

row.add(“”);

}

}

row.add(formattedValue);

preIndex = index;

}

@Override

public void headerFooter(String s, boolean b, String s1) {

}

private int excleCelNumToIndex(String celNum){

int num = 0;

int result = 0;

celNum = Pattern.compile(“[\d]”).matcher(celNum).replaceAll(“”);

int length = celNum.length();

for(int i = 0; i < length; i++) {

char ch = celNum.charAt(length - i - 1);

num = (int)(ch - ‘A’ + 1) ;

num *= Math.pow(26, i);

result += num;

}

return result;

}

}

实现了一个事件处理接口，将数据封装成行数据，并且将具体的处理逻辑委托给ExcleHandler接口，此接口基于行来处理excle数据

public interface ExcleHandler {

public void handleRow(Object row, int rowNumber);

public void over();

}

需要注意的是，poi提供给我们的读取工具会跳过某些没有编辑过的单元格，我们需要在构建行的时候自己补全缺失的数据

然后自定义一个ExcleReader用于读取excle

package com.apex.bss.mod.util.excle;

import org.apache.poi.openxml4j.exceptions.InvalidFormatException;

import org.apache.poi.openxml4j.opc.OPCPackage;

import org.apache.poi.openxml4j.opc.PackageAccess;

import org.apache.poi.ss.usermodel.DataFormatter;

import org.apache.poi.util.SAXHelper;

import org.apache.poi.xssf.eventusermodel.ReadOnlySharedStringsTable;

import org.apache.poi.xssf.eventusermodel.XSSFReader;

import org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler;

import org.apache.poi.xssf.model.CommentsTable;

import org.apache.poi.xssf.model.StylesTable;

import org.apache.poi.xssf.usermodel.XSSFComment;

import org.xml.sax.InputSource;

import org.xml.sax.SAXException;

import org.xml.sax.XMLReader;

import javax.xml.parsers.ParserConfigurationException;

import java.io.IOException;

import java.io.InputStream;

import java.util.LinkedList;

import java.util.List;

import java.util.regex.Pattern;

/**

  • Created by Feng

*/

public class EventExcleReader {

private OPCPackage opcPackage;

private SheetHandler handler;

private ExcleTypeEnum excleTypeEnum;

public EventExcleReader(String filename, ExcleTypeEnum excleType, ExcleHandler handler) throws IllegalAccessException, InvalidFormatException {

if(excleType == ExcleTypeEnum.XLS){

throw new IllegalAccessException(“暂不支持XLS文件”);

}

opcPackage = OPCPackage.open(filename, PackageAccess.READ);

this.handler = new SheetHandler(handler);

}

public EventExcleReader(InputStream inputStream, ExcleTypeEnum excleType, ExcleHandler handler) throws IllegalAccessException, InvalidFormatException, IOException {

if(excleType == ExcleTypeEnum.XLS){

throw new IllegalAccessException(“暂不支持XLS文件”);

}

opcPackage = OPCPackage.open(inputStream);

this.handler = new SheetHandler(handler);

}

public void read(){

InputStream sheetInputStream = null;

try {

XSSFReader xssfReader = new XSSFReader(opcPackage);

StylesTable styles = xssfReader.getStylesTable();

ReadOnlySharedStringsTable strings = new ReadOnlySharedStringsTable(opcPackage);

sheetInputStream = xssfReader.getSheetsData().next();

processSheet(styles, strings, sheetInputStream);

} catch (Exception e) {

throw new RuntimeException(e.getMessage(), e);

}finally {

if(sheetInputStream != null){

try {

sheetInputStream.close();

} catch (IOException e) {

throw new RuntimeException(e.getMessage(), e);

}

}

if(opcPackage != null){

try {

opcPackage.close();

} catch (IOException e) {

throw new RuntimeException(e.getMessage(), e);

}

}

}

}

private void processSheet(StylesTable styles, ReadOnlySharedStringsTable strings, InputStream sheetInputStream) throws SAXException, ParserConfigurationException, IOException{

XMLReader sheetParser = SAXHelper.newXMLReader();

sheetParser.setContentHandler(new LocalXSSFSheetXmlHandler(styles, strings, handler, false).handleEnd(handler));

sheetParser.parse(new InputSource(sheetInputStream));

}

}

然后根据具体业务实现ExcleHandler接口处理业务逻辑即可，这里我们还可以进一步对其进行封装实现数据的分段处理

public class ExcleUtil {

public static void readExcleByReduce(InputStream inputStream, int reduce, ExcleTypeEnum excleType, BiConsumer<LinkedList<LinkedList>,LinkedList> consumer) throws IllegalAccessException, IOException, InvalidFormatException {

new EventExcleReader(inputStream, excleType, new ReduceExcleHandler(consumer).reduceBy(reduce)).read();

}

public static void readExcle(InputStream inputStream,ExcleTypeEnum excleType, BiConsumer<LinkedList<LinkedList>,LinkedList> consumer) throws IllegalAccessException, IOException, InvalidFormatException {

new EventExcleReader(inputStream, excleType, new ReduceExcleHandler(consumer)).read();

}

/**

  • 分段读取类

*/

private static class ReduceExcleHandler implements ExcleHandler{

private int reduce = 1;

BiConsumer<LinkedList<LinkedList>,LinkedList> consumer;

private LinkedList<LinkedList> datas = new LinkedList<>();

private LinkedList head;

public ReduceExcleHandler(BiConsumer<LinkedList<LinkedList>,LinkedList> consumer){

this.consumer = consumer;

}

private ReduceExcleHandler reduceBy(int reduce){

this.reduce = reduce;

return this;

}

@Override

public void handleRow(Object row, int rowNumber) {

if(rowNumber <= 0){

head = new LinkedList<>((LinkedList) row);

}else {

if (datas.size() >= reduce) {

consumer.accept(datas, head);

datas.clear();

}

datas.add(new LinkedList<>((LinkedList) row));

}

}

@Override

public void over() {

consumer.accept(datas,head);

}

}

}

在上述代码中我们实现了ReduceExcleHandler，将excle数据以reduce为间隔进行分割，分批次处理，下面是一个简单的上传并导入excle到指定表的示例

package com.apex.bss.mod.util.excle;

import net.sf.hibernate.mapping.Collection;

import net.spy.memcached.util.StringUtils;

import plugins.bean.DBUtils;

import plugins.bean.DatabaseUtils;

import sun.awt.image.ImageWatched;

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
img

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

sn-1713049266760)]
[外链图片转存中…(img-7bKbiBiN-1713049266760)]
[外链图片转存中…(img-pNFAP7te-1713049266761)]
[外链图片转存中…(img-QqN0qm89-1713049266761)]
[外链图片转存中…(img-bh4vMEeZ-1713049266761)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-v01NDCba-1713049266762)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84181911
关注
  • 10
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java读取大数据量Excel的方法（POI）
03-30
NULL 博文链接：https://javaedge-yc.iteye.com/blog/1308714
excle大量数据读取
07-01
excle大量数据读取,10万条数据没有问题，一般的方法很可能出现内存溢出
高效读取大数据量excle2007文件的解决方案(1)
2401_84167046的博客
04-27 893
需要注意的是，poi提供给我们的读取工具会跳过某些没有编辑过的单元格，我们需要在构建行的时候自己补全缺失的数据。(img-XAa7bQtD-1714208720600)](img-YxxvrVhu-1714208720603)]接口处理业务逻辑即可，这里我们还可以进一步对其进行封装实现数据的分段处理。实现了一个事件处理接口，将数据封装成行数据，并且将具体的处理逻辑委托给。方法，在原本的类中，该方法没有任何操作，在扩展类中，我们调用。接口，此接口基于行来处理excle数据。方法中自己构建行数据。
高效读取大数据量excle2007文件的解决方案
2401_84182271的博客
04-29 679
需要注意的是，poi提供给我们的读取工具会跳过某些没有编辑过的单元格，我们需要在构建行的时候自己补全缺失的数据。，将excle数据以reduce为间隔进行分割，分批次处理，下面是一个简单的上传并导入excle到指定表的示例。，将excle数据以reduce为间隔进行分割，分批次处理，下面是一个简单的上传并导入excle到指定表的示例。实现了一个事件处理接口，将数据封装成行数据，并且将具体的处理逻辑委托给。方法，在原本的类中，该方法没有任何操作，在扩展类中，我们调用。接口，此接口基于行来处理excle数据。
高效读取大数据量excle2007文件的解决方案，2024年最新大数据开发高频面试题+解析
2301_79099378的博客
04-16 749
需要注意的是，poi提供给我们的读取工具会跳过某些没有编辑过的单元格，我们需要在构建行的时候自己补全缺失的数据。，将excle数据以reduce为间隔进行分割，分批次处理，下面是一个简单的上传并导入excle到指定表的示例。throw new IllegalAccessException(“暂不支持XLS文件”);接口处理业务逻辑即可，这里我们还可以进一步对其进行封装实现数据的分段处理。实现了一个事件处理接口，将数据封装成行数据，并且将具体的处理逻辑委托给。接口，此接口基于行来处理excle数据。
高效读取大数据量excle2007文件的解决方案，2024最新大数据开发算法相关面试大全
2401_84181911的博客
04-14 611
外链图片转存中…(img-oWxkS8Gq-1713049296335)][外链图片转存中…(img-g8Lb06F2-1713049296335)][外链图片转存中…(img-uBfL5Ht8-1713049296335)][外链图片转存中…(img-GH2rjuOl-1713049296336)]
腾讯面试 知乎高效读取大数据量excle2007文件的解决方案，推荐一个GitHub项目
2401_83739821的博客
04-06 582
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。throw new RuntimeException(“表头验证错误”);
头条测试开发社招面试题，高效读取大数据量excle2007文件的解决方案，Python通用流行框架大全
2401_83945851的博客
04-08 765
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。
【项目实战SpringBoot+Vue】基于easyexcel实现Excel大数据量的导入导出（包含数据脱敏）--简单易上手
【实战】T-猿小白的博客
03-13 2136
SpringBoot2.7.9 + Vue2 + Element + easyexcel 实现大数据量的导入导出，脱敏数据展示、导出，多sheet页等复杂表单导入导出
Java 读取Excel大文件
fofcn的专栏
03-04 4430
java poi Excel excel-streaming-reader 大文件 读取
利用poi将excel表中数据读取存入mysql数据库（数据量比较大）
热门推荐
rookie_s的博客
11-26 1万+
最近被老大安排了一个任务，利用程序将excle表中的数据读取到，做处理，然后存进数据库。接到任务的时候人是懵逼的。但是安排的任务也得硬着头皮完成。现将做的东西记录如下，方便以后查询。 这个小demo的原型是在网上找的，demo链接如下 http://www.cnblogs.com/hongten/p/java_poi_excel.html 这个demo基本能够实现将excel中的数据读取然后
新建好压 RAR 压缩文件.zip_plot data_均值方差模型_读取Excle数据
07-13
对excle中数据读取，matlab构建均值方差模型、绘图
多个excel导出压缩成zip 文件 数据量大导出
02-23
直接可以用的项目。数据量大，导出多个excel然后压缩成zip文件。。。
Excle+ 办公 + 考试
06-17
这是2022期末EXcle联系题
vue3+vite+ts 使用webrtc-streamer播放海康rtsp监控视频
敲厉害的燕宝的博客
06-12 1071
webrtc-streamer 是一个使用简单机制通过 WebRTC 流式传输视频捕获设备和 RTSP 源的项目，它内置了一个小型的 HTTP server 来对 WebRTC需要的相关接口提供支持。相对于ffmpeg+flv.js的方案，延迟降低到了0.4秒左右，画面的加载速度也变快了，切换浏览器标签后也不会暂停画面，并且解决了http1.1的同域名中的并发限制(在谷歌浏览器中可以同时播放6个以上的video)。
【车载AI音视频电脑】高清车载摄像头，车载云台摄像头
YEYUANGEN的专栏
06-13 495
水平速度：100°/S.垂直：40°/S。内部全金属结构、耐冲击、抗腐蚀、防护等级：IP66。128个预置位、6条巡航轨迹、6条花样扫描、两点扫描、隐私遮挡功能、白天和晚上的画质比其他的效果要好。＊ 1/3 SONY CMOS. AHD 100万， 200万可选。＊ 2.8毫米固定镜头 (2.8/3.6/4/6/8毫米镜头可选)6.低速运行平稳、超低噪声、画面无抖动。＊ 抗震， IP66/67防水, 防尘，防爆设计。★支持双向音频、内置麦克风和音频输出可选;★支持不同的镜头可选，日夜监控;
Android 列表视频滑动自动播放(实现思路)
qq_21467035的博客
06-12 339
我们优化思路，通过监听RecyclerView滑动状态，来实现当停止滑动时候，来播放视频。当SCROLL_STATE_DRAGGING我们需要暂停已经在播放的视频，我已经知道播放的事position。RecyclerView.SCROLL_STATE_DRAGGING: //手指拖动。RecyclerView.SCROLL_STATE_SETTLING: //惯性滚动。RecyclerView.SCROLL_STATE_IDLE: //滑动停止。
ffmpeg封装和解封装介绍-（10）综合完成视频重编码为h265，解封装解码编码再封装
最新发布
m0_51386664的博客
06-16 554
由于代码太多我们只解析主函数，（其他封装函数见前面文章，同时用到了解码编码封装代码）。这段代码是程序的入口。它首先定义了程序的用法提示，并将其打印出来。然后，它检查命令行参数的数量是否正确，若不足三个参数，则程序退出。接着，它从命令行参数中获取输入文件和输出文件的路径。
java读取excle文件中的数据并生成对象
06-01
要读取Excel文件中的数据并生成对象，你可以使用Apache POI库来实现。下面是一个简单的示例代码，可以读取Excel文件中的数据并将其转换为Java对象： ```java import java.io.FileInputStream; import java.util....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值