读取大数据量Excel文件——POI的事件驱动模式

最新推荐文章于 2024-07-05 14:30:10 发布

大海_sea

最新推荐文章于 2024-07-05 14:30:10 发布

阅读量4.8k

点赞数 4

分类专栏：工具包文章标签：大数据量 POI 读取Excel

本文链接：https://blog.csdn.net/y506798278/article/details/90725759

版权

1 适用场景

使用POI读取Excel文件有两种方式，一种是用户模式，使用封装好的API操作Excel文件，这也是常用的一种方式。在用户模式下读取Excel文件数据会一次性将文件中的内容写入内存，虽使用方便，但是当文件数据够大时，比如大于5W条数据，就可能出现内存溢出。这种情况下可以用POI的事件驱动，基于Sax的读取方式读取Excel文件。

2 实现方式

POI的事件驱动，是区别于用户模式的另一种解析方式，原理是逐行读取Excel文件（仅限于Excel2007以上版本），也就是在读取完一行数据后，POI不会将数据写入内存，然后接着读取下一行，而我们可以获取到读取的每一行数据，将每一行数据的信息封装成对象后再做我们需要的操作。

例如有这样一个需求，导入一个100W数据量的Excel，读取其中的内容，并写入数据库中。我们就可以通过这种逐行读取的方式将读取的每一行都封装成对象后写入List集合中，当集合数据量达到1024或者其他数量值时（根据数据库情况调整），将List集合中的数据写入数据库并清空这一个集合继续读取/写入的操作。当然，Excel中的数据量不一定就是1024的整数，所以还要对最后剩下的数据作单独的插入。

3 导入依赖

Maven的相关依赖如下:

        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>4.0.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>4.0.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml-schemas</artifactId>
            <version>4.0.1</version>
        </dependency>

4 代码

4.1 核心的解析处理器

这里实现了POI提供的接口，重写的方法就是对每一行数据的处理。我在这里是将每一行的数据封装成了一个Employee对象，并写入一个List集合中，当List的大小达到1024时，执行插入，当然我这里没有连接数据库，使用打印控制台代替。另外，定义了成员变量，提供get()方法，使其可以在调用解析处理器的代码处获取想要的数据，包括因为数据不是1024的倍数而剩下的需要插入数据的List集合