EasyExcel 并发读取文件字段并进行校验，数据写入到新文件，批量插入数据到数据库

最新推荐文章于 2024-04-13 17:06:32 发布
最新推荐文章于 2024-04-13 17:06:32 发布
阅读量3.4k 收藏 2
点赞数 1
分类专栏： java后端架构 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bibiboyx/article/details/108605175
版权

背景

公司要求做一个数据统计类的功能，大概就是由每个地方采集数据用excel进行导入，根据地方大小每个文件的数量可能在10万-100万之间不等，导入时要求对每个字段进行校验，可能存在的规则有非空判断，时间格式判断，长度判断，手机号这类正则表达式类校验，文件有多个sheet，每个sheet对应一个表，对应的数量不确定但是不会重复表，有个别sheet需要前面sheet的字段判断。

如果数据有错的，要求在后面新加一列告诉用户错误的原因，正确的数据也要输出一遍（不理解客户的想法。。。），未来有可能会开新sheet单独列出错误的每条数据和错误内容。

最终版本分为单机版和web版，单机版让某些安全要求高的用户用，web版全国通用。

web版作为一个微服务项目提供接口道原来做的信息管理平台。

 

思路

由于web版可以采用的功能更丰富，如补充机制，定时任务，后台MQ异步数据处理等等，这里只谈谈单机版的demo思路。

遇到这类情况首先传统poi方式是行不通的，不过poi也有自己的事件监听机制，这里和EasyExcel是一样的，每一行一行的读取。

 

1.因为EasyExcel不支持多并发写入，所以这里采用了读、写，数据库插入并发操作。

2.校验规则由注解实现，启动时将需要校验的实体类扫描并存到一个容器里，读取每行数据时根据注解上的内容进行校验

3.本次尝试用非阻塞形式实现，因此出现大量的循环......需要注意的有主线程等待超时问题，子线程及时跳出循环问题，有错误数据及时停止数据库线程

4.子线程若执行时间过长也需要及时中断，防止出现线程死锁问题

 

老版本demo：https://download.csdn.net/download/bibiboyx/12897555

哔哔小子
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用 EasyExcel 读取Excel（两种方式）
dei5960的博客
09-01 8352
引入jar包 <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>1.1.2-beta5&...
eaasyexcel批量导入+校验
laoxingxingdefox的博客
12-13 2694
用POI做的话数据量太大造成内存溢出，OOM 怎么办 1.上传Excel表的人员手工传得少一点 2.后台判断一次一次性传的少一点 （POI的SAX模式可以一定程度解决一些内存溢出的问题） POI特点： 1.功能强大 2.代码书写冗余复杂 3.读写文件消耗内存较大，容易OOM EasyExcel重写了POI对07Excel的解析，解决一部分了内存消耗特大的问题03版本任依赖POI的SAX模式 EasyExcel特点 1.数据模型层面进行了封装，使用简单 2.重写了07版本的Excel解析代码，减低内存消耗，可
基于EasyExcel的Excel读取
咘噜biu的博客
08-21 981
基于EasyExcel的分批次读取
EasyExcel + Validation实现bean校验
adminstritor的博客
04-13 378
业务中可能存在多种导入需求，我们可以创建一个通用listener，就不用一个导入excel需求就创建一个独立的listener了。的invoke方法来进行逐行读取的, 所以我们可自定义listener来重写Invoke方法，将bean校验逻辑放入即可。Easyexcel是通过。1.通用listener。2.Bean校验工具类。
EasyExcel-----使用篇(读取Excel)
donaldson的博客
04-28 3952
一、官方文档地址 https://www.yuque.com/easyexcel/doc/easyexcel#63093516 maven坐标，版本同步https://github.com/alibaba/easyexcel <dependency> <groupId>com.alibaba</groupId> <artifactId>e...
通过EasyExcel+线程池实现百万级数据从Excel导入到数据库
03-26
每读取到一行数据会先做数据校验，如果校验通过后就会放到缓存集合中，List数量积累到1000时就会通过Mybatis的批量操作进行数据插入。doAfterAllAnalysed方法会在读取Excel完成后进行调用。 通过以上步骤，可以利用...
使用阿里巴巴的EasyExcel库将数据和图片导出到一个Excel文件
最新发布
05-07
它展示了如何使用EasyExcel库来处理复杂的Excel文件导出任务，包括自定义列宽和图片布局。可以参考博客链接 https://blog.csdn.net/xiaosemei/article/details/127671561 有具体的效果，及代码实例
读取Excel格式CSV格式文件
06-14
这段代码会打开名为"example.xls"的Excel文件，读取第一张工作表（索引为0）的所有数据，并打印到控制台。 而使用javacsv库读取CSV文件的示例代码如下： ```java import com.csvreader.CsvReader; public class ...
EasyValidate优雅地校验提交数据完整性
08-26
主要介绍了EasyValidate优雅地校验提交数据完整性，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
easyexcel生成excel_excel如何分别实现按行读和按列读呢
weixin_39854070的博客
11-23 2806
近期有个需求，说是要用到excel导入导出，一般我们的想法都是按照行数，于是实现了，后面发现公司需求的是列读，甚至不规则的单个excel的读。于是就用poi自己写了按照单元格读的实现。一、按行读想起了之前用到的poi，经过搜索发现，开源的项目中有比较好的封装poi的框架，一个是阿里出的easyExcel，另一个是easypoi，感觉使用起来都很方便。网上说easyExcel能解决大文件内存溢出问题...
读取大数据量的excel文件
04-26
本案例采用的poi读取大数据的excel文件 usermodel模式对excel操作前需要将文件全部转入内存，对较大文件来说内存开销很大。但是其使用简单。 eventusermodel模式采用事件模型，对文件边读取边处理，内存消耗较低，效率高，因为不用等待文件全部装入内存。但使用较复杂。 对12万条数据，7M大小的文件也能正常运行。无需设置vm的内存空间
使用EasyExcel导入表格来进行批量插入数据----后端实现
qq_45968950的博客
04-17 2044
1.创建一个实体类对应表格中的字段： @Data @EqualsAndHashCode public class RepositoryExcel { private Long safeTypeId; private Integer quesType; private String quesContent; private String options; private String answer; } 2.创建数据监听器： 注意：需要使用set方法把Sp
关于使用easyExcel读取前端文件和MybatisPlus批量插入
我怎么天天吃不饱的博客
07-26 355
最近写项目，后端需要用到easyExcel来获取前端上传的表格，分析表格数据并存储到数据库 因为项目中我暂时只用到读Excel，所以文档的地址就给大家放到上面啦，有其他需要的话可以自查 MybatisPlus其实也有提供一个批量插入的方法，但是那个方式本质上也是多次的调用insert() 关于insertBatchSomeColumn(List list)这个方法，大家可以直接复制下面的代码就可以了
使用EasyExcel读写Excel文件
匿名攻城狮
04-14 3226
EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。在尽可能节约内存的情况下支持读写百M的Excel。
easyExcel读数据后在写入另一个excel
sj1231984的专栏
06-18 2755
需求说明：如下图所示，excel中有4个sheet,每个sheet的数据格式都一样，有5列，第一列为订单id,现在要根据订单id到数据库中查询出其他几列的信息并补充到excel中。 代码如下：首先为service中的主方法 public void userMessage() { // String path = this.getClass().getProtectionDomain().getCodeSource().getLocation().getPath();
java 多线程分页读取放入队列，多线程写入EasyExcel
spjhandsomeman的专栏
07-30 1555
@Test public void test() throws InterruptedException, ExecutionException { String resStr = "{\"languageCode\":\"en-US\",\"categoryType\":\"\",\"categoryLevel\":\"\"}"; GoodsPriceSellListDTO condition = JSON.parseObject(resStr, GoodsPr..
采用EasyExcel+多线程的方式实现大批量数据写入数据库
weixin_52369679的博客
07-09 1599
然后就决定自己来想怎么做，经过思考决定在第二个版本多线程的基础上来实现，我采用EasyExcel来读取数据，然后对数据进行分片操作，每一片对应一个线程，然后采用MybatisPlus的批量插入，一次插入一片数据，我定义的一片数据为500条。回归正题因为是周五下午快下班告诉我的，所以当时思考了一下，决定采用POI来做（因为之前没有用过这个功能）后来写了一下，实现了这个功能（第一个版本），但是非常简陋，面对2000条数据都很耗时，更不要说30w条数据。
easyexcel Excel导入
weixin_45571513的博客
11-25 292
为什么使用EasyExcel： （1）Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc。 （2）EasyExcel是阿里巴巴开源的一个excel处理框架，以使用简单、节省内存著称。EasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中，而是从磁盘上一行行读取数...
Spring 使用EasyExcel 写入数据库中的数据并返回到前端进行下载到本地
05-26
使用EasyExcel可以将Excel中的数据读取出来，并且方便地写入到数据库中。具体实现步骤如下： 1.在pom.xml中添加EasyExcel的依赖 ``` <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.1.7</version> </dependency> ``` 2.编写实体类，用于映射Excel中的数据 ``` public class User { private String name; private Integer age; // getter和setter方法省略 } ``` 3.编写Controller方法，用于处理上传Excel文件并将数据写入到数据库中 ``` @PostMapping("/upload") public void upload(@RequestParam("file") MultipartFile file) { try { InputStream inputStream = file.getInputStream(); EasyExcel.read(inputStream, User.class, new UserListener(userService)).sheet().doRead(); } catch (IOException e) { e.printStackTrace(); } } // UserListener类用于处理读取到的Excel数据 public class UserListener extends AnalysisEventListener<User> { private UserService userService; public UserListener(UserService userService) { this.userService = userService; } private List<User> userList = new ArrayList<>(); @Override public void invoke(User user, AnalysisContext context) { userList.add(user); if (userList.size() >= 5) { // 每5条记录批量插入数据库 userService.batchInsert(userList); userList.clear(); } } @Override public void doAfterAllAnalysed(AnalysisContext context) { userService.batchInsert(userList); } } ``` 4.将写入数据库中的数据返回到前端进行下载到本地 ``` @GetMapping("/download") public void download(HttpServletResponse response) { List<User> userList = userService.getAllUsers(); try { response.setContentType("application/vnd.ms-excel"); response.setCharacterEncoding("utf-8"); String fileName = "users.xlsx"; response.setHeader("Content-disposition", "attachment;filename=" + URLEncoder.encode(fileName, "utf-8")); EasyExcel.write(response.getOutputStream(), User.class).sheet("用户信息").doWrite(userList); } catch (IOException e) { e.printStackTrace(); } } ``` 以上就是使用EasyExcel进行Excel数据读写和下载的基本流程，可以根据实际需求进行修改和扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值