Java学习笔记之——SpringBoot前后端分离项目Excel结合MySQL数据库实现一键导入导出

于 2024-06-23 00:14:15 发布
阅读量968 收藏 23
点赞数 11
分类专栏： JavaWeb学习 笔记 文章标签： java 数据库 学习 excel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45607971/article/details/139890455
版权

Java学习笔记之——Excel一键导入导出

使用的技术：SpringBoot3.X，Maven包管理，MybatisPlus，mysql数据库，MybatisX工具自动生成代码功能，EasyExcel阿里表格处理工具包，Logback日志输出

文章目录


本文对应仓库以及代码拉取方式： 

// 克隆远程仓库
git clone https://gitee.com/strivezhangp/java-study-log.git

// 打开克隆的目录
cd java-study-log

// 选择当前分支
git checkout logindemo

// 拉取当前分支代码
git pull

1 EasyExcel依赖注入

官方使用文档：https://easyexcel.opensource.alibaba.com/docs/current/，首先在，pom.xml文件中引入依赖。

<!--    阿里EasyExcel工具-->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>3.3.4</version>
</dependency>

2 EasyExcel与Apache POI 对比

  • 内存占用低

    EasyExcel 在处理大数据量时内存占用更低，因为它使用了基于SAX的解析模式，逐行读取和写入数据，不需要将整个文件加载到内存中。这使得它在处理大型Excel文件时更加高效，避免了内存溢出的问题。

  • 性能更好

    由于内存占用低，EasyExcel 的读写性能相对于 Apache POI 更加优越。特别是在处理数十万甚至上百万行数据时，EasyExcel 的表现明显优于 Apache POI。

  • 简单易用

    EasyExcel 提供了简洁的API，使用起来更加方便。它的API设计更贴近业务需求，易于上手，可以用更少的代码实现同样的功能。

  • 支持注解

    EasyExcel 支持通过注解来定义Excel列与Java对象属性的映射关系，简化了配置和映射过程。这种方式使得代码更加直观，易于维护。

2.1 简单的示例

Apache POI 示例：

Workbook workbook = new XSSFWorkbook();
Sheet sheet = workbook.createSheet("Animals");

Row headerRow = sheet.createRow(0);
String[] headers = {"ID", "Name", "Species", "Age"};
for (int i = 0; i < headers.length; i++) {
    Cell cell = headerRow.createCell(i);
    cell.setCellValue(headers[i]);
}

int rowIdx = 1;
for (TAnimals animal : animalsList) {
    Row row = sheet.createRow(rowIdx++);
    row.createCell(0).setCellValue(animal.getId());
    row.createCell(1).setCellValue(animal.getName());
    row.createCell(2).setCellValue(animal.getSpecies());
    row.createCell(3).setCellValue(animal.getAge());
}

ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
workbook.write(outputStream);
workbook.close();

EasyExcel 示例：

ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
ExcelWriterBuilder writerBuilder = EasyExcel.write(outputStream, TAnimals.class);
writerBuilder.sheet("Animals").doWrite(animalsList);

从示例中可以看出，EasyExcel 的代码更加简洁，减少了手动创建单元格和行的代码量。所以，EasyExcel的优缺点，总结见下：

优点：

  1. 内存占用低：基于SAX的解析模式，适合处理大文件。
  2. 性能更好：特别是在处理大数据量时表现更加优越。
  3. 简单易用：API设计简洁，代码量少，容易上手。
  4. 支持注解：通过注解定义列与属性的映射关系，配置简单。

缺点：

  1. 功能相对有限：相对于 Apache POI，EasyExcel 在处理某些复杂的Excel功能（如图表、公式等）方面可能不如 POI 强大。
  2. 文档和社区：虽然 EasyExcel 文档和示例逐渐完善，但 Apache POI 作为一个老牌项目，有着更加丰富的文档和社区支持。

3 功能实现

3.1 异常处理及日志收集

涉及到文件的读写，最好是完整记录相关日志以及异常的处理，保证安全的同时，为代码运行提供流畅性。

3.1.1 自定义异常处理类

模块涉及到文件的读写，为了保证系统运行的流畅性，要添加异常处理，捕捉系统中的一些异常信息，然后帮助更快的定位到读写中出问题的地方。主要涉及到需要自定义的异常为：

  • 导入异常：自定义异常类ExcelImportException继承运行异常类，实现异常的抛出；
  • 导出异常：自定义异常类ExcelExportException继承运行异常类，实现异常的抛出。
  • 全局异常处理：GlobalExceptionHandler 捕获后端服务抛出的异常，然后将异常信息返回前段，并输出到日志中。

具体实现见下：

// 导出异常类
public class ExcelExportException extends RuntimeException {
    public ExcelExportException(String message) {
        super(message);
    }

    public ExcelExportException(String message, Throwable cause) {
        super(message, cause);
    }
}

// 导入异常类
public class ExcelImportException extends RuntimeException {
    public ExcelImportException(String message) {
        super(message);
    }

    public ExcelImportException(String message, Throwable cause) {
        super(message, cause);
    }
}

// 全局异常捕获
public class GlobalExceptionHandler {
    private static final Logger logger = LoggerFactory.getLogger(GlobalExceptionHandler.class);


    /**
     * 捕捉处理自定义的导出异常
     *
     * @param e
     * @return
     */
    public ResponseEntity<String> handleExcelExportException(ExcelExportException e) {
        // 输出日志
        logger.error("导出异常", e);
        // 返回异常信息 code=500
        return new ResponseEntity<>(e.getMessage(), HttpStatus.INTERNAL_SERVER_ERROR);
    }

    public ResponseEntity<String> handleExcelImportException(ExcelImportException e){
        logger.error("导入异常",e);
        // 返回状态码 500
        return new ResponseEntity<>(e.getMessage(), HttpStatus.INTERNAL_SERVER_ERROR);
    }

    /**
     * 捕捉处理一些未知异常
     *
     * @param e
     * @return
     */
    public ResponseEntity<String> handelException(Exception e) {
        // 输出日志
        logger.error("异常", e);
        // 返回异常信息 code=500
        return new ResponseEntity<>(e.getMessage(), HttpStatus.INTERNAL_SERVER_ERROR);
    }
}
3.1.2 日志输出

日志输出采用的是SpringBoot默认的日志输出库是Logback。首先需要定义日志输出模版，在resources文件目录下：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss} - %msg%n</pattern>
</encoder>
</appender>

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>logs/application.log</file>
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss} - %msg%n</pattern>
</encoder>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>logs/application.%d{yyyy-MM-dd}.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
</appender>

<root level="INFO">
<appender-ref ref="STDOUT" />
<appender-ref ref="FILE" />
</root>
</configuration>

同时在SpringBoot项目配置文件中配置日志相关的配置。主要配置以下两点：

  • 日志输出的路径

  • 日志的默认输出级别（info、warn、error）

    logging:
  file:
    path: /log/
  level:
    root: info

    具体的使用方法，在需要输出日志的控制层中，初始化日志工厂，然后使用日志工厂输出日志：

    private static final Logger logger = LoggerFactory.getLogger(AnimalsController.class);
// 日志输出
logger.error("导出文件异常", e);

3.2 Excel文件与Mysql的导入导出

使用阿里的Excel文件读写工具，实现文件的读写，首先导入相关依赖，以及mybatisPlus依赖，进行数据库配置。Mybatis配置参考官方文件，对应的SpringBoot版本不同，配置方法不同。官网文件：https://baomidou.com/introduce/。

SpringBoot2.X版本参考博客：CSDN

因为文件与数据库的匹配中可能存在一些字段是无关字段，所以需要创建一个新的DTO实体类同时进行序列化，如下：

@Data
public class AnimalsDto implements Serializable {

    @ExcelProperty(value = "名字", index = 1)
    private String name;

    @ExcelProperty(value = "种类", index = 2)
    private String species;

    @ExcelProperty(value = "年龄", index = 3)
    private Integer age;

    @ExcelProperty(value = "价格", index = 4)
    private Double price;

    @ExcelProperty(value = "描述", index = 5)
    private String description;
}
3.2.1 文件的导出

导出文件的基本步骤如下：

  1. 配置文件中配置导出路径。

    # 文件导出路径
export:
  file:
    path: D:\Code\JavaCode\DBExport\dbExportFile\animals.xlsx

接口调用 -> 查询数据库（MybatisPlus的service层）-> 封装的DBExportUtils工具导出查询结果 -> 返回是否导出成功消息

  1. 封装一个导出工具类，将查询的数据集合写入Excel文件中，工具类到出方法 exportToExcel() 采用的是 static静态的方法，直接由类名调用，无需实例化类。同时在文件导出时，使用 tyr-catch捕获异常，并抛出导出异常。
public class DBExportUtils {

    /**
     * 将宠物list导出为excel表
     * 该操作只在内存进行处理，减少IO开销
     *
     * @param animalsList 宠物列表
     * @return
     */
    public static void exportToExcel(List<TAnimals> animalsList, String filePath) {
        try (FileOutputStream outputStream = new FileOutputStream(new File(filePath))){
            // 直接写入文件系统
            EasyExcel.write(outputStream, TAnimals.class).sheet("宠物信息").doWrite(animalsList);
        } catch (Exception e) {
            throw new ExcelExportException(e.getMessage(), e);
        }
    }
}

  1. 工具类在控制层调用，采用mybatisPlus查询数据库，存入DTO类集合中，然后调用工具类方法，是实现导出，同时输出日志。

    注意：此处的返回信息没用经过JSON格式化，只是简单的返回了一个信息。

// 注入文件导出路劲
@Value("${export.file.path}")
private String filePath;

@GetMapping("/export")
public ResponseEntity<String> exportAnimalsToExcel() {
    try {
        List<TAnimals> animals = animalsService.list();
        DBExportUtils.exportToExcel(animals, filePath);
        return new ResponseEntity<>("导出成功:" + filePath, HttpStatus.OK);
    } catch (ExcelExportException e) {
        logger.error("导出文件异常", e);
        return new ResponseEntity<>("文件导出失败", HttpStatus.INTERNAL_SERVER_ERROR);
    }
}
3.2.2 文件的导入

文件导入的基本步骤如下：

  1. 通过控制层，接受前端传来的文件，通过MultipartFile接口来处理文件，转为流的方式读取文件内容。

  2. 通过实现EasyExcel接口ReadListener，实现表内数据的读取，并将数据映射到DTO字段，在转到到实体类集合。

    ReadListener 是 EasyExcel 库中用于处理 Excel 数据读取的监听器接口。它提供了一种机制，可以在数据读取过程中对每一行数据进行处理，并在数据读取完成时执行一些操作。通过实现 ReadListener 接口，用户可以自定义数据读取的行为，例如将读取到的数据进行转换、验证、缓存或批量处理。

    ReadListener 接口主要有两个方法：

    • invoke 方法：处理从 Excel 文件中读取到的一行数据。

    • doAfterAllAnalysed 方法：在所有数据都读取完毕后执行的操作。

  3. 通过MybatisPlus实现数据库中数据插入。

**强调：**处理大量数据的导入时，可以采用分批处理的方式配合多线程，实现大量数据的导入操作。通过定义一个 cacheAnimalsList静态常量（所有实例化的类对象共享！！！），缓存要处理的一批数据，具体见代码：

/**
 * <p>描述: 数据读取监听类 </p>
 * <p>创建时间: 2024/6/18 21:30</p>
 */
@Component
public class DataListener implements ReadListener<AnimalsDto> {

    // 缓存读取的数据
    private final List<TAnimals> cacheAnimalsList = new ArrayList<>();

    @Autowired
    private TAnimalsService animalsService;

    // 每度取一条数据进行的操作
    @Override
    public void invoke(AnimalsDto animalsDto, AnalysisContext context) {
        if (animalsDto != null) {
            TAnimals animals = new TAnimals();
            animals.setName(animalsDto.getName());
            animals.setAge(animalsDto.getAge());
            animals.setPrice(animalsDto.getPrice());
            animals.setSpecies(animalsDto.getSpecies());
            animals.setDescription(animalsDto.getDescription());

            cacheAnimalsList.add(animals);

            // 大量文件的分批处理
            if (cacheAnimalsList.size() >= 100) {
                // 保存到数据库
                animalsService.saveBatch(cacheAnimalsList);
                // 清除缓存数据
                cacheAnimalsList.clear();
            }
        } else {
            throw new ExcelImportException("文件未空，未读取");
        }
    }

     /**
     * 数据读取完毕需要进行的操作
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        // 保存到数据库
        animalsService.saveBatch(cacheAnimalsList);
        cacheAnimalsList.clear();
    }
}

// 控制层
@PostMapping("/upload")
    public ResponseEntity<String> importAnimalsToDB(@RequestBody MultipartFile file) {
        // 日志输出
        logger.info("收到传来的文件:{}", file.getOriginalFilename());
        if (file.isEmpty()) {
            logger.warn("文件为空");
            return new ResponseEntity<>("文件为空", HttpStatus.INTERNAL_SERVER_ERROR);
        }
        // 将文件转为流的方式，进行读取
        try(InputStream inputStream = file.getInputStream()) {
            // 读取文件
            EasyExcel.read(inputStream, AnimalsDto.class, dataListener)
                    .sheet().doRead();
            return new ResponseEntity<>("文件上传并导入成功", HttpStatus.OK);
        } catch (IOException e) {
            logger.error("读取文件错误", e);
            throw new ExcelImportException("文件上传失败", e);
        }
    }

4 关于一些关键类的说明

4.1 MultipartFile接口

MultipartFile 是 Spring 框架中用于处理文件上传的类。它表示一个上传的文件并提供了多种方法来获取文件的内容和元数据。MultipartFile 接口定义在 org.springframework.web.multipart 包中。

以下是 MultipartFile 接口中一些常用的方法及其功能：

  1. **String getName()**返回表单中上传文件字段的名称。
  2. **String getOriginalFilename()**返回上传文件的原始文件名。
  3. **String getContentType()**返回文件的 MIME 类型，如果无法确定则返回 null。
  4. **boolean isEmpty()**检查文件是否为空，即文件大小是否为 0 字节。
  5. **long getSize()**返回文件的大小（字节数）。
  6. **byte[] getBytes()**返回文件的内容，作为字节数组。
  7. **InputStream getInputStream()**返回文件内容的输入流，用于读取文件内容。
  8. **void transferTo(File dest)**将接收到的文件传输到给定的目标文件。目标文件路径可以是绝对路径或相对路径。

一些额外的说明：

配置文件上传大小：需要在 Spring 配置中设置最大上传文件大小，例如在 application.properties 文件中添加：

spring.servlet.multipart.max-file-size=2MB
spring.servlet.multipart.max-request-size=2MB

处理大文件上传：对于大文件上传，可能需要进行流式处理而不是一次性将文件内容读取到内存中。

安全性：处理文件上传时需要注意安全性，如防止文件名注入攻击，验证上传文件的类型和大小等。

.Strive..
关注
  • 11
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java项目教程笔记《盈利宝》SpringBoot+Vue前后端分离项目实战
07-21
盈利宝是一个大型互联网金融项目（理财业务），作为全栈项目涵盖：前端、后端以及金融业务开发。前端为Vue，Axios, 后端采用Spring Boot , Dubbo 微服务的架构，包括多个独立的微服务，micr-common公共服务，micr-...
springboot +vue3 前后端分离
08-17
Spring boot+mybatis+shiro+mysql+jwt+quartz+swagger2+easyexcel 等框架搭建的后端服务，前端使用vue3+typescript+andtdesgin 等技术 实现了前后端分离，该项目更细度的控制了权限，实现了细度的RBAC功能.
前后端分离架构如何导出Excel表格
亦翼的博客
10-06 1048
本文基于SpringBoot前后端分离架构，介绍如何使用Hutool提供的工具类导出Excel表格。
vue + springboot 前后端分别导出excel两种方法
qq_25529689的博客
11-02 9209
vue + springboot 前后端导出excel两种方法前端导出excel后端导出excel 前端导出excel 一、导出步骤： 后端返回需要的数据列表。 前端去组装。 使用oper-excel.js函数导出。 二、附上oper-excel.js文件 链接：https://pan.baidu.com/s/1YzX6CWRHR1gVWxW80NO56w 提取码：65zi 三、前端实现过程 <template> <el-button icon="el-icon-download"
mybatis-plus(MBP)+Easy-Es(EE)进行同步的数据传递
最新发布
学Core的小菜鸡的博客
05-16 496
mybatis-plus(MBP)+Easy-Es MBP生成工具生成实体类 添加对应注解 es和mbp都需要扫描mapper文件,建议Mapper层对mapper文件作隔离 MBP对应的Mapper文件 controller层 进行测试操作 操作前 查询查看EE官方文档,这里不在演示
前后分离项目导出excel
俞宝山
05-31 665
互联网科技公司的IT岗位越来越细化（前端专门搞前端，后端专门搞后端），再加上系统软件越来越注重用户体验跟美观，前后分离的开发模式已成为行业的趋势。
前后端分离场景下导出excel方法如何产品化？
java后端开发的博客，不仅仅是后端开发
02-24 946
java导出excel/csv文件怎么实现？vue前端怎么导出数据？本文给出了常用解决方法，及简单实现产品化的一点思路。
前后端分离实现excel批量导入导出功能
qq_53324833的博客
05-12 2663
前言 本功能基于springboot和vue技术架构。 springboot后台接口编写 从数据库导出下载 首先我们会用到的一个开发工具，hutool，引入其依赖： <!--hutool：工具类用不起的注意升级jar包版本或者降低版本，一般都是升高--> <dependency> <groupId>cn.hutool</groupId> <artifactId>huto
基于Springboot+MybatisPlus+Vue前后端分离的共享笔记管理系统
06-07
开发语言：Java8 数据库：Mysql5 前端框架：Vue，ElementUI组件 后端框架：Springboot【内嵌】 MybatisPlus 【ORM javabean -- 数据库表实体 】 数据库连接池：Duriud【当一堆连接】 服务器：Tomcat，SSM SHH...
JAVA毕业设计之Springboot017学生读书笔记共享(springboot+mysql)完整源码.zip
03-23
这个资源是一个基于Spring Boot和MySQL的Java毕业设计项目，名为“学生读书笔记共享”。该项目旨在为学生提供一个在线平台，让他们...同时，你还可以学习到如何进行前后端分离的开发，提高自己的编程能力和项目经验。
Java毕业设计 基于SpringBoot+Vue前后端分离l的单词笔记本的设计与实现+部署文档+全部资料（优秀项目）.zip
04-22
Java毕业设计 基于SpringBoot+Vue前后端分离l的单词笔记本的设计与实现+部署文档+全部资料（优秀项目）.zipJava毕业设计 基于SpringBoot+Vue前后端分离l的单词笔记本的设计与实现+部署文档+全部资料（优秀项目）.zip...
excel导入导出，包括纯前端解析，后端解析导入导出方式
03-27
excel导入导出，包括导入（纯前端解析、后端解析），导出（从前端导入到后端，生成excel导出到前端），完全就是开发excel方面所需要的，强烈推荐！！！
Excel导出，js实现
12-27
Excel导出，js实现.
SpringBoot整合EasyExcel+MyBatis-Plus实现Excel批量导入和导出
李长渊的博客
03-26 7577
使用EasyExcel实现批量导入和导出
使用Easyexcel导入大批量数据
weixin_45816407的博客
09-02 9468
采用SpringBoot+MybatisPlus+easyexcel进行操作 主要是文件导入读取并存储到数据库 第一步添加依赖 <!--easyexcel，推荐使用2.0 以上版本，功能更加完善--> <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId>
easyExcel分批导入
m0_74803047的博客
03-27 281
/page代表excel页码,"sheet-" + page代表所属页码的名字。//users.getResult() 查询到的数据。--easyExcel的依赖-->--myBatis的分页插件-->//分页茶叶的分页查询。//表名与实体类的映射。3.导入mapper层。
easyExcel的导入
java程序员的蜕变之路
10-11 2544
1.如此大批量数据的导出和导入操作，会占用大量的内存实际开发中还应限制操作人数。2.在做大批量的数据导入时，可以使用jdbc手动开启事务，批量提交。
Springboot，SpringMVC，微服务整合Mybatis Plus使用easyExcel 导入Excel功能实现增删查改实现
D_Zhou_Sir的博客
07-15 1164
技术栈单表实现增删查改+导入功能新增填写新增，校验去重修改编辑修改导入导入EXCEL生成，按product_code、store_code、material_code为主键，可以导入更新。
springboot实现excel数据导入导出
tang_seven的博客
11-30 1589
springboot使用apche poi和easyexcel操作excel，实现数据的写入和读取
springboot前后端不分离项目笔记
09-09
下面是一些笔记，可以帮助你理解如何在Spring Boot项目中进行前后端不分离的开发： 1. 项目结构：在项目中创建一个统一的目录结构，将前端和后端代码放置在不同的子目录中。可以按照功能或模块来组织代码。 2. 视...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值