excle导入复杂表头：校验表头和数据

于 2024-10-09 14:47:20 发布
阅读量190 收藏
点赞数 5
文章标签： java excel spring ide
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42547733/article/details/142786650
版权

校验表头和数据

ExcelListener：


import cn.com.fsg.common.exception.ErrorCode;
import cn.com.fsg.ihro.pay.excel.exceldata.PaySipfDtlTmpUploadExcelVO2;
import cn.com.fsg.ihro.pay.pojo.entity.PaySipfDtlTmpDO;
import cn.com.fsg.ihro.pay.support.util.BigDecimalUtils;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.alibaba.excel.exception.ExcelDataConvertException;
import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import static cn.com.fsg.common.exception.util.ServiceExceptionUtil.exception;

@Slf4j
@Data
public class PaySipfDtlTmpExcelListener2 extends AnalysisEventListener<PaySipfDtlTmpUploadExcelVO2> {

    private final List<PaySipfDtlTmpUploadExcelVO2> excelList = new ArrayList<>();

    private final List<PaySipfDtlTmpDO> list = new ArrayList<>();

    // 表头行数
    int n = 0;

    // 数据行数
    Integer count = 3;

    // 金额计数
    long amountCount = 0;

    /**
     * 这个每一条数据解析都会来调用invoke()方法
     *
     * @param data    数据
     * @param context context
     */
    @Override
    public void invoke(PaySipfDtlTmpUploadExcelVO2 data, AnalysisContext context) {
        // 它会按照你提供的实体对象一行一行的对应赋值，每读取一行就会进入一次这个方法，所以这个方法可以处理单行的数据逻辑，最后添加到list中
        // 校验数据
        String s = this.checkData(data);
        if (StringUtils.isNotBlank(s)) {
            PaySipfDtlTmpDO tmpDO = new PaySipfDtlTmpDO();
            tmpDO.setRownum(count);
            tmpDO.setErrMsg(s.substring(0, s.length() - 1));
            list.add(tmpDO);
        }
        excelList.add(data);
        count++;
    }

    /**
     * 校验数据
     *
     * @param data 数据
     */
    private String checkData(PaySipfDtlTmpUploadExcelVO2 data) {

        StringBuilder s = new StringBuilder();

        if (StringUtils.isBlank(data.getBelongDept())) {
            s.append("部门编码不能为空").append(",");
        }

        if (StringUtils.isBlank(data.getAmount1())) {
            amountCount++;
            // s.append("养老保险-单位不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount1())) {
            s.append("养老保险-单位格式填写错误").append(",");
        }
        if (StringUtils.isBlank(data.getAmount2())) {
            amountCount++;
            // s.append("养老保险-个人不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount2())) {
            s.append("养老保险-个人格式填写错误").append(",");
        }
        if (StringUtils.isBlank(data.getAmount3())) {
            amountCount++;
            // s.append("医疗保险-单位不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount3())) {
            s.append("医疗保险-单位格式填写错误").append(",");
        }
        if (StringUtils.isBlank(data.getAmount4())) {
            amountCount++;
            // s.append("医疗保险-个人不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount4())) {
            s.append("医疗保险-个人格式填写错误").append(",");
        }
        if (StringUtils.isBlank(data.getAmount5())) {
            amountCount++;
            // s.append("地方附加医疗险-单位不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount5())) {
            s.append("地方附加医疗险-单位格式填写错误").append(",");
        }
        if (StringUtils.isBlank(data.getAmount6())) {
            amountCount++;
            // s.append("失业保险-单位不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount6())) {
            s.append("失业保险-单位格式填写错误").append(",");
        }
        if (StringUtils.isBlank(data.getAmount7())) {
            amountCount++;
            // s.append("失业保险-个人不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount7())) {
            s.append("失业保险-个人格式填写错误").append(",");
        }
        if (StringUtils.isBlank(data.getAmount8())) {
            amountCount++;
            // s.append("工伤保险-单位不能为空").append(",");
        } else if (!BigDecimalUtils.isBigDecimal(data.getAmount8())) {
            s.append("工伤保险-单位格式填写错误").append(",");
        }

        return s.toString();
    }

    // 读取表头时调用
    @Override
    public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
        System.out.println("表头：" + headMap);
        String s = null;
        if (n == 0) {
            s = checkHead1(headMap);
        } else if (n == 1) {
            s = checkHead2(headMap);
        }
        n++;
        if (StringUtils.isNotBlank(s)) {
            throw exception(new ErrorCode(500, s));
        }
    }

    /**
     * 表头校验
     *
     * @param headMap 表头
     * @return 结果
     */
    private String checkHead1(Map<Integer, String> headMap) {
        StringBuilder s = new StringBuilder();
        if (StringUtils.isBlank(headMap.get(0)) || !headMap.get(0).equals("部门")) {
            s.append("第" + 1 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(1)) || !headMap.get(1).equals("养老保险")) {
            s.append("第" + 2 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(3)) || !headMap.get(3).equals("医疗保险")) {
            s.append("第" + 4 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(5)) || !headMap.get(5).equals("地方附加医疗险")) {
            s.append("第" + 6 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(6)) || !headMap.get(6).equals("失业保险")) {
            s.append("第" + 7 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(8)) || !headMap.get(8).equals("工伤保险")) {
            s.append("第" + 9 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(9)) || !headMap.get(9).equals("部门编码")) {
            s.append("第" + 10 + "列表头错误，请参照模板填写").append(",");
        }
        return s.toString();
    }

    /**
     * 表头校验
     *
     * @param headMap 表头
     * @return 结果
     */
    private String checkHead2(Map<Integer, String> headMap) {

        StringBuilder s = new StringBuilder();
        if (StringUtils.isBlank(headMap.get(1)) || !headMap.get(1).equals("单位")) {
            s.append("第" + 2 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(2)) || !headMap.get(2).equals("个人")) {
            s.append("第" + 3 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(3)) || !headMap.get(3).equals("单位")) {
            s.append("第" + 4 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(4)) || !headMap.get(4).equals("个人")) {
            s.append("第" + 5 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(5)) || !headMap.get(5).equals("单位")) {
            s.append("第" + 6 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(6)) || !headMap.get(6).equals("单位")) {
            s.append("第" + 7 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(7)) || !headMap.get(7).equals("个人")) {
            s.append("第" + 8 + "列表头错误，请参照模板填写").append(",");
        }
        if (StringUtils.isBlank(headMap.get(8)) || !headMap.get(8).equals("单位")) {
            s.append("第" + 9 + "列表头错误，请参照模板填写").append(",");
        }
        return s.toString();
    }

    // 读取完成后调用
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        System.out.println("所有数据解析完成！");
    }

    // 如果读取Excel时出现异常，则会调用这个方法
    @Override
    public void onException(Exception exception, AnalysisContext context) {
        if (exception instanceof ExcelDataConvertException) {
            ExcelDataConvertException excelDataConvertException = (ExcelDataConvertException) exception;
            // 对于ExcelDataConvertException异常，可以获取到有问题的数据和转换的目标类型
            System.out.println("数据转换异常：" + excelDataConvertException.getRowIndex() + " -> " + excelDataConvertException.getMessage());
        }
        throw exception(new ErrorCode(500, exception.getMessage()));
    }
}

用法：

public List<PaySipfDtlTmpDO> uploadExcelFile2(MultipartFile file, PaySipfDtlTmpUploadVO result) {
        List<PaySipfDtlTmpDO> list = new ArrayList<>();
        PaySipfDtlTmpExcelListener2 excelListener = new PaySipfDtlTmpExcelListener2();
        try {
            // 解析excel 从第二行读取数据
            EasyExcel.read(file.getInputStream(), PaySipfDtlTmpUploadExcelVO2.class, excelListener).sheet().headRowNumber(2).doRead();
        } catch (Exception e) {
            log.error("======uploadExcelFile1======上传文件存在格式或信息错误，无法解析");
            throw exception(new ErrorCode(500, "文件无法解析：" + e.getMessage()));
        }
        // 获取excel数据
        List<PaySipfDtlTmpUploadExcelVO2> excelList = excelListener.getExcelList();
        if (CollectionUtils.isEmpty(excelList)) {
            throw exception(new ErrorCode(500, "文件不能为空"));
        }

        // 获取错误信息
        List<PaySipfDtlTmpDO> tmpDOList = excelListener.getList();
        if (CollectionUtils.isNotEmpty(tmpDOList)) {
            result.setFlag(YesOrNo.NO.getCode());
            return tmpDOList;
        } else {
            // 判断金额是否全部为空
            long size = excelList.size() * 8L;
            long amountCount = excelListener.getAmountCount();
            if (amountCount == size) {
                throw exception(new ErrorCode(500, "所有金额不能都为空"));
            }
            result.setFlag(YesOrNo.YES.getCode());
            // 数据转换
            for (PaySipfDtlTmpUploadExcelVO2 excelVO : excelList) {
                // 金额 行转列
                PaySipfDtlTmpDO tmpDO1 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO1.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount1()));
                tmpDO1.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_17.getKey());
                list.add(tmpDO1);
                PaySipfDtlTmpDO tmpDO2 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO2.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount2()));
                tmpDO2.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_23.getKey());
                list.add(tmpDO2);
                PaySipfDtlTmpDO tmpDO3 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO3.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount3()));
                tmpDO3.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_18.getKey());
                list.add(tmpDO3);
                PaySipfDtlTmpDO tmpDO4 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO4.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount4()));
                tmpDO4.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_24.getKey());
                list.add(tmpDO4);
                PaySipfDtlTmpDO tmpDO5 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO5.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount5()));
                tmpDO5.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_19.getKey());
                list.add(tmpDO5);
                PaySipfDtlTmpDO tmpDO6 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO6.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount6()));
                tmpDO6.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_20.getKey());
                list.add(tmpDO6);
                PaySipfDtlTmpDO tmpDO7 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO7.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount7()));
                tmpDO7.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_26.getKey());
                list.add(tmpDO7);
                PaySipfDtlTmpDO tmpDO8 = PaySipfDtlTmpConvert.INSTANCE.convertExcel(excelVO);
                tmpDO8.setAmount(BigDecimalUtils.strToBigDecimal(excelVO.getAmount8()));
                tmpDO8.setPersPremType(PersPremTypeEnum.PERS_PREM_TYPE_21.getKey());
                list.add(tmpDO8);
            }

            // 设置条数
            result.setCount(excelList.size());
        }

        return list;
    }
Java知识技术分享
关注
easypoi 表头数据导入_使用easypoi根据表头信息动态导出excel
weixin_39591455的博客
12-22 1920
第一步添加依赖cn.afterturneasypoi-spring-boot-starter4.1.3org.apache.poipoiorg.apache.poipoi-ooxmlorg.apache.poipoi-scratchpadorg.apache.poipoi-ooxml-schemas创建实体DrillingDaily 注解@Excel表示需要导出那个字段，默认将其全部导出，不需要导...
Java实现Excel导入和校验
xunming的专栏
05-10 874
java使用easyexcel实现excel导入功能
EasyExcel导入导出excel 复杂表头 表头校验 数据校验
热门推荐
ZHANGLIZENG的博客
05-19 1万+
EasyExcel特点 Java领域解析，生成Excel比较有名的框架有Apache poi,jxl等，但他们都存在一个严重的问题就是非常的耗内存，如果你的系统并发量不大的话可能还行，但是一旦并发上来后一定会OOM或者JVM频繁的full gc. EasyExcel是阿里巴巴开源的一个excel处理框架，以使用简单，节省内存著称，EasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中，而是从磁盘上一行行读取数据，逐个解析。 EasyExcel采用一行一行
excel导入表头校验
qq_45906024的博客
10-21 555
Java导入excel文件，校验表头
easypoi导入复杂表头Excel
不积跬步无以至千里，不积小流无以成江河
07-26 4144
EasyPoi导入Excel
EasyExcel复杂表头数据导入
最难不过坚持，与你共同进步
11-02 2828
EasyExcel复杂表头数据导入。
Poi导入Excel校验表头
默慊的博客
06-07 3238
我们在日常的开发过程中，poi导入数据要根据注解的列名和顺序进行识别，那么首先要校验模版的正确与否，即表头是否正确，然后才能开始数据和业务层面的校验，最近也是被这个东西烦的不行，解决后记录一下，一个是方便自己以后查看，也给其他兄弟分享下，节省时间，话不多说，直接上代码： 通过有序集合的比较，就可以得出表头是否正确的结论啦，分享就到这里，有需要的兄弟快去试试吧！......
Excel导入，导入时进行数据校验，不匹配的数据弹窗提示哪行哪个数据有误
Outliergg的博客
06-15 819
Excel导入，并进行数据校验，错误或不匹配页面弹窗提示
java实现excel的导入导出（带参数校验:非空校验、数据格式校验）更新版
Mr_yu_shao的博客
04-08 2264
带参数校验的excel导入导出方案更新了，更加便捷！！！
导入excel,处理合并表头、复杂表头、多行表头
02-24
1.解决复杂表头的Excel导入。可以解决任何复杂的表头。 2.导入时，显示请稍后。。。提醒框,完毕后会自动隐藏 3.全面扫描Excel数据，将所有异常详细信息写入Excel，返回客户端，提供用户下载。方便修正错误数据。 4....
使用注解导入导出各类多表头及各种导入数据验证的i简单工具类
01-10
使用注解导入导出各类多表头，单表头，及各种导入数据验证（含非空，字符长度，数据包含与排他，正则验证及自定义验证（使用数据库操作）等）的i简单工具类
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 902
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
JDK1.0主要特性
FoolRabbit的专栏
10-06 333
JDK1.0主要特性。
JavaScript ArrayBuffer的读写与类型转换
白瑕 的博客
10-01 508
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
字符函数和字符串函数和内存函数
Java_fenxiang的博客
10-05 694
strtok函数原型与功能概述在 C 语言中，strtok函数的原型为char *strtok(char *str, const char *delim)。它的主要功能是将字符串str按照delim中指定的分隔符进行分割，返回被分割出来的子字符串。工作原理首次调用：当第一次调用strtok时，需要将待分割的字符串str作为...
Spring依赖注入和注解驱动详解和案例示范
J老熊
10-01 1007
在 Spring 框架中，依赖注入（Dependency Injection, DI）和注解驱动（Annotation-Driven）是其核心机制，它们为 Spring 应用提供了灵活性和可扩展性。依赖注入简化了对象间的依赖管理，而注解驱动则通过简洁的注解配置取代了繁琐的 XML 配置。本文将详细分析这两个机制，并通过示例加深理解。
==与equals比较
最新发布
suuijbd的博客
10-08 326
在JVM中，内存分为堆内存跟栈内存。他们二者的区别是： 当我们创建一个对象（new Object）时，就会调用对象的构造函数来开辟空间，将对象数据存储到堆内存中，与此同时在栈内存中生成对应的引用，当我们在后续代码中调用的时候用的都是栈内存中的引用。还需注意的一点，基本数据类型是存储在栈内存中。
基于Java(Jsp+Sevlet）+MySql 实现的（Web）成绩管理系统
神仙别闹的自留地
10-08 1415
如果能把负责学生成绩管理的模块独立出来形成一个独立的系统，便可以有效降低教务系统的数据量，不仅可以方便管理员对于所有学生的信息进行系统的管理，而且便于教师对学生成绩进行查询和修改，学生也可以查询自己的成绩。因此，开发一套合适的、兼容性好的系统是很有必要的。：DAO层主要是做数据持久层的工作，负责与数据库进行联络的一些任务都封装在此，DAO层的设计首先是设计DAO的接口，然后定义此接口的实现类，然后就可在模块中调用此接口来进行数据业务的处理，而不用关心此接口的具体实现类是哪个类，显得结构非常清晰。
多表头复杂Excel导入
07-25
多表头复杂Excel导入是指将一个包含多个独立数据表格的Excel文件内容批量导入到数据库、应用程序或其他系统的过程。这种情况通常发生在Excel文件结构较为复杂，含有多个由不同标题行标识的数据集，例如销售报告包含了每日销售额汇总、产品详情、客户信息等部分。 ### 导入流程及注意事项： #### 1. 预处理Excel文件 - **合并表头**：如果Excel文件中有多个未链接的表头，需要先通过公式如VLOOKUP、INDEX和MATCH函数将所有相关的列标题合并成一组完整的表头。 - **去除冗余数据**：检查并删除不必要的空白行或列，确保每个数据块都是干净且有序的。 #### 2. 确定目标数据结构 明确目标系统的预期数据结构，包括表之间的关联关系以及每张表内的字段定义。 #### 3. 数据转换与清洗 - **调整数据格式**：根据目标系统的需求，对日期、货币等特定类型的单元格进行适当的转换。 - **填充缺失值**：识别并处理缺失的数据项，可以采用默认值、平均值或前后的数据进行填充。 - **错误校验**：对数据进行初步的质量检查，确保没有语法错误或明显的异常值。 #### 4. 批量导入工具的选择与配置 选择适合的导入工具或脚本语言（如Python、PowerShell、SQL查询等），配置导入规则，特别是针对多表头的处理策略： - 使用正则表达式或特定函数来识别表边界和表头位置。 - 利用循环结构逐个处理每一个数据表，并将其对应插入正确的数据库表中。 - 对于关联表之间需要建立的关系，提前规划好主键和外键的设置。 #### 5. 测试与验证 - **小规模测试**：首先在少量数据上进行导入测试，确认流程无误。 - **完整性检验**：验证导入的数据是否完整、准确，特别关注关键字段的匹配性和一致性。 - **性能评估**：考虑导入大量数据的情况下的系统响应速度和资源消耗。 #### 6. 错误处理与日志记录 实现详细的错误处理机制，记录导入过程中遇到的问题及其解决步骤，便于后续调试与优化。 ### 相关问题: 1. **如何检测和修复Excel文件中的错误表头或数据丢失？** - 可以使用数据验证功能或专门的工具如OpenRefine、Microsoft Power Query来自动识别并修正这些问题。 2. **在导入大型多表头Excel数据时，如何优化导入过程以减少时间成本？** - 分批导入、使用更高效的编程语言脚本、优化数据预处理步骤均能有效提升效率。 3. **多表头Excel导入后，如何保证数据的一致性和准确性？** - 定期进行数据质量审计，实施严格的业务规则校验，同时利用数据同步工具持续监控数据变化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java知识技术分享

感谢支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值