Java中easyExcel实现通用导入

@菜鸟进阶记@

于 2024-05-17 18:01:24 发布

阅读量480

点赞数 5

文章标签： java 开发语言 spring boot

本文链接：https://blog.csdn.net/weixin_39789340/article/details/139009502

版权

一，EasyExcel使用
1.1 添加EasyExcel依赖

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>2.2.7</version>
</dependency>

1.2 导入实体

/**
 * 导入模板
 */
@Data
public class FrozenBuckleImportDTO implements Serializable {
    @ExcelProperty(value = "客户号*",index = 0)
    @ExcelDataValid(message = "客户号不能为空，请填写后重新导入！")
    @Size(max = 64, message = "客户号 不能超过64")
    private String custNo;

    @ExcelProperty(value = "客户名称*",index = 1)
    @ExcelDataValid(message = "客户名称不能为空，请填写后重新导入！")
    @Size(max = 128, message = "客户名称 不能超过128")
    private String custCnName;

    @ExcelProperty(value = "客户类型",index = 2,converter = WhetherConverter.class)
    @ExcelDataValid(message = "客户类型不能为空，请填写后重新导入！")
    @Size(max = 12, message = "客户类型 不能超过12")
    @DictTypeProperty("CustRisk_CustClass")
    private String custClass;
    }

1.3 导入实现
a. Controller

 @ApiOperation(value = "导入", notes = "导入")
    @PostMapping(value = "/importExcel", headers = {"content-type=multipart/form-data"})
    public ObjectRestResponse importExcel(@RequestParam("file") MultipartFile file) {
        if (file.isEmpty()) {
            return new ObjectRestResponse(HttpStatus.HTTP_INTERNAL_ERROR, "文件不能为空", null );
        }
        try {
            return frozenBuckleService.importExcelInfo(file);
        } catch (Exception e) {
            log.error("导入异常：", e);
            String substring = e.getMessage().substring(66);
            String s = substring.replaceAll("[a-zA-Z={}]", "");
            return new ObjectRestResponse(HttpStatus.HTTP_INTERNAL_ERROR, "导入异常："+s, null );
        }
    }

b. 具体实现方法

@Override
    public ObjectRestResponse importExcelInfo(MultipartFile file) throws Exception{
        List<FrozenBuckleImportDTO> list = EasyExcel.read(new BufferedInputStream(file.getInputStream())).head(FrozenBuckleImportDTO.class).sheet().doReadSync();
        log.info("进入导入方法……{}",list);
        EasyExcel.read(new BufferedInputStream(file.getInputStream()),FrozenBuckleImportDTO.class, EasyExcelUtils.getReadListener(dataProcess(),100)).sheet().doReadSync();
        return ObjectRestResponse.ok();
    }

c. 数据处理方法

 public Consumer<List<FrozenBuckleImportDTO>> dataProcess() {
        log.info("具体执行函数……");
        List<Td51FrozenBuckle> list = new ArrayList<>();
        Consumer<List<FrozenBuckleImportDTO>>  consumer= datas -> {
            for (FrozenBuckleImportDTO data : datas) {
                log.info("获取数据：{}",data);
                log.info("添加自己的业务逻辑代码……");
            }
            //数据处理
            log.info("所有数据……{}",list);
        };
        return consumer;
    }

二，数据转换

数据转换实现方法。数据字典采用缓存获取的方式处理，对应的数据字典类型可以使用注解形式获取，其中的缓存获取数据字典需要自己根据项目情况实现。

/**
 * @ClassName: 数据转换
 * @Description TODO 获取数据字典进行数据转换
 **/
@Slf4j
public class WhetherConverter  implements Converter<String> {

    private Map<String, String> getDictMap(ExcelContentProperty contentProperty) throws Exception{
        //获取当前字段
        Field field = contentProperty.getField();
        //获取字段上的注解
        DictTypeProperty declaredAnnotation = field.getDeclaredAnnotation(DictTypeProperty.class);
        if (Objects.isNull(declaredAnnotation)){
            throw new Exception("没有这个注解");
        }
        //获取DictTypeProperty的value
        String dictType = declaredAnnotation.value();
        //缓存类型
        JSONArray jsonArray = (JSONArray) WebUtils.getRedisValue("aml-basic:dict:"+dictType);
        //取出字典
        Map<String, String> dicMap = jsonArray.stream().collect(Collectors.toMap(e -> ((JSONObject) e).get(CommonConstants.DICT_VALUE).toString(), e -> ((JSONObject) e).get(CommonConstants.DICT_LABEL).toString()));
        return dicMap;
    }


    /** Java数据类型 **/
    @Override
    public Class supportJavaTypeKey() {
        return String.class;
    }

    /** Excel文件中单元格的数据类型  string **/
    @Override
    public CellDataTypeEnum supportExcelTypeKey() {
        return CellDataTypeEnum.STRING;
    }

    /** 读取Excel文件时 **/
    @Override
    public String convertToJavaData(CellData cellData, ExcelContentProperty contentProperty, GlobalConfiguration globalConfiguration) throws Exception {
        String value = cellData.getStringValue();
        Map<String, String> dictMap = getDictMap(contentProperty);
        log.info("读取Excel数据：{}，{}",value,dictMap);
        for (String key: dictMap.keySet()){
            String dictValue = dictMap.get(key);
            if(dictValue.equals(value)){
                return key;
            }
        }
        return value.toString();
    }


    /** 写入Excel文件时 **/
    @Override
    public CellData convertToExcelData(String value, ExcelContentProperty contentProperty, GlobalConfiguration globalConfiguration) throws Exception {
        Map<String, String> dictMap = getDictMap(contentProperty);
        String dictValue = dictMap.get(value);
        log.info("写入Excel数据：{}，{},{}",value,dictMap,dictValue);
        return new CellData(dictValue);
    }
}

添加自定义注解

 /**
 * @ClassName: DictTypeProperty
 * @Description TODO 数据字典注解，没有具体实现，用作导出转换
 **/
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
public @interface DictTypeProperty {
    /** 数据字典 **/
    String value() default "";
}

导入实体中使用
例：如图，
a. 在注解@ExcelProperty添加数据字典转换属性converter = WhetherConverter.class
b. 添加自定义注解@DictTypeProperty(“CustRisk_CustClass”)，value为数据字典类型

    @ExcelProperty(value = "客户类型",index = 2,converter = WhetherConverter.class)
    @ExcelDataValid(message = "客户类型不能为空，请填写后重新导入！")
    @Size(max = 12, message = "客户类型 不能超过12")
    @DictTypeProperty("CustRisk_CustClass")
    private String custClass;

三，通用的监听工具类，避免每添加一个导入都需要写监听的冗余代码。

/**
 * @ClassName: easyexcel工具类
 * @Description TODO
 **/
@Slf4j
public class EasyExcelUtils<T> {
    /**
     * 获取读取Excel的监听器对象
     * 为了解耦及减少每个数据模型bean都要创建一个监听器的臃肿, 使用泛型指定数据模型类型
     * 使用jdk8新特性中的函数式接口 Consumer
     * 可以实现任何数据模型bean的数据解析, 不用重复定义监听器
     * @param consumer 处理解析数据的函数, 一般可以是数据入库逻辑的函数
     * @param threshold 阈值,达到阈值就处理一次存储的数据
     * @param <T> 数据模型泛型
     * @return 返回监听器
     */
    public static <T> AnalysisEventListener<T> getReadListener(Consumer<List<T>> consumer, int threshold) {

        return new AnalysisEventListener<T>() {

            /**
             * 存储解析的数据 T t
             * ArrayList基于数组实现, 查询更快
             * LinkedList基于双向链表实现, 插入和删除更快
             */
            List<T> dataList = new LinkedList<>();

            /**
             * 每解析一行数据事件调度中心都会通知到这个方法, 订阅者1
             * @param data 解析的每行数据
             * @param context
             */
            @Override
            public void invoke(T data, AnalysisContext context) {
                log.info("订阅者1执行时间------{}----数据：{}", LocalDateTime.now(),data);
                valid(data);
                dataList.add(data);
                // 达到阈值就处理一次存储的数据
                if (dataList.size() >= threshold) {
                    consumer.accept(dataList);
                    dataList.clear();
                }
            }

            /**
             * excel文件解析完成后,事件调度中心会通知到该方法, 订阅者2
             * @param context
             */
            @Override
            public void doAfterAllAnalysed(AnalysisContext context) {
                log.info("订阅者2执行时间------{}----数据：{}", LocalDateTime.now(),dataList);
                // 最后阈值外的数据做处理
                if (dataList.size() > 0) {
                    consumer.accept(dataList);
                }
            }

            /**
             * 异常方法 (类型转换异常也会执行此方法)  （读取一行抛出异常也会执行此方法)
             */
            @Override
            public void onException(Exception exception, AnalysisContext context) {
                log.info("数据异常");
                // 如果是某一个单元格的转换异常 能获取到具体行号
                if (exception instanceof ExcelDataConvertException) {
                    ExcelDataConvertException excelDataConvertException = (ExcelDataConvertException)exception;
                    log.error("第{}行，第{}列解析异常，数据为:{}", excelDataConvertException.getRowIndex(),
                            excelDataConvertException.getColumnIndex(), excelDataConvertException.getCellData());
                    throw new RuntimeException("第"+excelDataConvertException.getRowIndex()+"行" +
                            "，第" + (excelDataConvertException.getColumnIndex() + 1) + "列读取错误");
                }
                //抛出非空校验异常
                throw new ApiException(exception.getMessage());
            }
        };

    }

    /**
     * 获取读取Excel的监听器对象, 不指定阈值, 默认阈值为 2000
     * @param consumer
     * @param <T>
     * @return
     */
    public static <T> AnalysisEventListener<T> getReadListener(Consumer<List<T>> consumer) {
        return getReadListener(consumer, 2000);
    }

    /**
     * Excel导入字段校验
     * @param object 校验的JavaBean 其属性须有自定义注解
     */
    public static void valid(Object object) {
        Field[] fields = object.getClass().getDeclaredFields();
        for (Field field : fields) {
            //设置可访问
            field.setAccessible(true);
            //属性的值
            Object fieldValue = null;
            try {
                fieldValue = field.get(object);
            } catch (IllegalAccessException e) {
                throw new RuntimeException("导入参数检查失败");
            }
            //是否包含必填校验注解
            boolean isExcelValid = field.isAnnotationPresent(ExcelDataValid.class);
            if (isExcelValid && Objects.isNull(fieldValue)) {
                log.error(field.getAnnotation(ExcelDataValid.class).message());
                throw new RuntimeException(field.getAnnotation(ExcelDataValid.class).message());
            }
        }
    }
}