EasyExcel分页上传数据

已于 2024-02-05 15:03:36 修改
阅读量1k 收藏 8
点赞数 10
分类专栏： java 文章标签： java excel
于 2024-02-05 14:36:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wayne_youlu/article/details/136041118
版权

EasyExcel分页上传数据

一、实例

  1. controller上传入口
 	@PostMapping("/upload")
    @ResponseBody
    @Log(title = "导入工单", businessType = BusinessType.IMPORT)
    public AjaxResult uploadFile(HttpServletRequest request, MultipartFile files) throws Exception {
        AjaxResult ajaxResult = this.checkFile(files);
        if (HttpStatus.SUCCESS != (int) ajaxResult.get(AjaxResult.CODE_TAG)) {
            return ajaxResult;
        }
        try {
            EasyExcel.read(files.getInputStream(), TWorkSheetReadVO.class, new WorkSheetListener(workSheetInnerService, new ArrayList<>())).sheet().doRead();
        } finally {
            //
        }
        return AjaxResult.success(String.format("上传成功"));
    }

	private AjaxResult checkFile(MultipartFile file) {
        String name = file.getOriginalFilename();
        String subName = name.substring(name.lastIndexOf('.'), name.length());
        if (!Lists.newArrayList(".xlsx", ".xls").contains(subName)) {
            return AjaxResult.error("只支持excel文件上传格式");
        }
        boolean checkSize = checkFileSize(file.getSize(), 10, "M");
        if(checkSize) return AjaxResult.success();
        return AjaxResult.error("上传的文件大小超过限制");
    }


    /**
     * 判断文件大小
     *
     * @param len  文件长度
     * @param size 限制大小
     * @param unit 限制单位（B,K,M,G）
     * @author youlu
     * @return
     */
    public static boolean checkFileSize(Long len, int size, String unit) {
		// long len = file.length();
        double fileSize = 0;
        if ("B".equals(unit.toUpperCase())) {
            fileSize = (double) len;
        } else if ("K".equals(unit.toUpperCase())) {
            fileSize = (double) len / 1024;
        } else if ("M".equals(unit.toUpperCase())) {
            fileSize = (double) len / 1048576;
        } else if ("G".equals(unit.toUpperCase())) {
            fileSize = (double) len / 1073741824;
        }
        if (fileSize > size) {
            return false;
        }
        return true;
    }
  1. 分页上传逻辑
package com.smy.ows.project.worksheet.listener;

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.smy.ows.project.worksheet.domain.vo.TWorkSheetReadVO;
import com.smy.ows.project.worksheet.service.inner.WorkSheetInnerService;
import org.springframework.transaction.annotation.Transactional;

import java.util.List;

/**
 * @Description
 * @ClassName ExcelModelListener
 * @Author youlu
 * @date 2023.02.02 15:01
 */
public class WorkSheetListener extends AnalysisEventListener<TWorkSheetReadVO> {

    private WorkSheetInnerService workSheetInnerService;
    private List<TWorkSheetReadVO> list;
    private static final int BATCH_COUNT = 1000;

    public WorkSheetListener(WorkSheetInnerService workSheetInnerService, List<TWorkSheetReadVO> list) {
        this.workSheetInnerService = workSheetInnerService;
        this.list = list;
    }


    @Override
    @Transactional
    public void invoke(TWorkSheetReadVO readVO, AnalysisContext analysisContext) {
        list.add(readVO);
        if (list.size() >= BATCH_COUNT) {
            workSheetInnerService.batchInsertWorkSheet(list);
            list.clear();
        }
    }

    /**
     * 所有数据解析完成了 都会来调用
     *
     * @param analysisContext
     */
    @Override
    @Transactional
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        //这里也要保存数据，确保最后遗留的数据也存储到数据库
        workSheetInnerService.batchInsertWorkSheet(list);
    }
}
  1. 插入数据库
@Override
    public void batchInsertWorkSheet(List<TWorkSheetReadVO> list) {
        workSheetService.batchInsert(list);
    }
  1. 实体对象
package com.smy.ows.project.worksheet.domain.vo;

import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.annotation.write.style.ColumnWidth;
import com.alibaba.excel.annotation.write.style.HeadStyle;
import com.alibaba.excel.converters.date.DateStringConverter;
import com.alibaba.excel.enums.poi.FillPatternTypeEnum;
import com.fasterxml.jackson.annotation.JsonFormat;
import com.smy.framework.base.DesensitizationAnnotation;
import com.smy.ows.project.worksheet.enums.SheetLevelEnums;
import com.smy.ows.project.worksheet.enums.WorkSheetStatus;
import com.smy.ows.util.*;
import lombok.Data;

import java.io.Serializable;
import java.util.Date;

/**
 * 客诉工单对象 t_work_sheet
 *
 * @author smy
 * @date 2023-01-11
 */
@Data
public class TWorkSheetReadVO implements Serializable {
    private static final long serialVersionUID = 5924360788178861972L;

    /**
     * 客诉标题
     */
    @ExcelProperty(value = "客诉标题", index = 0)
    @ColumnWidth(20)
    private String complaintHeadline;
    /**
     * @see SheetLevelEnums
     */
    @ExcelProperty(value = "优先级", index = 1, converter = PriorityIntegerStringConverter.class)
    @ColumnWidth(10)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private Integer priority;

    @ExcelProperty(value = "客户姓名", index = 2)
    @ColumnWidth(20)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private String custName;

    /**
     * 客户号
     */
    @ExcelProperty(value = "客户号", index = 3)
    @ColumnWidth(20)
    private String custNo;

    @DesensitizationAnnotation
    @ExcelProperty(value = "客户手机号", index = 4)
    @ColumnWidth(20)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private String custMobile;

    @DesensitizationAnnotation
    @ExcelProperty(value = "客户身份证", index = 5)
    @ColumnWidth(30)
    private String custIdNo;

    /**
     * 投诉时间
     */
    @ExcelProperty(value = "投诉时间(yyyy-MM-dd HH:mm:ss)", index = 6, converter = DateStringConverter.class)
    @ColumnWidth(40)
    @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss")
    private Date complaintTime;
    //反馈渠道
    @ExcelProperty(value = "反馈渠道", index = 7, converter = ChannelStringStringConverter.class)
    @ColumnWidth(15)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private String feedbackChannel;


    @ExcelProperty(value = "工单类型", index = 8, converter = TypeIntegerStringConverter.class)
    @ColumnWidth(15)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private Integer type;

    @ExcelProperty(value = "业务类型", index = 9, converter = BizTypeIntegerStringConverter.class)
    @ColumnWidth(15)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private Integer bizType;

    @DesensitizationAnnotation
    @ExcelProperty(value = "客户联系方式", index = 10)
    @ColumnWidth(15)
    private String custContactMobile;

    /**
     * 所属资方
     */
    @ExcelProperty(value = "所属资方", index = 11)
    @ColumnWidth(15)
    private String capital;

    @ExcelProperty(value = "投诉内容", index = 12)
    @ColumnWidth(30)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private String content;

    /**
     * @see WorkSheetStatus
     */
    @ExcelProperty(value = "工单状态", index = 13, converter = StatusIntegerStringConverter.class)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    @ColumnWidth(15)
    private Integer status;

    @ExcelProperty(value = "处理结果", index = 14, converter = ResultIntegerStringConverter.class)
    @ColumnWidth(15)
    private Integer result;
    /**
     * 处理情况
     */
    @ExcelProperty(value = "处理情况", index = 15)
    @ColumnWidth(15)
    private String handingInfo;

}

其中要注意的是converter格式转换使用 。也可以自定义转换，将上传的数据转换成真正要接收的数据，例如：

	@ExcelProperty(value = "优先级", index = 1, converter = PriorityIntegerStringConverter.class)
    @ColumnWidth(10)
    @HeadStyle(fillPatternType = FillPatternTypeEnum.SOLID_FOREGROUND, fillForegroundColor = 40)
    private Integer priority;

这个属性是Integer 类型的。上传的数据如下是字符串类型的（一般，紧急，特急）。因此需要将其映射成数据库对应的integer数据。此时就需要自定义转换，在convertToJavaData方法中将字符串转换成相应的integer值。
在这里插入图片描述

package com.smy.ows.util;

import com.alibaba.excel.converters.Converter;
import com.alibaba.excel.enums.CellDataTypeEnum;
import com.alibaba.excel.metadata.GlobalConfiguration;
import com.alibaba.excel.metadata.data.ReadCellData;
import com.alibaba.excel.metadata.data.WriteCellData;
import com.alibaba.excel.metadata.property.ExcelContentProperty;
import com.google.common.collect.Lists;
import com.smy.ows.common.core.domain.entity.SysDictData;
import com.smy.ows.common.utils.ParamThreadLocal;
import com.smy.ows.project.worksheet.constant.WorksheetDictTypeConstant;

import java.text.ParseException;
import java.util.List;
import java.util.Map;
import java.util.Optional;
import java.util.stream.Collectors;

public class PriorityIntegerStringConverter implements Converter<Integer> {
    public PriorityIntegerStringConverter() {
    }

    public Class<?> supportJavaTypeKey() {
        return Integer.class;
    }

    public CellDataTypeEnum supportExcelTypeKey() {
        return CellDataTypeEnum.STRING;
    }

    /**
     * 读
     * @author youlu
     * @date 2023/8/18 10:46
     * @param cellData
     * @param contentProperty
     * @param globalConfiguration
     * @return java.lang.Integer
     */
    public Integer convertToJavaData(ReadCellData<?> cellData, ExcelContentProperty contentProperty, GlobalConfiguration globalConfiguration) throws ParseException {
        String priorityDesc = cellData.getStringValue();
        Map<String, List<SysDictData>> dictDataMap = (Map<String, List<SysDictData>>) ParamThreadLocal.getParam();
        Map<String, SysDictData> dataMap = Optional.ofNullable(dictDataMap.get(WorksheetDictTypeConstant.WORKSHEET_PRIORITY)).orElse(Lists.newArrayList()).stream()
                .collect(Collectors.toMap(k -> k.getDictLabel(), m -> m, (m1, m2) -> m2));
        SysDictData sysDictData = dataMap.get(priorityDesc);
        if (sysDictData == null) {
            return -1;
        }
        return Integer.valueOf(sysDictData.getDictValue());
    }

    /**
     * 写
     * @author youlu
     * @date 2023/8/18 10:46
     * @param value
     * @param contentProperty
     * @param globalConfiguration
     * @return com.alibaba.excel.metadata.data.WriteCellData<?>
     */
    public WriteCellData<?> convertToExcelData(Integer value, ExcelContentProperty contentProperty, GlobalConfiguration globalConfiguration) {
        Map<String, List<SysDictData>> dictDataMap = (Map<String, List<SysDictData>>) ParamThreadLocal.getParam();
        Map<String, SysDictData> dataMap = Optional.ofNullable(dictDataMap.get(WorksheetDictTypeConstant.WORKSHEET_PRIORITY)).orElse(Lists.newArrayList()).stream()
                .collect(Collectors.toMap(k -> k.getDictValue(), m -> m, (m1, m2) -> m2));
        SysDictData sysDictData = dataMap.get(String.valueOf(value));
        if (sysDictData == null) {
            return new WriteCellData<String>("" + value);
        }
        return new WriteCellData<String>(sysDictData.getDictLabel());
    }
}

二、参考文档

easyExcel分页上传相应文档

友谊之路
关注
  • 10
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
easyExcel千万级别数据下载
12-27
基于EasyExcel进行大数据文件下载。
easyExcel分页导出
06-12
Excel导出demo
EasyExcel100万数据耗时几分钟
05-06
EasyExcel导入50个字段，100万数据耗时几分钟，亲测有效
easyexcel合并单元格
02-11
原文连接...
java easyexcel 基于excel模板填充数据 2023
10-24
excel
java方法重写（重点讲），方法重载
weixin_46281068的博客
04-27 894
一、方法重载定义：一个类中，出现多个方法的名称相同，但是它们的形参列表是不同的，那么这些方法就称为方法重载了。注意：一个类中，只要一些方法的名称相同、形参列表不同，那么它们就是方法重载了，其它的都不管（如:修饰符，返回值类型是否一样都无所谓）。形参列表不同指的是:形参的个数、类型、顺序不同，不关心形参的名称。应用场景：开发中我们经常需要为处理一类业务，提供多种解决方案，此时用方法重载来设计是很专业的。
Day25-Java基础之常用类1
m0_46053885的博客
04-27 868
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
链表刷题集
yajunjiao的专栏
04-30 269
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
MSE实现全链路灰度实践
云计算、数据库、大数据、深度学习、NLP、Python
04-24 370
待更新。
Java | 冒泡排序算法实现
yingzix688的博客
04-24 853
题目描述 编写一个Java程序，实现冒泡排序算法。程序需要能够接收一个整型数组作为输入，并输出排序后的数组。 冒泡排序是一种简单的排序算法，它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。
Java8 Stream API全面解析——高效流式编程的秘诀
最新发布
赵士杰——成功并非一蹴而就，而是在持之以恒的努力中逐渐实现。
05-01 3128
Java8 Stream API全面解析——高效流式编程的秘诀
【限流】基于springboot（拦截器） + redis（执行lua脚本）实现注解限流
qq_43209531的博客
04-30 90
基于springboot（拦截器） + redis（执行lua脚本）实现注解限流
公考学习平台|基于SprinBoot+vue的公考学习平台(源码+数据库+文档)
weixin_66413741的博客
04-30 700
本共享汽车管理系统有管理员和用户。管理员功能有个人中心，用户管理，投放地区管理，汽车信息管理，汽车投放管理，汽车入库管理，使用订单管理，汽车归还管理。用户可以在注册登录，可以对汽车进行使用产生订单，还可以归还。因而具有一定的实用性。本站是一个B/S模式系统，采用Spring Boot框架，MYSQL数据库设计开发，充分保证系统的稳定性。系统具有界面清晰、操作简单，功能齐全的特点，使得共享汽车管理系统管理工作系统化、规范化。
Java设计模式_概述（设计模式类型和基本原则）
weisian的博客
04-25 857
通过合成，可以将已有的类组合成新的类，达到复用的目的，同时保持类的简单和清晰。设计模式（Design pattern）代表了最佳的实践，是软件开发人员在软件开发过程中面临一般问题的解决方案，是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。但不推荐刚入门的开发者学习，哪怕把代码搞的一塌糊涂，也要先将功能完成，初学者，迈过坑是必然的，只有对自己编写的代码不满意，你才会体会到设计模式的重要性，也才能更加理解。也就是说，一个类应该尽量减少与其他类的耦合度，只与它直接相关的类进行交互。
Java——接口
qq_63492484的博客
04-25 663
在Java中，类和类之间是单继承的，一个类可以实现多个接口，接口与接口之间可以多继承。5.接口中可以含有变量，但是接口中的变量会被隐式的指定为 public static final 变量，定义的时候必须初始化，以后定义的时候可以省略public static final。接口不能直接使用，必须要有一个"实现类"来"实现"该接口，实现接口中的所有抽象方法。3.接口中的方法是不能在接口中实现的，只能由实现接口的类来实现，有例外，见第9点。另外我们再提供一组接口，分别表示 "会飞的"， "会跑的"， "会游泳的"
Java 解决pdfbox转图片显示中文乱码 No glyph for 165 (CID 5752) in font STSong-Light
qq_38650613的博客
04-28 335
在开发PDF转JPG图片后，图片显示中文乱码，以下为具体示例：截图可以看到￥符号无法转换为乱码代码已经提示我们STSong-Light字体中165符文不存在，而165正好对应着￥字符。（如果你们出现不存在某个字体的报错，接下来也可以跟我一样操作）
VSCode配置Springboot开发环境
谢公屐的博客
04-25 452
VSCode配置Springboot开发环境
深入理解Java NIO：原理、应用与实战详解
suqieer的博客
04-24 1194
BIO（Blocking I/O），即传统的阻塞式I/O模型，其特点是程序在进行读写操作时会一直阻塞，直到操作完成。这种模式简单易用，但在高并发场景下容易导致线程资源浪费，因为每个连接都需要一个独立的线程来处理，当连接数增多时，系统资源消耗急剧增大。NIO（Non-blocking I/O），非阻塞式I/O模型，它允许单个线程管理多个通道（Channel），并通过选择器（Selector）监控这些通道上的事件。
java通过Comparator比较器对集合进行多属性连续分组内升降排序，以及null空值排最前或最后
hkl_Forever的博客
04-26 191
一、排序数据准备，分别对 one、two、three 三个属性进行连续分组内排序。连续排序，并且把被排序属性值为null的排在最后。连续排序，并且把被排序属性值为null的排在最后。
EasyExcel分页导入
03-25
A：EasyExcel是一个基于Java语言的读写Excel文件的开源框架，提供了丰富的API，可以轻松地读写Excel文件的数据。分页导入是指将大量的数据分成若干个Excel文件的不同页面分别导入到数据库中。以下是使用EasyExcel进行分页导入的步骤： 1. 分批读取Excel文件数据，可以使用EasyExcel的API读取指定行数的数据到内存中，然后进行处理。 2. 将读取的数据按批次写入到数据库中，可以使用MyBatis或Hibernate等ORM框架进行数据库操作。 3. 如果需要将数据分成不同页面导入到数据库中，可以将每批数据写入到不同的Excel文件的不同页面中。 4. 最后，可以使用Java的IO操作进行文件的读写，将所有的Excel文件保存到磁盘中。 总之，使用EasyExcel实现分页导入需要一定的Java编程经验和数据处理能力，但是该框架提供的丰富的API和优秀的性能可以大大简化开发工作并提高导入数据的效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值