EASYEXCEL下载excel文件和txt文件归并到压缩包

最新推荐文章于 2024-10-03 10:27:34 发布
最新推荐文章于 2024-10-03 10:27:34 发布
阅读量254 收藏 4
点赞数 8
文章标签： java mybatis excel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wss19970223992/article/details/141456715
版权

前言

最近做的一个需求要求归档系统的运行日志，由于公司系统是用于对接三方系统与金蝶系统，所以日志的记录十分重要并且由于接口访问量比较大所以考虑用excel归档所有日志。在做的过程中发现某些字段的值对特别多超过excel的单元格的最大存储量，因此设计了用txt存储，单元格存对应的相对地址的超链接的设计方案。

//zos是写入压缩包的文件流
private FileOutputStream fos = new FileOutputStream("ysb");
private UncloseableZipOutputStream zos = new UncloseableZipOutputStream(fos);
//最大的excel的存储值，我给缩小了7
static Integer MAXLENGTH = 32760;
//数据分页的最大值，根据个人的服务器能力可改
static Integer MAXPAGESIZE = 5000;

主要函数

public void downloadLogExcel(HttpServletResponse response, String localData) throws IOException {
        log.info("文件导出开始" + LocalDateTime.now());
        //创建文件流
        ServletOutputStream outputStream = response.getOutputStream();
        response.setContentType("application/zip");
        response.setCharacterEncoding("utf-8");
        //设置头
        response.setHeader("Pragma", "No-cache");
        //设置头
        response.setHeader("Cache-Control", "no-cache");
        //设置日期头
        response.setDateHeader("Expires", 0);
        zos =  new UncloseableZipOutputStream(outputStream);
        String nowDate = "";
        //调用接口查询场景配置数据
        DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd");
        if (localData == null || "".equals(localData)) {
            nowDate = LocalDateTime.now().format(formatter);
            localData = LocalDateTime.now().minusDays(1).format(formatter);
        } else {
            nowDate = LocalDateTime.now().format(formatter);
        }
        String timeFile = localData + "-" + nowDate;
        response.setHeader("Content-Disposition", "attachment;filename*=utf-8'zh_cn'" + timeFile + ".zip");
        Integer pageCount = productLogMapper.seleCount(localData, nowDate);
        log.info("总行数" + pageCount);
        List<ProductLogListOutVoRecords> records = new ArrayList<>();
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        ExcelWriter excelWriter = EasyExcel.write(baos).build();
        if (pageCount > MAXPAGESIZE) {
            for (int i = 0; i < (pageCount % MAXPAGESIZE == 0 ? (pageCount / MAXPAGESIZE) : (pageCount / MAXPAGESIZE + 1)); i++) {
                if (i == 0) {
                    records = productLogMapper.productLogListToExcel(localData, nowDate, "", MAXPAGESIZE);
                } else {
                    String newLastId = records.isEmpty() ? "" : records.get(records.size() - 1).getId();
                    records = productLogMapper.productLogListToExcel(localData, nowDate, newLastId, MAXPAGESIZE);
                }
                for (ProductLogListOutVoRecords temp : records) {
                	//检查特别的字段即可能会超过最大长度的
                    checkFieldLengths(temp, timeFile);
                }
                //我采用的是5000为一个子表，会形成多子表的形式
                WriteSheet writeSheet = EasyExcel.writerSheet(i, "日志归档" + (i + 1)).head(ProductLogListOutVoRecords.class)
                        .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy())
                        .registerWriteHandler(new HyperlinkCellWriteHandler())
                        .build();
                excelWriter.write(records, writeSheet);
            }
        } else {
            records = productLogMapper.productLogListToExcel(localData, nowDate, "", pageCount);
            for (ProductLogListOutVoRecords temp : records) {
                checkFieldLengths(temp, timeFile);
            }
            // 第一页写入场景配置
            WriteSheet writeSheet = EasyExcel.writerSheet("日志归档")
                    .registerWriteHandler(new HyperlinkCellWriteHandler())
                    .head(ProductLogListOutVoRecords.class)
                    .build();
            excelWriter.write(records, writeSheet);
        }
        **//写完数据后一定要关闭excel的文件流否则会导致数据写入不了**
        excelWriter.finish();
        createZipWithExcelAndTxt(baos);
        //将缓存区的数据输出
        outputStream.flush();
        //关流
        response.getOutputStream().close();
    }

我采用的是mybatis去实现取数据，这里分页取数据我采用的是基于主键的分页策略。

假设你有一个 tb_product_log 表，包含字段 id（主键）和 create_time（时间戳）。实现基于主键的分页查询。
首次查询（第一页）:
SELECT id, create_time, other_necessary_fields
FROM tb_product_log
WHERE create_time >= #{createTime}
AND create_time <= #{endTime}
ORDER BY id
LIMIT #{pageSize};
#{pageSize}: 每页记录数
ORDER BY id: 按主键排序
后续分页查询（第二页及以后）:翻到下一页时，保存当前页最后一条记录的主键 lastId，并用它来查询下一页的数据。
SELECT id, create_time, other_necessary_fields
FROM tb_product_log
WHERE create_time >= #{createTime}
AND create_time <= #{endTime}
AND id > #{lastId}  -- 上一页最后一条记录的主键
ORDER BY id
LIMIT #{pageSize};
这样的查询效率比limit高很多。不过要注意一点主键id的设计是递增的而不是没有规律的。

<select id="productLogListToExcel"
            resultType="com.lingqingkeji.integration.system.transfer.product.ProductLogListOutVoRecords">
        SELECT * FROM tb_product_log
        WHERE create_time >= #{createTime}
        AND create_time &lt;= #{endTime}
        <if test="lastId != null and lastId != ''">
          AND id > #{lastId}  -- `lastId` 是上一页的最后一个记录的主键值
        </if>
        ORDER BY id
            LIMIT #{pageSize}
    </select>

检查字段并且将对应单元格的值设置为超链接的地址。这个fileLink是绝对地址的写法，如果是程序不是用docker去部署的话可以用这个写法，如果是用则用的相对地址我这里是在拦截器里面进行了调整。

public void checkFieldLengths(ProductLogListOutVoRecords productLogListOutVoRecords, String timeFile) throws IOException {
        if (productLogListOutVoRecords.getException() != null && productLogListOutVoRecords.getException().length() >= MAXLENGTH) {
            String fileLink = saveLongTextToFile(productLogListOutVoRecords.getException());
            fileLink = "file:///" + fileLink.replace("\\", "/");
            productLogListOutVoRecords.setException(fileLink);
        }
        if (productLogListOutVoRecords.getResponse() != null && productLogListOutVoRecords.getResponse().length() >= MAXLENGTH) {
            String fileLink = saveLongTextToFile(productLogListOutVoRecords.getResponse());
            fileLink = "file:///" + fileLink.replace("\\", "/");
            productLogListOutVoRecords.setResponse(fileLink);
        }
        if (productLogListOutVoRecords.getAdaptRequest() != null && productLogListOutVoRecords.getAdaptRequest().length() >= MAXLENGTH) {
            String fileLink = saveLongTextToFile(productLogListOutVoRecords.getAdaptRequest());
            fileLink = "file:///" + fileLink.replace("\\", "/");
            productLogListOutVoRecords.setAdaptRequest(fileLink);
        }
        if (productLogListOutVoRecords.getAdaptResponse() != null && productLogListOutVoRecords.getAdaptResponse().length() >= MAXLENGTH) {
            String fileLink = saveLongTextToFile(productLogListOutVoRecords.getAdaptResponse());
            fileLink = "file:///" + fileLink.replace("\\", "/");
            productLogListOutVoRecords.setAdaptResponse(fileLink);
        }
    }

由于excel的最大长度我设计了用超链接的形式所以需要在注册一个拦截器去将对应的单元格转变为超链接的格式。相对地址直接用对应的文件名即可，easyExcel会直接转换的。

public class HyperlinkCellWriteHandler implements CellWriteHandler {
    @Override
    public void afterCellDispose(CellWriteHandlerContext context) {
        Cell cell = context.getCell();
        if (cell.getCellType() == CellType.STRING) {
            String cellValue = cell.getStringCellValue();
            if (cellValue.startsWith("file:")) {
                cellValue = cellValue.replace("file:///","");
                CreationHelper createHelper = context.getWriteSheetHolder().getSheet().getWorkbook().getCreationHelper();
                Hyperlink hyperlink = createHelper.createHyperlink(HyperlinkType.URL);
                hyperlink.setAddress(cellValue);
                cell.setHyperlink(hyperlink);
                cell.setCellValue("超长字段");
            }
        }
    }
}

文本的保存方式，这里有一个坑，如果我们用ZipOutputStream的话会有存在java.io.IOException: Stream closed，bufferwriter流使用了outputStreamWriter流，所以关闭bufferwriter流也会关闭outputStreamWriter流，但是我这个是会多次在请求写入的所以会报错。故是设计了继承了ZipOutputStream重写他的关闭方法。

public String saveLongTextToFile(String longText) throws IOException {
        String fileNamePage = UUID.randomUUID().toString() + ".txt";
        ZipEntry zipEntry = new ZipEntry(fileNamePage);
        zos.putNextEntry(zipEntry);

        try (BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(zos))) {
            writer.write(longText);
        } catch (IOException e) {
            zos.closeEntry(); // Ensure entry is closed in case of exception
            throw e; // Re-throw the exception after closing the entry
        }

        //zos.closeEntry(); // Close the current entry
        return fileNamePage;
    }

public class UncloseableZipOutputStream extends ZipOutputStream {
    OutputStream os;

    public UncloseableZipOutputStream( OutputStream os ) {
        super(os);
    }

    @Override
    /** just flush but do not close */
    public void close() throws IOException {
        flush();
    }

    public void reallyClose() throws IOException {
        super.close();
    }
}

  这样的话就不会在写入的过程中关闭了流，只需要在结束了文件写入后再将其关闭即可。
  
   最后就是写入到压缩包里面

private void addByteArrayToZip(String fileName, byte[] fileData, ZipOutputStream zos) throws IOException {
        ZipEntry zipEntry = new ZipEntry(fileName);
        zos.putNextEntry(zipEntry);
        zos.write(fileData);
        zos.closeEntry();
    }

    public void createZipWithExcelAndTxt(ByteArrayOutputStream excelBaos) throws IOException {
        addByteArrayToZip("logs.xlsx", excelBaos.toByteArray(), zos);
        zos.finish();
    }
wss19970223992
关注
springboot整合easyexcel实现excel文件上传解析，下载导出简单实例.zip
11-10
best20182022-10-17 14:55:20原证springboot整合easyexcel实现excel文件上传解析，下载导出简单实例 项目描述 springboot整合easyexcel，上传解析Excel，下载导出Excel 运行环境 jdk8+tomcat9+IntelliJ IDEA+...
如何使用EasyExcel库来写入Excel文件
07-29
通过以上示例代码，你应该能够理解如何使用EasyExcel库在Java中进行Excel文件的写入操作。这个库提供了简洁的API，使得Excel文件的操作变得非常方便。 总结一下，实现Excel文件写入的步骤包括： 1.引入EasyExcel的...
基于Spring Mvc实现的Excel文件上传下载示例
08-31
总的来说，Spring MVC为开发人员提供了强大的工具来处理文件上传和下载，结合其他库，可以轻松地实现对Excel文件的读取、解析和生成。通过理解这些概念和步骤，你可以构建自己的文件管理系统，满足各种业务需求。
使用阿里巴巴的EasyExcel库将数据和图片导出到一个Excel文件
05-07
它展示了如何使用EasyExcel库来处理复杂的Excel文件导出任务，包括自定义列宽和图片布局。可以参考博客链接 https://blog.csdn.net/xiaosemei/article/details/127671561 有具体的效果，及代码实例
easyexcel+validation excel导入导出下载
01-19
3. **读取Excel**：调用EasyExcel.read()方法，传入文件路径和自定义的监听器，即可开始读取Excel数据。监听器中的方法会在读取到每一行数据时被调用。 4. **写入Excel**：使用EasyExcel.write()方法，传入输出流和...
JavaScript ArrayBuffer的读写与类型转换
白瑕 的博客
10-01 414
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
Spring Cloud全解析：服务调用之OpenFeign集成OkHttp
Lxn2zh的博客
09-30 765
HTTP连接需要进行TCP三次握手，是一个比较耗时的操作，一般我们不直接使用HttpURLConnection，而是使用HttpClient/okHttp等支持连接池的客户端工具，以Feign集成OkHttp为例。OpenFeign本质是HTTP来进行服务调用的，也就是需要集成一个Http客户端。默认是HttpURLConnection方式，也就是jdk中提供的最原始的那个。要开启OkHttp ,还需要在YML 中添加开启配置项，默认是关闭的。使用的是Client接口来进行请求的。
「Java开发指南」如何用MyEclipse为iPhone搭建Spring应用程序？
需要界面开发、IDE工具研发中文教程资料的小伙伴，记得私信我~
09-30 697
本教程将介绍如何用MyEclipse为iPhone搭建Spring应用程序，欢迎下载最新版IDE体验！
spring-boot 整合 mybatis
m0_72168501的博客
09-29 523
spring boot 整合 mybatis
Java内存布局
阿呆的专栏
10-01 790
64位 JVM 不启用指针压缩时：Object Header 大小是16字节。64位 JVM 启用指针压缩时（默认）：Object Header 大小是12字节。32位 JVM：Object Header 大小是8字节。JVM在默认情况下启用指针压缩，但如果堆内存超过32GB，就会禁用指针压缩。32GB是压缩指针的最大寻址范围。超过32GB的堆内存中，压缩指针带来的性能提升并不显著，而且需要解压指针反而可能增加开销。
【开源免费】基于SpringBoot+Vue.JS校园资料分享平台（JAVA毕业设计）
customer08的博客
09-30 1212
校园资料分享平台是一个B/S模式系统，采用Spring Boot框架作为开发技术，MYSQL数据库设计开发，充分保证系统的稳定性。系统具有界面清晰、操作简单，功能齐全的特点，使得校园资料分享平台管理工作系统化、规范化。
C#基础：掌握控制流语句，构建灵活的程序逻辑
学习和分享
09-28 320
在C#中，控制流语句是用来控制程序执行流程的重要部分。它们允许你根据条件执行不同的代码块，或者重复执行某些代码块直到满足特定条件。
进程管理工具：非daemon进程管理工具supervisor
happy_king_zi的博客
09-29 1106
supervisor是一个 Client/Server模式的系统，允许用户在类unix操作系统上监视和控制多个进程，或者可以说是多个程序。supervisor与launchd，daemontools，runit等程序有着相同的功能，与其中某些程序不同的是，它并不作为“id 为 1的进程”而替代init。相反，它用于控制应用程序，像启动其它程序一样，通俗理解就是，把Supervisor服务管理的进程程序，它们作为supervisor的子进程来运行，而supervisor是父进程。
【RocketMQ】RocketMQ应用难点
记录一名在读研究生的学习笔记、感悟、开发产物
09-30 872
本文探讨了RocketMQ中消息重复消费的问题及其解决方案，尤其是在CLUSTERING模式下的扩容影响。文章分析了重复消费的原因，如广播模式、负载均衡模式下的多consumerGroup消费、消费者组内的动态变化及网络延迟等，并提出了利用唯一标识进行去重的方法。此外，还讨论了如何选择合适的存储机制以高效处理大量消息标识，如HashMap、MySQL、Redis以及推荐的布隆过滤器等方案。对于防止消息堆积与确保消息不丢失，也给出了相应的策略和技术措施。
Java - LeetCode面试经典150题 - 哈希表 (二)
心如冰清，天塌不惊
09-28 909
否则，返回 false。给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那两个整数，并返回它们的数组下标。遍历字符串数组，将其中的字符串，进行排序，这样就形成一个唯一的字符串了，之后将原字符串追加到这个排序完的字符串映射的String列表中。这里的 遵循 指完全匹配，例如， pattern 里的每个字母和字符串 s 中的每个非空单词之间存在着双向连接的对应规律。将magazine中的每个字符的个数记录下来，用map映射成。
C语言中的日志机制：打造全面强大的日志系统
极客代码
09-30 411
构建一个全面强大的日志机制对于软件开发至关重要。通过上述示例，你应该已经了解了如何在C语言中实现日志记录的不同方面。这种能力对于调试程序、监控应用程序状态和维护系统的稳定性非常有帮助。在软件开发中，良好的日志记录机制对于调试、监控程序状态和维护系统的稳定性至关重要。本文将介绍如何在C语言中构建一个全面强大的日志系统，并提供一些示例代码。实现日志文件的自动旋转，以便管理日志文件的大小。定义日志级别的宏，便于管理和调整日志输出。使用定义好的日志宏来记录日志。实现日志配置的读取和设置。1. 日志的基本概念。
第十三届蓝桥杯真题Java 斐波那契与7(持续更新)
音符犹如代码的博客
09-29 326
这是一道结果填空的题, 你只需要算出结果后提交即可。本题的结果为一 个整数, 在提交答案时只填写这个整数, 填写多余的内容将无法得分。斐波那契数列的递推公式为: Fn=Fn−1+Fn−2Fn​=Fn−1​+Fn−2​, 其中 F1=F2=1F1​=F2​=1。请问, 斐波那契数列的第 1 至 202202011200 项（含）中, 有多少项的个位 是 7。
JAVA开源项目 旅游管理系统 计算机毕业设计
最新发布
as230627的博客
10-03 1186
旅游管理系统基于Springboot框架、JAVA编程语言、MYSQL数据库开发完成，“操作简单，功能实用”这是本软件设计的核心理念，本系统力求创造最好的用户体验。
【hot100-java】【合并两个有序链表】
m0_73629042的博客
09-30 383
记忆中，两个指针合并即可。
easyexcel 读取excel文件
03-30
EasyExcel是一款基于Java的开源工具，用于读取和写入Excel文件。它提供了简单易用的API，可以方便地进行Excel文件的读写操作。 使用EasyExcel读取Excel文件非常简单，只需按照以下步骤进行操作： 1. 引入EasyExcel...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值