使用easyexcel追加写入数据库分页查询数据

已于 2023-12-08 21:43:14 修改
阅读量3.9k 收藏 12
点赞数 2
分类专栏： 工具类 文章标签： 数据库 excel
于 2023-02-11 01:16:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42304484/article/details/128979442
版权

实际场景中我们可能会遇到大报表的录入，比如将一张具有几十万或者百万的数据表导出为excel报表，这种情况我们我们不可能一次性将数据库中的数据都读取出来然后再写入excel，这样会导致程序的OOM。

如何解决这个问题呢？

我们可以用分页的方式查询数据，然后将查到的数据逐步追加写入到单个sheet，如果数据量过大可以考虑将数据分别写入到多个sheet。

1、easyexcel的依赖

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>easyexcel</artifactId>
            <version>3.2.1</version>
        </dependency>

2、代码实现

2.1 Excel导出工具类
package com.bbs.util;

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.builder.ExcelWriterBuilder;
import com.alibaba.excel.write.builder.ExcelWriterSheetBuilder;
import com.alibaba.excel.write.handler.RowWriteHandler;
import com.alibaba.excel.write.handler.WriteHandler;
import com.alibaba.excel.write.handler.context.RowWriteHandlerContext;
import com.alibaba.excel.write.metadata.holder.WriteSheetHolder;
import com.bbs.bean.DemoData;

import java.io.File;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Date;
import java.util.List;

/**
 * @Date: 2023/02/10/ 22:35
 * @description
 */
public class EasyExcelUtil {


    public static <T> void writeExcel(File file, Class<T> head, Collection<T> data) {

        EasyExcel.write(file, head).sheet(0).doWrite(data);
    }


    /**
     * 分页查询数据库并写入excel
     *
     * @param file 数据输出对象
     * @param head 表头
     * @param offset 分页偏移量
     * @param pageHandler 分页处理器
     * @param <T>
     */
    public static <T> void writeExcel(File file, Class<T> head, int offset, PageHandler<T> pageHandler) {

        ExcelWriter excelWriter = EasyExcel.write(file, head).build();


        //当前页码
        int page = 0;
        while (true) {
            //分页读取数据
            Collection<T> data = pageHandler.page(page, offset);
            if (data.isEmpty()) {
				//数据为0的时候也需要写入，防止excel文件异常
            excelWriter.write(data, EasyExcel.writerSheet(0).head(head).build());
				break;
			}

            //读取的而数据写入excel
            excelWriter.write(data, EasyExcel.writerSheet(0).head(head).build());

            //更新页码
            ++page;
        }
        //数据写入完毕关闭资源
        excelWriter.finish();

    }


    //测试，用两个列表模拟分页
    public static void main(String[] args) {


        List<DemoData> list1 = new ArrayList<>();
        for (int i = 0; i < 20; i++) {
            DemoData data = new DemoData();
            data.setString("字符串" + i);
            data.setDate(new Date());
            data.setDoubleData(0.56);
            list1.add(data);
        }

        List<DemoData> list2 = new ArrayList<>();
        for (int i = 0; i < 20; i++) {
            DemoData data = new DemoData();
            data.setString("字符串---" + i);
            data.setDate(new Date());
            data.setDoubleData(0.56);
            list2.add(data);
        }

        writeExcel(new File("C:\\3.xlsx"), DemoData.class, 10, (page, offset) -> {
            if(page==0){
                return list1;
            }
            if(page==1){
                return list2;
            }
            return new ArrayList<>();
        });
    }
}
2.2 PageHandler为一个接口，用于分页查询数据
package com.bbs.util;

import java.util.Collection;

/**
 * @Date: 2023/02/11/ 0:34
 * @description
 */
public interface PageHandler<T> {

    Collection<T>  page(int page,int offset);
}
2.3 Excel数据载体bean
package com.bbs.bean;

import com.alibaba.excel.annotation.ExcelIgnore;
import com.alibaba.excel.annotation.ExcelProperty;

import java.util.Date;

/**
 * @Date: 2023/02/10/ 22:57
 * @description
 */
public class DemoData {
    @ExcelProperty("字符串标题")
    private String string;
    @ExcelProperty("日期标题")
    private Date date;
    @ExcelProperty("数字标题")
    private Double doubleData;
    /**
     * 忽略这个字段
     */
    @ExcelIgnore
    private String ignore;


    public String getString() {
        return string;
    }

    public void setString(String string) {
        this.string = string;
    }

    public Date getDate() {
        return date;
    }

    public void setDate(Date date) {
        this.date = date;
    }

    public Double getDoubleData() {
        return doubleData;
    }

    public void setDoubleData(Double doubleData) {
        this.doubleData = doubleData;
    }

    public String getIgnore() {
        return ignore;
    }

    public void setIgnore(String ignore) {
        this.ignore = ignore;
    }
}

3、导出数据效果

在这里插入图片描述

EasyExcel工具类

package com.bbs.util;

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.read.listener.ReadListener;
import com.alibaba.excel.util.ListUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.File;
import java.util.*;
import java.util.function.Supplier;

/**
 * @Date: 2023/02/10/ 22:35
 * @description
 */
public class EasyExcelUtil {


    private static final Logger LOGGER = LoggerFactory.getLogger(EasyExcelUtil.class);

    /**
     * 批量读取excel并写入数据库
     * @param file
     * @param sheet
     * @param chunkSize
     * @param clazz
     * @param handler
     * @param <T>
     */
    public static <T> void chunkRead2DB(File file,int sheet,int chunkSize,Class<T> clazz,Handler<T> handler){

        EasyExcel.read(file, clazz, new ReadListener<T>() {
            private List<T> cache = ListUtils.newArrayListWithExpectedSize(chunkSize);
            private int batch = 0;
            @Override
            public void invoke(T data, AnalysisContext context) {
                cache.add(data);
                if(cache.size()>=chunkSize){
                    LOGGER.info("第{}批次，读取数据{}条，开始插入数据库",batch,cache.size());
                    handler.handle(cache);
                    LOGGER.info("第{}批次，插入数据库成功",batch);
                    cache = ListUtils.newArrayListWithExpectedSize(chunkSize);
                    ++batch;
                }

            }

            @Override
            public void doAfterAllAnalysed(AnalysisContext context) {
                LOGGER.info("第{}批次，读取数据{}条，开始插入数据库",batch,cache.size());
                handler.handle(cache);
                LOGGER.info("第{}批次，插入数据库成功",batch);
            }
        }).sheet(sheet).doRead();
    }


    public static <T> void writeExcel(File file, Class<T> head, Collection<T> data) {

        EasyExcel.write(file, head).sheet(0).doWrite(data);
    }


    /**
     * 分页查询数据库并写入excel
     *
     * @param file 数据输出对象
     * @param head 表头
     * @param offset 分页偏移量
     * @param pageHandler 分页处理器
     * @param <T>
     */
    public static <T> void writeExcel(File file, Class<T> head, int offset, Handler<T> pageHandler) {

        ExcelWriter excelWriter = EasyExcel.write(file, head).build();


        //当前页码
        int page = 0;
        while (true) {
            //分页读取数据
            Collection<T> data = pageHandler.page(page, offset);
            if (data.isEmpty()) break;

            //读取的而数据写入excel
            excelWriter.write(data, EasyExcel.writerSheet(0).head(head).build());

            //更新页码
            ++page;
        }
        //数据写入完毕关闭资源
        excelWriter.finish();

    }

    /**
     *机构数据排序并导出为excel
     * @param file
     * @param head
     * @param deptId
     * @param handler
     * @param <T>
     */
    public static <T> void deptSort2Excel(File file, Class<T> head, Dept deptId,Handler<Dept> handler) {

        int BATCH_COUNT = 5000;
        ExcelWriter excelWriter = EasyExcel.write(file, head).build();
        Stack<Dept> stack = new Stack<>();
        stack.add(deptId);
        List<Dept> data = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
        while (!stack.isEmpty()){
            Dept pop = stack.pop();
            data.add(pop);
            if(data.size()>=BATCH_COUNT){
                //读取的而数据写入excel
                excelWriter.write(data, EasyExcel.writerSheet(0).head(Dept.class).build());
                //清理数据
                data =ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
            }
            Collection<Dept> child = handler.child(pop);
            if(!child.isEmpty()){
                stack.addAll(child);
            }
        }

        //数据写入完毕关闭资源
        excelWriter.finish();

    }


    /**
     * 机构数据排序并导出为excel  这种方式比较慢
     * @param file
     * @param head
     * @param deptId
     * @param handler
     * @param <T>
     */
    public static <T> void deptSort2Excel(File file, Class<T> head, Dept deptId,Supplier<List<Dept>> handler) {
        List<Dept> depts = handler.get();

        if(depts == null || depts.isEmpty()){
            LOGGER.warn("机构数据为空，无法进行机构树转换");
            return;
        }
        Stack<Dept> stack = new Stack<>();
        stack.add(deptId);
        List<Dept> data = ListUtils.newArrayListWithExpectedSize(depts.size());
        while (!stack.isEmpty()){
            Dept pop = stack.pop();
            data.add(pop);
            for (Dept dept : depts) {
                if(pop.getDeptId().equals(dept.getDeptId2())){
                    stack.add(dept);
                }
            }
        }
       EasyExcel.write(file, head).sheet(0).doWrite(data);

    }
}

Handler接口

package com.bbs.util;

import java.util.Collection;

/**
 * @Date: 2023/02/11/ 0:34
 * @description
 */
public interface Handler<T> {

    Collection<T>  page(int page,int offset);

    void handle(Collection<T> data);

    Collection<T> child(T t);
}
屎壳郎推球球
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
springboot easyexcel实现数据导出成excel表格功能
10-26
Java使用springboot、easyexcel实现数据导出成excel表格功能，适用于刚入门的Java程序员或想提高知识面的朋友，该功能常用于项目数据导出，此demo通俗易懂，可以简单修改后在项目中直接使用。
如何使用EasyExcel库来写入Excel文件
07-29
通过以上示例代码，你应该能够理解如何使用EasyExcel库在Java中进行Excel文件的写入操作。这个库提供了简洁的API，使得Excel文件的操作变得非常方便。 总结一下，实现Excel文件写入的步骤包括： 1.引入EasyExcel的依赖。 2.准备数据，将数据封装到Java对象中。 3.使用EasyExcel.write创建ExcelWriter对象，并指定文件名和Java对象类型。 4.使用sheet方法指定test名称。 5.调用ExcelUtil.easyExcelTest方法将数据写入Excel文件。 在实际项目中，你可以根据需要进一步定制Excel的样式、格式等。此外，EasyExcel还支持更多高级的功能，如读取Excel、数据导出校验等。 希望这份详细的代码示例和解释对你有所帮助！
java 如何往已经存在的excel表格里面追加数据的方法
08-25
主要介绍了java 如何往已经存在的excel表格里面追加数据的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
EasyExcel的简介和入门案例
qq_45765384的博客
03-04 1093
EasyExcel的介绍和使用
EasyExcel实现追加写入文件
热门推荐
Lincain的博客
07-10 1万+
最近工作中需要将数据写入到excel中，写入的方式分两类，一类是直接写入excel文件，另一类是需要追加写入。直接写入excel的方式，可直接参考 easyexcel 的文档，采用的是按照模板填充。今天主要是分享追加写入的方式，因为项目的原因，没有使用数据库，所以汇总数据时，需要把每次测试数据追加写入的同一个 excel 文件中。本文主要参考了easyexcel已存在的excel里追加数据(csdn) 和 easyexcel往已存在的excel文件里追加数据(cnblog)两篇文章，并根据自己的需求进行了相
easyExcel追加数据写入模板
qq_30320541的博客
11-25 4276
代码： public void themeParty(HttpServletResponse response, BScoreQuery query) throws Exception { //固定的头信息 response.setContentType("application/vnd.ms-excel"); response.setCharacterEncoding("utf-8"); //防止中文乱码 S
Easyexcel写入数据的时候以追加的方式以及多sheet写入
m0_61494411的博客
02-22 7354
Easyexcel写入数据的时候以追加的方式
EasyExcel的追加写入（新增POI、CSV）
qq_40555976的博客
01-05 2351
2.将已有的excel通过FIleInputStream流读出来，加载到内存当中，然后获取对应sheet页的行数，进行追加操作。总结：目前市面上流行的2中EasyExcel和POI都不是真正的对物理excel文件进行追加导入。1.for循环查询数据，将数据写入缓存，最后一次性写入excel。唉~别急，我再写个POI的。
easyexcel内容追加与单元格合并
feinifi的博客
04-21 3475
excel单元格合并与内容追加，单元格合并需要注册单元格处理器CellWriteHandler，内容追加，需要以现有的文件为模板，生成新的文件。
使用easyexcel实现复杂excel表格导出
weixin_42032770的博客
07-28 4821
因为解决不了这个证书问题，所以只能使用easyexcel写一个后端的服务，连带图片内容合成.xlsx文件。
easyExcel追加写入
qq_40632009的博客
06-15 1809
easyExcel追加写入
Easy Excel——写入Excel
吴声子夜歌的博客
09-23 3360
Data/*** 所有的 字符串起前面加上"自定义："三个字*/@ExcelProperty(value = "字符串标题", converter = CustomStringStringConverter.class)/*** 我想写到excel 用年月日的格式*/@DateTimeFormat("yyyy年MM月dd日HH时mm分ss秒")@ExcelProperty("日期标题")/*** 我想写到excel 用百分比表示*/
Excel添加，给指定行插入一行，合并及样式
05-06
Java代码对Excel进行增，删，改。及样式
EasyExcel 并发读取文件字段并进行校验，数据写入到新文件，批量插入数据到数据库
09-29
EasyExcel 并发读取文件字段并进行校验，数据写入到新文件，批量插入数据到数据库 demo
jxl操作excel写入数据不覆盖原有数据示例
09-04
网上很多例子，都是用Jxl读或者写excel，本文实现的功能就是将数据源in.xls的第几行第几列数据写入到out.xls的第几行第几列，不覆盖out.xls其他原有的数据。
EasyExcel100万数据耗时几分钟
05-06
EasyExcel导入50个字段，100万数据耗时几分钟，亲测有效
阿里的EasyExcel+Mysql方式实现数据库数据导出生成exce
03-01
阿里的EasyExcel+Mysql方式实现数据库数据导出生成excel，将excle表里面的数据保存到数据库
通过EasyExcel+线程池实现百万级数据从Excel导入到数据库
最新发布
03-26
在处理大量数据导入数据库的场景中，使用阿里巴巴开源的EasyExcel库结合线程池技术可以有效地实现从Excel文件导入到数据库的过程。先定义sheet的数量和固定大小的线程池数量，每个sheet页做为单独的任务交给线程池...
easyExcel千万级别数据下载
12-27
基于EasyExcel进行大数据文件下载。
easyexcel追加写入
06-01
可以使用EasyExcel实现追加写入。具体步骤如下： 1. 创建WriteSheet对象，并设置sheet名称和表头信息。 2. 创建WriteTable对象，并设置数据源。 3. 创建WriteWorkbook对象，并将WriteSheet对象和WriteTable对象添加到其中。 4. 使用append方法进行追加写入。 示例代码如下： ```java // 创建WriteSheet对象 WriteSheet writeSheet = EasyExcel.writerSheet(sheetName).head(head).build(); // 创建WriteTable对象 WriteTable writeTable = EasyExcel.writerTable(0).build(); // 创建WriteWorkbook对象 WriteWorkbook writeWorkbook = EasyExcel.write(outputStream).build(); writeWorkbook.write(writeSheet, writeTable); // 进行追加写入 EasyExcel.write(outputStream).append(dataList, writeSheet).finish(); ``` 其中，dataList为要追加的数据。注意，append方法需要传入WriteSheet对象，因此在创建WriteSheet对象时需要保存其引用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值