java 操作大数据量的Excel

那么我们建立起与之对应的实体类

public class DateDetailInfo extends Model {

@ExcelProperty(“id”)

private Integer originId;

@ExcelProperty(“gateway_id”)

private String gatewayId;

@ExcelProperty(“ear_tag_id”)

private String earTagId;

@ExcelProperty(“temp”)

private String temp;

@ExcelProperty(“step_count”)

private Integer stepCount;

@ExcelProperty(“battery_power”)

private Integer batteryPower;

@ExcelProperty(“master_signal”)

private Integer masterSignal;

@ExcelProperty(“slave_signal”)

private Integer slaveSignal;

@ExcelProperty(“version”)

private String version;

@ExcelProperty(“upload_time”)

private Date uploadTime;

@ExcelProperty(“update_time”)

private Date updateTime;

@ExcelProperty(“create_time”)

private Date createTime;

}

其中ExcelProperty对应的就是我们的列名，更多详细的描述可以自行查看开发手册，由于文章篇幅限制，我把getter和setter方法删除了，自己可以自行添加进去

2.2 创建监听器

---

import com.alibaba.excel.context.AnalysisContext;

import com.alibaba.excel.event.AnalysisEventListener;

import com.huateng.pig.mapper.DateDetailInfoMapper;

import com.huateng.pig.po.DateDetailInfo;

import lombok.extern.slf4j.Slf4j;

import java.util.ArrayList;

import java.util.List;

@Slf4j

public class DateDetailInfoListerner extends AnalysisEventListener {

private DateDetailInfoMapper dateDetailInfoMapper;

/**

• 每隔1000条存储数据库，实际使用中可以3000条，然后清理list ，方便内存回收

*/

private static final int BATCH_COUNT = 1000;

List list = new ArrayList();

public DateDetailInfoListerner(DateDetailInfoMapper dateDetailInfoMapper) {

this.dateDetailInfoMapper = dateDetailInfoMapper;

}

@Override

public void invoke(DateDetailInfo dateDetailInfo, AnalysisContext analysisContext) {

list.add(dateDetailInfo);

// 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM

if (list.size() >= BATCH_COUNT) {

saveData();

// 存储完成清理 list

list.clear();

}

}

@Override

public void doAfterAllAnalysed(AnalysisContext analysisContext) {

// 这里也要保存数据，确保最后遗留的数据也存储到数据库

saveData();

log.info(“所有数据解析完成！”);

}

/**

• 加上存储数据库

*/

private void saveData() {

log.info(“{}条数据，开始存储数据库！”, list.size());

int saveNum = dateDetailInfoMapper.addBatches(list);

log.info(“成功存储” + saveNum + “数据库成功！”);

}

}

其中对应的DateDetailInfoMapper如下：

public interface DateDetailInfoMapper{

int addBatches(List list);

}

对应的xml文件代码如下：

INSERT INTO date_detail_info

(origin_id,gateway_id, ear_tag_id, temp, step_count,battery_power,master_signal,slave_signal,version,

upload_time, update_time, create_time)

VALUES

(#{dateDetailInfo.originId}, #{dateDetailInfo.gatewayId}, #{dateDetailInfo.earTagId},#{dateDetailInfo.temp},

#{dateDetailInfo.stepCount},

#{dateDetailInfo.batteryPower},#{dateDetailInfo.masterSignal},

#{dateDetailInfo.slaveSignal},#{dateDetailInfo.version}, #{dateDetailInfo.uploadTime},

#{dateDetailInfo.updateTime},#{dateDetailInfo.createTime})

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！**

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！