大数据最新java 操作大数据量的Excel(1)，2024年最新最详细的docker中安装并配置redis

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2.2.10

我们excel表的样式如下所示：

那么我们建立起与之对应的实体类

public class DateDetailInfo extends Model {

@ExcelProperty(“id”)

private Integer originId;

@ExcelProperty(“gateway_id”)

private String gatewayId;

@ExcelProperty(“ear_tag_id”)

private String earTagId;

@ExcelProperty(“temp”)

private String temp;

@ExcelProperty(“step_count”)

private Integer stepCount;

@ExcelProperty(“battery_power”)

private Integer batteryPower;

@ExcelProperty(“master_signal”)

private Integer masterSignal;

@ExcelProperty(“slave_signal”)

private Integer slaveSignal;

@ExcelProperty(“version”)

private String version;

@ExcelProperty(“upload_time”)

private Date uploadTime;

@ExcelProperty(“update_time”)

private Date updateTime;

@ExcelProperty(“create_time”)

private Date createTime;

}

其中ExcelProperty对应的就是我们的列名，更多详细的描述可以自行查看开发手册，由于文章篇幅限制，我把getter和setter方法删除了，自己可以自行添加进去

2.2 创建监听器

---

import com.alibaba.excel.context.AnalysisContext;

import com.alibaba.excel.event.AnalysisEventListener;

import com.huateng.pig.mapper.DateDetailInfoMapper;

import com.huateng.pig.po.DateDetailInfo;

import lombok.extern.slf4j.Slf4j;

import java.util.ArrayList;

import java.util.List;

@Slf4j

public class DateDetailInfoListerner extends AnalysisEventListener {

private DateDetailInfoMapper dateDetailInfoMapper;

/**

• 每隔1000条存储数据库，实际使用中可以3000条，然后清理list ，方便内存回收

*/

private static final int BATCH_COUNT = 1000;

List list = new ArrayList();

public DateDetailInfoListerner(DateDetailInfoMapper dateDetailInfoMapper) {

this.dateDetailInfoMapper = dateDetailInfoMapper;

}

@Override

public void invoke(DateDetailInfo dateDetailInfo, AnalysisContext analysisContext) {

list.add(dateDetailInfo);

// 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM

if (list.size() >= BATCH_COUNT) {

saveData();

// 存储完成清理 list

list.clear();

}

}

@Override

public void doAfterAllAnalysed(AnalysisContext analysisContext) {

// 这里也要保存数据，确保最后遗留的数据也存储到数据库

saveData();

log.info(“所有数据解析完成！”);

}

/**

• 加上存储数据库

*/

private void saveData() {

log.info(“{}条数据，开始存储数据库！”, list.size());

int saveNum = dateDetailInfoMapper.addBatches(list);

log.info(“成功存储” + saveNum + “数据库成功！”);

}

}

其中对应的DateDetailInfoMapper如下：

public interface DateDetailInfoMapper{

int addBatches(List list);

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！