apache-xerces
xercesImpl
2.9.1
com.alibaba
easyexcel
2.2.10
我们excel表的样式如下所示:
那么我们建立起与之对应的实体类
public class DateDetailInfo extends Model {
@ExcelProperty(“id”)
private Integer originId;
@ExcelProperty(“gateway_id”)
private String gatewayId;
@ExcelProperty(“ear_tag_id”)
private String earTagId;
@ExcelProperty(“temp”)
private String temp;
@ExcelProperty(“step_count”)
private Integer stepCount;
@ExcelProperty(“battery_power”)
private Integer batteryPower;
@ExcelProperty(“master_signal”)
private Integer masterSignal;
@ExcelProperty(“slave_signal”)
private Integer slaveSignal;
@ExcelProperty(“version”)
private String version;
@ExcelProperty(“upload_time”)
private Date uploadTime;
@ExcelProperty(“update_time”)
private Date updateTime;
@ExcelProperty(“create_time”)
private Date createTime;
}
其中ExcelProperty对应的就是我们的列名,更多详细的描述可以自行查看开发手册,由于文章篇幅限制,我把getter和setter方法删除了,自己可以自行添加进去
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import com.huateng.pig.mapper.DateDetailInfoMapper;
import com.huateng.pig.po.DateDetailInfo;
import lombok.extern.slf4j.Slf4j;
import java.util.ArrayList;
import java.util.List;
@Slf4j
public class DateDetailInfoListerner extends AnalysisEventListener {
private DateDetailInfoMapper dateDetailInfoMapper;
/**
- 每隔1000条存储数据库,实际使用中可以3000条,然后清理list ,方便内存回收
*/
private static final int BATCH_COUNT = 1000;
List list = new ArrayList();
public DateDetailInfoListerner(DateDetailInfoMapper dateDetailInfoMapper) {
this.dateDetailInfoMapper = dateDetailInfoMapper;
}
@Override
public void invoke(DateDetailInfo dateDetailInfo, AnalysisContext analysisContext) {
list.add(dateDetailInfo);
// 达到BATCH_COUNT了,需要去存储一次数据库,防止数据几万条数据在内存,容易OOM
if (list.size() >= BATCH_COUNT) {
saveData();
// 存储完成清理 list
list.clear();
}
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
// 这里也要保存数据,确保最后遗留的数据也存储到数据库
saveData();
log.info(“所有数据解析完成!”);
}
/**
- 加上存储数据库
*/
private void saveData() {
log.info(“{}条数据,开始存储数据库!”, list.size());
int saveNum = dateDetailInfoMapper.addBatches(list);
log.info(“成功存储” + saveNum + “数据库成功!”);
}
}
其中对应的DateDetailInfoMapper如下:
public interface DateDetailInfoMapper{
int addBatches(List list);
}
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
g-l36V2dlE-1712847944095)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-Og5vW3e1-1712847944096)]