Easyexcel抽取公共读取监听器
问题背景
我们在使用easyexcel读取数据时,会使用到一个listener监听器。每次我们有一个实体需要读取时都要创建一个新的类并继承ReadListener。而真正需要改动的内容只有泛型的实体类,和用于保存的Service业务对象,这就会存在一个问题:代码冗余。
思路
问题:那么我们要如何解决这些重复代码,同时还能扩展内部的功能呢?
思路:我们可以使用泛型和接口,结合开闭原则,就可以轻松地扩展该类,添加新的功能或修改现有功能,而不需要修改现有的代码。本文涉及的两个设计模式:策略模式和模板方法模式
策略模式:将数据处理和存储的策略封装在ExcelSaveOrUpdateBatchService中,并在invoke方法中调用saveData()来执行具体的存储操作。
模板方法模式:具体的数据处理由子类(或实现了ExcelInvokeDomain接口的类)来实现。doAfterAllAnalysed方法则是在模板方法中的一个步骤,用于在数据解析完成后执行特定的操作。
实践
1. 泛型化类
首先将类泛型化处理,需要实际类型的地方用泛型参数代替
这里规定了泛型类型T必须继承一个抽象类ExcelInvokeDomain,将需要对数据进行的操作规定在模版类中,需要执行的操作只需要在实现类中重写模版方法就可以实现修改。
比如这个地方,我们需要对参数校验,或者一些参数加工。就可以将方法定义在抽象类中。然后实体类再去做具体的处理。
实体类只需要继承抽象类并实现相应的细节,就可以实现调用时执行不同操作
2. 对业务类抽取接口
对数据操作的业务逻辑抽取接口,通过接口调用需要的方法,无需在意各具体的业务逻辑。
业务类只需要实现接口并实现相应的细节,就可以实现调用时执行不同操作
代码
监听器ExcelReadListener
@Slf4j
public class ExcelReadListener<T extends ExcelInvokeDomain> implements ReadListener<T> {
/**
* 每隔100条存储数据库,然后清理list ,方便内存回收
*/
private static final int BATCH_COUNT = 100;
/**
* 缓存的数据
*/
private List<T> cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
private ExcelSaveOrUpdateBatchService service;
/**
* 构建监听器【提供Service】
* @param service 用于批量存储更新 需继承ExcelSaveOrUpdateBatchService取用saveOrUpdateBatch方法
* *注意:泛型T必须与service配套
*/
public ExcelReadListener(ExcelSaveOrUpdateBatchService service) {
this.service = service;
}
/**
* 这个每一条数据解析都会来调用
*/
@Override
public void invoke(T data, AnalysisContext context) {
// 数据合法校验
if (!data.check()) throw new BusinessException(0,"行内有非法数据");
//用于导入后的数据再处理
data.init();
cachedDataList.add(data);
// 达到BATCH_COUNT了,需要去存储一次数据库,防止数据几万条数据在内存,容易OOM
if (cachedDataList.size() >= BATCH_COUNT) {
saveData();
// 存储完成清理 list
cachedDataList = ListUtils.newArrayListWithExpectedSize(BATCH_COUNT);
}
}
/**
* 所有数据解析完成了 都会来调用
*/
@Override
public void doAfterAllAnalysed(AnalysisContext context) {
// 这里也要保存数据,确保最后遗留的数据也存储到数据库
saveData();
log.info("导入数据解析完成!");
}
/**
* 存储数据入库
*/
private void saveData() {
if (!service.saveOrUpdateBatch(cachedDataList)){
throw new BusinessException(0,"数据更新异常");
}
}
}
抽象实体ExcelInvokeDomain
public interface ExcelInvokeDomain {
void init();
boolean check();
}
具体实体
@Data
public class Employee implements ExcelInvokeDomain, Serializable {
private Long eid;
private String eno;
private String ename;
private Integer eage;
private String egender;
private String ejob;
private Date eentrydate;
private BigDecimal esalary;
private Integer estate;
private Integer did;
private static final long serialVersionUID = 1L;
@Override
public void init() {
// TODO 初始化操作
}
@Override
public boolean check() {
// TODO 校验逻辑
return false;
}
}
业务接口ExcelSaveOrUpdateBatchService
public interface ExcelSaveOrUpdateBatchService<T> {
boolean saveOrUpdateBatch(List<T> data);
}
public interface EmployeeService extends IService<Employee>,ExcelSaveOrUpdateBatchService<Employee> {
}
具体业务EmployeeServiceImpl
@Service
public class EmployeeServiceImpl extends ServiceImpl<EmployeeMapper, Employee>
implements EmployeeService{
@Override
public boolean saveOrUpdateBatch(List<Employee> data) {
// TODO 业务代码
return false;
}
}