首先,需求是:导入一份Excel数据,和数据库里面进行对比,若发现不一致的数据,则全部整成一份Excel导出来!
然而:
由于数据量比较大,读写速度等原因,会造成接口请求超时!
那么:
我给出的解决方案就是开启多线程处理数据写入Excel中
直接上代码:
/**
* 初始化线程池
* TODO (建议线程数 = 2 * CPU最大处理器数)
*/
private static ExecutorService executor = ThreadUtil.newExecutor(2 * Runtime.getRuntime().availableProcessors());
// 两个数据进行对比, 找出不一致的数据List (以Excel数据为准)
List<SubscriptionExcelDTO> compareList = this.compare(subscriptionExcelEntities, subscriptionList);
// 为了异步处理
List<Future<Boolean>> futures = new ArrayList<>(compareList.size());
for (SubscriptionExcelDTO excelDTO : compareList) {
Future<Boolean> submit = executor.submit(() -> {
if ("韶关保利时光印象-一期-4栋-1-2604".equals(excelDTO.getRoomName())) {
// 模拟异常, 不影响其他的数据的处理
int test = 1/0;
}
log.info(">>> " + excelDTO.getRoomName());
// 执行业务逻辑
this.writerRowIng(excelDTO, writer);
return Boolean.TRUE;
});
futures.add(submit);
}
// 取数据
for(Future submit : futures) {
// 保证每个数据都取出来,且正确
submit.get();
}
log.info("------------------>> 主线程等待完毕");
可能数据量贼大贼大,可能还是会超时的话,可以考虑再加入RabbitMQ异步处理
当然这只是我使用的一种解决方案而已,还是很多种方案的,
大家可以在下面给出自己的方案,楼主也想多向大家学习的!