一. 前言
ES 优化方案网上能找到很多,生产中也会直接按照方案进行配置。但是,还是有必要搞清楚这样优化的原理的。
最常见的优化方案包括 : 批量保存 , 修改 refresh 刷新间隔。这一篇先来全方面看看批量保存。
二. 性能直观对比
基本代码
java复制代码public void addSingle() {
logger.info("测试创建");
for (int i = 0; i < 3000; i++) {
AOrder order = createOrderA(i);
aorderRepository.save(order);
logger.info("------> 保存 :{} <-------", order);
}
}
public void addBatch() {
logger.info("测试创建");
List<AOrder> orderList = new ArrayList<>();
for (int i = 0; i < 3000; i++) {
AOrder order = createOrderA(i);
orderList.add(order);
}
List<List<AOrder>> splitList = CollectionUtil.split(orderList, 10);
splitList.forEach(itemList -> {
aorderRepository.saveAll(itemList);
logger.info("------> 保存 :{} <-------", itemList.size());
});
}
两次执行的时间差 :
java复制代码c.g.s.e.demo.service.TestService : ------> 结束 :171276 <-------
c.g.s.e.demo.service.TestService : ------> 结束 :23253 <-------
// BulkProcessor 的会更快,但是考虑到这是一个异步操作,不作为参考
// PS :这里我执行完就去刷新了数量,多也不会多多少
c.g.s.e.demo.service.TestService : ------> 结束 :1149 <-------
同样是3000条数据,相同的环境相同的服务器,这完全不是一个量级的性能