批处理 ：从ElasticSearch看批处理的性能优势

一. 前言

ES 优化方案网上能找到很多，生产中也会直接按照方案进行配置。但是，还是有必要搞清楚这样优化的原理的。

最常见的优化方案包括 ： 批量保存 ， 修改 refresh 刷新间隔。这一篇先来全方面看看批量保存。

二. 性能直观对比

基本代码

java复制代码public void addSingle() {
    logger.info("测试创建");
    for (int i = 0; i < 3000; i++) {
        AOrder order = createOrderA(i);
        aorderRepository.save(order);
        logger.info("------> 保存 ：{} <-------", order);
    }
}

public void addBatch() {
    logger.info("测试创建");
    List<AOrder> orderList = new ArrayList<>();
    for (int i = 0; i < 3000; i++) {
        AOrder order = createOrderA(i);
        orderList.add(order);
    }
    List<List<AOrder>> splitList = CollectionUtil.split(orderList, 10);
    splitList.forEach(itemList -> {
        aorderRepository.saveAll(itemList);
        logger.info("------> 保存 ：{} <-------", itemList.size());
    });

}

两次执行的时间差 ：

java复制代码c.g.s.e.demo.service.TestService         : ------> 结束 ：171276 <-------
c.g.s.e.demo.service.TestService         : ------> 结束 ：23253 <-------

// BulkProcessor 的会更快，但是考虑到这是一个异步操作，不作为参考
// PS ：这里我执行完就去刷新了数量，多也不会多多少
c.g.s.e.demo.service.TestService         : ------> 结束 ：1149 <-------

同样是3000条数据,相同的环境相同的服务器,这完全不是一个量级的性能