es bulk java_ES 操作之批量写-BulkProcessor 原理浅析

最近对线上业务进行重构，涉及到ES同步这一块，在重构过程中，为了ES 写入 性能考虑，大量的采取了 bulk的方式，来保证整体的一个同步速率，针对BulkProcessor 来深入一下，了解下 是如何实现，基于请求数，请求数据量大小 和 固定时间，刷新写入ES 的原理

针对ES 批量写入， 提供了3种方式，在 high-rest-client 中

分别是 bulk bulkAsync bulkProcessor 3种方式。

本文主要针对 bulkProcessor 来进行一些讲述

BulkProcessor

官方介绍

BulkProcessor是一个线程安全的批量处理类,允许方便地设置 刷新 一个新的批量请求

(基于数量的动作,根据大小,或时间),

容易控制并发批量的数量

请求允许并行执行。

创建流程

How To use ？

来看个demo 创建BulkProcessor

@Bean(name = "bulkProcessor") // 可以封装为一个bean，非常方便其余地方来进行 写入 操作

public BulkProcessor bulkProcessor(){

BiConsumer> bulkConsumer =

(request, bulkListener) -> Es6XServiceImpl.getClient().bulkAsync(request, RequestOptions.DEFAULT, bulkListener);

return BulkProcessor.builder(bulkConsumer, new BulkProcessor.Listener() {

@Override

public void beforeBulk(long executionId, BulkRequest request) {

// todo do something

int i = request.numberOfActions();

log.error("ES 同步数量{}",i);

}

@Override

public void afterBulk(long executionId, BulkRequest request, BulkResponse response) {

// todo do something

Iterator iterator = response.iterator();

while (iterator.hasNext()){

System.out.println(JSON.toJSONString(iterator.next()));

}

}

@Override

public void afterBulk(long executionId, BulkRequest request, Throwable failure) {

// todo do something

log.error("写入ES 重新消费");

}

}).setBulkActions(1000) // 达到刷新的条数

.setBulkSize(new ByteSizeValue(1, ByteSizeUnit.MB)) // 达到 刷新的大小

.setFlushInterval(TimeValue.timeValueSeconds(5)) // 固定刷新的时间频率

.setConcurrentRequests(1) //并发线程数

.setBackoffPolicy(BackoffPolicy.exponentialBackoff(TimeValue.timeValueMillis(100), 3)) // 重试补偿策略

.build();

}

使用BulkProcessor

bulkProcessor.add(xxxRequest)

创建过程做了些什么？创建一个consumer 对象用来封装传递参数，和请求操作

BiConsumer> bulkConsumer =

(request, bulkListener) -> Es6XServiceImpl.getClient().bulkAsync(request, RequestOptions.DEFAULT, bulkListener);

我们可以看到用了java 8的函数式编程接口 BiConsumer 关于 BiConsumer 的用法，可以自行百度，因为也是采取的 异步刷新策略， 所以，是一个返回结果的Listener ActionListener

构建并BulkProcess

return BulkProcessor.builder(bulkConsumer, new BulkProcessor.Listener() {

****

}).setBulkActions(1000)