flink写入es的参数解析

        ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions: 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb: 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable: 延迟重试是否启用。
bulk.flush.backoff.type: 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay: 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。

  • 8
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Java中使用Flink写入Elasticsearch(Es)可以通过以下几个步骤实现: 1. 配置Elasticsearch的连接信息:首先,需要在Java应用程序中配置Elasticsearch的连接信息,包括Elasticsearch的主机名、端口号和集群名称。 2. 创建Elasticsearch连接:Flink提供了ElasticsearchSink类,用于与Elasticsearch建立连接。通过创建ElasticsearchSink类的实例,并使用之前配置的连接信息初始化它,即可建立与Elasticsearch的连接。 3. 定义Elasticsearch的索引和类型:在将数据写入Elasticsearch之前,需要定义要写入的索引名称和类型名称。可以通过调用ElasticsearchSink类的withBulkFlushMaxActions()方法指定每个批次写入的最大记录数。 4. 将数据写入Elasticsearch:在Flink应用程序的数据流中,可以使用addSink()方法将ElasticsearchSink实例添加为数据流的下游。然后,可以使用ElasticsearchSink类的invoke()方法将数据写入Elasticsearch。 5. 启动Flink应用程序:在配置好Elasticsearch连接和数据写入逻辑后,可以使用Flink的ExecutionEnvironment或StreamExecutionEnvironment启动Flink应用程序。 6. 监控写入情况:在Flink应用程序运行期间,可以通过ElasticsearchSink类提供的方法来监控数据写入情况,包括写入成功和失败的记录数。 以上就是在Java中使用Flink写入Elasticsearch的步骤。通过配置Elasticsearch连接信息、创建连接、定义索引和类型、添加ElasticsearchSink实例以及监控写入情况,可以实现将Flink流处理的数据写入Elasticsearch的功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值