如何使用 Flink Connectors —— ElasticSearch?

准备环境和依赖

ElasticSearch 安装

因为在 2.1 节中已经讲过 ElasticSearch 的安装,这里就不做过多的重复,需要注意的一点就是 Flink 的 ElasticSearch Connector 是区分版本号的。

所以添加依赖的时候要区分一下,根据你安装的 ElasticSearch 来选择不一样的版本依赖,另外就是不同版本的 ElasticSearch 还会导致下面的数据写入到 ElasticSearch 中出现一些不同,我们这里使用的版本是 ElasticSearch6,如果你使用的是其他的版本可以参考官网的实现。

添加依赖
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-elasticsearch6_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

上面这依赖版本号请自己根据使用的版本对应改变下。

Flink 写入数据到 ElasticSearch 应用程序

ESSinkUtil 工具类

这个工具类是自己封装的,getEsAddresses 方法将传入的配置文件 es 地址解析出来,可以是域名方式,也可以是 ip + port 形式。addSink 方法是利用了 Flink 自带的 ElasticsearchSink 来封装了一层,传入了

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
下面是一个基于 FlinkElasticsearch Sink 的代码示例: ```java import org.apache.flink.api.common.functions.RuntimeContext; import org.apache.flink.streaming.api.functions.sink.RichSinkFunction; import org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSinkFunction; import org.apache.flink.streaming.connectors.elasticsearch6.ElasticsearchSink; import org.apache.flink.streaming.connectors.elasticsearch6.RestClientFactory; import org.apache.flink.streaming.connectors.elasticsearch6.RestClientFactoryImpl; import org.apache.flink.streaming.connectors.elasticsearch6.index.IndexRequestBuilder; import org.apache.flink.util.Preconditions; import org.elasticsearch.action.index.IndexRequest; import org.elasticsearch.client.Requests; import org.elasticsearch.common.xcontent.XContentBuilder; import org.elasticsearch.common.xcontent.XContentFactory; import java.util.HashMap; import java.util.Map; public class FlinkElasticsearchSinkExample { public static void main(String[] args) { // set up Flink environment // set up Elasticsearch sink configuration Map<String, String> config = new HashMap<>(); config.put("cluster.name", "elasticsearch"); config.put("bulk.flush.max.actions", "1"); // create Elasticsearch sink ElasticsearchSink.Builder<ElasticsearchMessage> esSinkBuilder = new ElasticsearchSink.Builder<>( config, new ElasticsearchSinkFunction<ElasticsearchMessage>() { public IndexRequest createIndexRequest(ElasticsearchMessage element) { try { XContentBuilder builder = XContentFactory.jsonBuilder(); builder.startObject(); { builder.field("timestamp", element.getTimestamp()); builder.field("message", element.getMessage()); } builder.endObject(); return Requests.indexRequest() .index("flink-elasticsearch-sink") .type("_doc") .id(element.getId()) .source(builder); } catch (Exception e) { throw new RuntimeException(e); } } @Override public void process(ElasticsearchMessage element, RuntimeContext ctx, RequestIndexer indexer) { indexer.add(createIndexRequest(element)); } }); // create and add RestClientFactory esSinkBuilder.setRestClientFactory(new RestClientFactoryImpl()); // add Elasticsearch sink to Flink job env.addSource(new FlinkKafkaConsumer<>("my-topic", new SimpleStringSchema(), properties)) .map(new MyMapFunction()) .addSink(esSinkBuilder.build()); } // POJO representing Elasticsearch message public static class ElasticsearchMessage { private String id; private long timestamp; private String message; public ElasticsearchMessage(String id, long timestamp, String message) { this.id = id; this.timestamp = timestamp; this.message = message; } public String getId() { return id; } public void setId(String id) { this.id = id; } public long getTimestamp() { return timestamp; } public void setTimestamp(long timestamp) { this.timestamp = timestamp; } public String getMessage() { return message; } public void setMessage(String message) { this.message = message; } } // custom implementation of RestClientFactory public static class RestClientFactoryImpl implements RestClientFactory { @Override public void configureRestClientBuilder(org.elasticsearch.client.RestClientBuilder restClientBuilder) { // set up authentication if needed } } } ``` 注意:在 `configureRestClientBuilder` 方法中可以设置 Elasticsearch 的认证信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值