flink 写入到es_Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)

Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)

发布时间：2018-07-19 20:12,

浏览次数：1636

, 标签：

Flink

ElasticSearch

一、ElasticSearchSink介绍

在使用Flink进行数据的处理的时候，一个必要步骤就是需要将计算的结果进行存储或导出，Flink中这个过程称为Sink，官方我们提供了常用的几种Sink

Connector，例如:

* Apache Kafka

* Elasticsearch

* Elasticsearch 2x

* Hadoop FileSystem

* …

这篇就选取其中一个常用的ElasticsearchSink来进行介绍，并讲解一下生产环境中使用时的一些注意点，以及其内部实现机制。

二、使用方式

a、添加pom依赖

org.apache.flink

flink-connector-elasticsearch2_2.10 1.3.1

dependency>

根据自己所用的filnk版本以及es版本对上面的版本号进行调整

b、实现对应代码

DataStream input = ...; Map config = new HashMap<>();

config.put("cluster.name", "my-cluster-name"); //该配置表示批量写入ES时的记录条数 config.put(

"bulk.flush.max.actions&