如何使用 Flink Connectors —— ElasticSearch？

最新推荐文章于 2024-09-03 07:05:15 发布

zhisheng_blog

最新推荐文章于 2024-09-03 07:05:15 发布

阅读量940

点赞数 1

分类专栏：大数据实时计算引擎 Flink 实战与性能优化

本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108728693

版权

大数据实时计算引擎 Flink 实战与性能优化专栏收录该内容

73 篇文章 29 订阅 ¥99.00 ¥99.00

订阅专栏

本文介绍了如何使用 Flink Connectors 将数据写入 ElasticSearch，包括环境准备、依赖添加、ESSinkUtil 工具类、Main 启动类和配置文件的设置。同时，讨论了在海量数据实时写入情况下如何保证 ElasticSearch 的稳定性，以及可能遇到的队列满、节点挂掉和磁盘满等问题及其解决方案。

摘要由CSDN通过智能技术生成

准备环境和依赖

ElasticSearch 安装

因为在 2.1 节中已经讲过 ElasticSearch 的安装，这里就不做过多的重复，需要注意的一点就是 Flink 的 ElasticSearch Connector 是区分版本号的。

所以添加依赖的时候要区分一下，根据你安装的 ElasticSearch 来选择不一样的版本依赖，另外就是不同版本的 ElasticSearch 还会导致下面的数据写入到 ElasticSearch 中出现一些不同，我们这里使用的版本是 ElasticSearch6，如果你使用的是其他的版本可以参考官网的实现。

添加依赖

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-elasticsearch6_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

上面这依赖版本号请自己根据使用的版本对应改变下。