Flink连接ES5和ES6的区别

最新推荐文章于 2023-09-07 16:03:12 发布
最新推荐文章于 2023-09-07 16:03:12 发布
阅读量704 收藏
点赞数
分类专栏： elasticsearch 文章标签： Flink es5和es6的区别 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KongLingLei_08225/article/details/104836419
版权

Flink连接ES6及以上版本，需注意一些API的参数变化，

参考官网：https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/connectors/elasticsearch.html

ES6 是通过new ElasticsearchSink.Builder<>（List< HttpHost> httpHosts, 
ElasticsearchSinkFunction<String> elasticsearchSinkFunction）创建的对象连接的ES，
然后通过setRestClientFactory方法设置客户端参数，实际上是把ES5的RestClientFactory
给私有化了，不能直接调用了。

ES5以前是通过传入一个map集合去设置参数，即使用的是

new 一个ElasticsearchSink<>(Map<String, String>List<InetSocketAddress>,
ElasticsearchSinkFunction<String>)对象去创建

注：ES6的参数List列表里面传参获取ES地址也由InetSocketAddress换为HttpHost类型。

时光仍在
关注
专栏目录
【Flink】Flink 1.9 写入 es6 案例
九师兄
06-27 784
1.概述 @Test public void mainTest() throws Exception { Configuration configuration = new Configuration(); configuration.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER,true); configuration.setInteger(ConfigConstants.JOB_MANAGE.
【Flink】Flink ES6写入报错 IncompatibleClassChangeError: Implementing class
九师兄
06-27 1000
1.背景 IncompatibleClassChangeError: Implementing class 参考： https://blog.csdn.net/qq_40943363/article/details/81807883 https://blog.csdn.net/yaowj2/article/details/50059329
记录一次Flink写入ES6的踩坑经历
weixin_40898246的博客
06-29 1037
近日在一次Flink打包运行插入ES的任务时，遇到一些版本冲突的问题 Flink自己实现的连接器里提供的ES版本为6.3.1（6.x连接器版本）而我们集群环境则为6.5.4 运行时会报一些异常 java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/elasticsearch/ActionRequestFailureHandler at com.guttv.test.AgDayHyperLogLogUv.main(AgDa
Flink 写es
诸葛子房的博客
11-17 1271
1.pom <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticsearch6_2.11</artifactId> <version>1.8.0</version> &lt...
Flink基于HyperLogLog写入ES6实践代码
weixin_40898246的博客
07-07 219
import com.alibaba.fastjson.JSONObject; import com.bean.ActiveBean; import com.bean.BaseBean; import com.utils.MyKafkaUtil; import net.agkn.hll.HLL; import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner; import org.apache.flink.api.com
flink1.14.4写入es8.x集群
qq_34492129的博客
09-07 461
flink 1.14.4 es 8.6.2
flink连接器jar包.rar
04-11
标题 "flink连接器jar包.rar" 暗示了我们正在讨论Apache Flink的数据连接器，这是一个关键组件，允许Flink与各种数据源和数据接收器进行交互。Flink作为一个强大的流处理和批处理框架，其连接器是实现数据输入和输出...
flink连接kafka
01-20
在生产环境中，确保Zookeeper、Kafka和Flink集群都正常运行，且网络连接无阻塞，才能保证数据的顺利流动。同时，监控系统的运行状态和性能指标，以便及时发现和解决问题。在IDEA中，你可以观察控制台输出，查看Flink...
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
flink1.12.0连接kafka和mysql的jar包
07-29
flink1.12.0连接kafka和mysql的jar包
Flink把数据写入到es6中运行出错
SDKLHKJAS的博客
03-29 507
2020-03-29 17:43:57,110 [flink-akka.actor.default-dispatcher-13] [org.apache.flink.runtime.rpc.akka.AkkaRpcService] [INFO] - Stopped Akka RPC service. Exception in thread "main" org.apache.flink.runti...
还在做Flink+Druid/ES/Hbase的实时数仓吗？AbutionGraph+Flink带您构建流批一体的增强流式知识图谱数据仓库
图特摩斯科技-博客
02-19 1634
AbutionGraph是众多国产数据库中新兴的一员，且是唯一一款GraphHOLAP的实时知识图谱数据仓库，将在本文中介绍Abution如何结合Flink（无缝对接Flink-1.12.1）构建增强的流批一体实时数仓。 Abution结合Flink和Spark的差异 AbutionGraph最初实现了跟Spark的无缝对接，使得我们可以很方便的将图数据与Spark的数据结构GraphX、GraphFrames、DataFrame、RDD互转，格式的转化已经覆盖了Spark的所有格式。对于流式处理.
Flink与ElasticSearch集成
weixin_46429290的博客
11-24 1969
Flink与ElasticSearch集成 在生产中，经常会使用Flink和ES集成，将Flink处理后的数据存放在ES之中，我们了解Flink是个实时处理的框架，其输出Sink可以由用户自定义输出，所以就可以将Flink处理后的数据通过自定义的Sink输出到ES中。 首先要添加相关的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.1
flink 写入到es_通过Flink实现个推海量消息数据的实时统计
weixin_29912855的博客
01-06 882
作者| 个推数据研发工程师 糖炒栗子背景消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。个推在提供消息推送服务时，为了更好地了解每天的推送情况，会从不同的维度进行数据统计，生成...
flink 写入到es_elasticsearch 结合 flink，kafka 性能调优经验
weixin_34466909的博客
01-13 1350
1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致4. 写入 ES 时，需要先决定是按天建立索引还是按月建立索引，我一般是跨度超过1年的离线数据按月建立索引，跨度不超过一个月的数据按天...
Flink学习笔记-常用Source和Sink简单示例
PURSUE ONE PIECE
04-24 1484
Flink 1.10.0 版本目前支持一下的Connector Apache Kafka(source/sink) Apache Cassandra(sink) Amazon Kinesis Streams(source/sink) Elasticsearch(sink) Hadoop FileSystem(sink) RabbitMQ(source/sink) Apac...
flink写入es版本控制问题
qq_36722360的博客
11-01 2572
写入es有两种，一种是create请求，覆盖操作。一种update局部更新操作。本次讨论各种情况es写入的版本控制问题，以及flink1.6.x与es6.x的小插曲 1：测试不控制版本号的create覆盖操作 Requests.indexRequest() .index("test") .type("_doc") .id(inputjson.g...
spring boot集成 elasticsearch集群 之REST Client
weixin_43174967的博客
05-29 5230
elasticsearch 集群的搭建 和 概念这里不说可以参考以下地址: https://www.cnblogs.com/chenmc/tag/elasticSearch/ ,主要记录下,自己工作中要去集成es 时,选用操作es的方式 三种方式 操作es的主要有三种方式: 第一种 :spring date es ,这种方式简单,多用于一些简单业务,但因为方法都帮你封装好了,灵活度不高!(复杂业...
使用Java Rest Client操作Elasticsearch
三劫散仙
08-09 953
Elasticsearch作为一个成熟的开源框架，对主流的多种客户端语言都支持，比如Java，JavaScript ，PHP，.Net，Python，Ruby，CURL当然还有一些小众的语言，虽然es官网没支持，但是个人开发者也有一些开源的，具体的可在es官网clients地址查看： [code="java"]https://www.elastic.co/guide/en/elast...
flink 连接器与flink cdc的区别
最新发布
08-13
Flink Connector和Flink CDC (Change Data Capture) 是 Apache Flink 中用于数据流处理的不同组件。 1. **Flink Connectors**：Flink Connectors 是 Flink 提供的一种通用机制，用于将外部数据源集成到流处理任务中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值