Flink（入门）实时数据upsert方式写入ES

最新推荐文章于 2024-05-05 22:17:24 发布
最新推荐文章于 2024-05-05 22:17:24 发布
阅读量1.9k 收藏 6
点赞数 1
分类专栏： Flink 入门 文章标签： flink elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HugeBitter/article/details/117030898
版权

Flink（入门）实时数据upsert方式写入ES


软件版本
ElasticSearch 7.10.1
Flink 1.11

Maven依赖

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

Flink读取数据源和数据处理过程省略

。

Flink upsert 方式写入ES

           // use a ElasticsearchSink.Builder to create an ElasticsearchSink with update mode
            ElasticsearchSink.Builder<Tuple2<String, String>> esUpdateSinkBuilder = new ElasticsearchSink.Builder<>(
                    httpHosts,
                    new ElasticsearchSinkFunction<Tuple2<String
最低0.47元/天 解锁文章
HugeBitter
关注
专栏目录
flink 读取文件数据写入ElasticSearch
congge_study的博客
11-14 9044
flink读取文件数据写到elasticsearch
【Flink】Flink 1.13 将数据 写入 到 elasticsearch 7 案例
九师兄
09-06 2204
1.概述 想使用flink 写入es做个测试，原因是还没这样做过，想试试，然后参考一些资料如下 2.Sink: Batch Sink: Batch Sink: Streaming Append & Upsert Mode Elasticsearch 连接器允许将数据写入到 Elasticsearch 引擎的索引中。 连接器可以工作在 upsert\ 模式下，使用 DDL 中定义的主键与外部系统交换 UPDATE/DELETE\ 消息。 如果 DDL 中没有定义主键，则连接器只能工作在 append\
FlinkSql使用ES sink并指定主键，为什么数据还是会被覆盖？
最新发布
初阳
05-05 1163
源码基于flink 1.14.4根据官方文档中对自定义sink的描述，connector sink的的工作原理如下元数据的内容由create table语句所定义，通过的实例表示，该实例表示Catalog中未解析的元数据，包含可以在create table语句中表示的所有特征，框架将其解析为实例（一个经过验证的CatalogTable），然后再将其传递给，最终传入到，用于insert into语句的写入。负责提供connector的具体实现逻辑。用于将的元数据转化为。其接口中仅有一个方法，返回实例。
Flink tableapi数据写入ES
qq_43118086的博客
10-19 242
tabEnv.connect(new Elasticsearch() .version("6") .host("localhost",9092,"http") .index("sensor") .documentType("test") ) .inUpsertMode() .withFormat(new Json()) .withSchema(new Schema() .field("id",Data
Flink（十八）—— Flink 实时写入数据到 ElasticSearch 性能调优
weixin_42073629的博客
10-15 1624
背景说明 线上业务反应使用Flink消费上游kafka topic里的轨迹数据出现backpressure，数据积压严重。单次bulk的写入量为：3000/50mb/30s，并行度为48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的ES集群。本着复现问题进行优化就能解决的思路进行调优测试。 测试环境 elasticsearch 2.3.3 flink 1.6.3 flink-connector-elasticsearch2_2.11 八台SSD，
Flink实时读取kafka数据写入到hdfs和es
m0_37592814的博客
05-25 3104
一、前言 软件如下：Flink 1.7.2 、elasticsearch 5.2.2 、hadoop 2.7.2、kafka0.10.2.1、hive 、scala 2.11.11、springboot 需要提前按照好。 （1）流程图： 流程图跟上一篇文章相似https://blog.csdn.net/m0_37592814/article/details/105027815，主要是把sparkstreaming 替换成flink （2）Flink官网 以下Fli...
flink日志实时采集写入Kafka/ElasticSearch
xiaoyixiao_的博客
04-25 1539
flink日志实时采集写入Kafka/ElasticSearch
实现es的mysql中的upsert
龙傲宇
08-05 996
es写入
flink 写入到es_Flink 实时写入数据到 ElasticSearch 性能调优
weixin_40005542的博客
12-22 355
背景说明线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure，数据积压严重。单次 bulk 的写入量为：3000/50mb/30s，并行度为 48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。本着复现问题进行优化就能解决的思路进行调优测试。测试环境Elasticsearch 2.3.3Flink 1.6.3fli...
Flink入门(四) ElasticSearch6 update操作
baifanwudi的专栏
12-12 5711
软件版本 ElasticSearch6.3 Flink 1.6.2 maven依赖 &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.apache.flink&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;flink-connector-elasticsear
【Flink】 Upsert 乱序问题
weixin_50573352的博客
09-21 149
业务中，偶尔会接到某订单数据无法在 es 中查询，经添加日志排查，发现，某个订单维表数据发生变更，最后 -D 事件和 +I 事件发生了乱序，在进入 es 时，先执行了 +I 事件，再执行了 -D 事件，于是，es 数据丢失。否则，就说明发生了乱序。另外，我们在写 sql 时，要关注 join key ，尽量优化 sql，让它以 upsert key 做 shuffle，减少出现多重乱序的 join sql，来减少数据异常。数据更新时，在某些情况下，如关联的表够多，并行度够大，可能会有概率出现数据乱序问题。
Flink系列之：Upsert Kafka SQL 连接器
zhengzaifeidelushang的博客
12-20 2194
更准确地说，数据记录中的 value 被解释为同一 key 的最后一个 value 的 UPDATE，如果有这个 key（如果不存在相应的 key，则该更新被视为 INSERT）。总之，这段代码的作用是通过Kafka连接器创建两个表，并将"pageviews"表中的数据计算出每个地区的pv和uv，并插入到"pageviews_per_region"表中。这段代码是用来创建两个表，一个是"pageviews_per_region"，另一个是"pageviews"，并定义了它们的结构和连接器。
实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例
jmx_bigdata的博客
01-13 6271
在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来处理。在Flink1.11中，可以通过 flink-cdc-connectors 项目提供的 **changelog-json format **来实现该功能。关于该功能的使用，见之前的分享Flink1.11中的CDC Connectors操作实践。 在Flink1.12版本中， 新增了一个 upsert connecto
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
zhengzaifeidelushang的博客
12-31 2853
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流(Upsert)
Flink table api数据写入外部数据源的更新模式以及常用外部数据源支持的更新模式
qq_43118086的博客
10-19 1516
更新模式（Update Mode）与常见外部系统支持模式 在流处理过程中，表的处理并不像传统定义的那样简单。 对于流式查询（Streaming Queries），需要声明如何在表和外部连接器之间执行转换。与外部系统交换的消息类型，由更新模式（update mode）指定。 Flink Table API 中的更新模式有以下三种： ①追加模式（Append Mode） 在追加模式下，表和外部连接器只交换插入（Insert）消息。 ②撤回模式（Retract Mode） 在撤回模式下，表和外部连接器交换的是：添
Flink1.12 Kafka Upsert 笔记
欲望以提升热忱 毅力以磨平高山
01-25 8796
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 @[TOC](文章目录) 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Upsert Kafka Connector是什么？ Upsert Kafka Connector允许用户以upsert的方式从Kafka主题读取数据或将数据写入Kafka主题。 .
记 - Flink SQL Upsert Kafka Sink 数据乱序排查与解决思路【业务数据任意修改】
a123147abc的博客
07-18 2764
Flink SQL Upsert Kafka Sink 数据乱序
基于 Binlog + Flink 实现多表数据同构/异构方案
vivisran的博客
03-21 1389
什么是数据异构？简单讲，就是将数据进行异地数据异构存储。数据异构服务市场使用 BinLake（京东 MySQL 的 Binlog 日志实时采集、统一分发、消息订阅和监控服...
使用Flink构建实时数据仓库的演进与实践
"基于Flink构建实时数据仓库的讲解，主要涵盖了OPPO实时数仓的演进思路、基于FlinkSQL的扩展工作、构建实时数仓的应用案例以及对Apache Flink未来发展的思考。" 在现代大数据处理领域，Apache Flink作为一种强大的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值