60-150-044-使用-Sink-Flink自定义RetractStreamTableSink

最新推荐文章于 2023-01-25 21:36:24 发布
最新推荐文章于 2023-01-25 21:36:24 发布
阅读量1k 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105277074
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Flink中流表的三种类型，并重点讲解了RetractStreamTableSink的自定义实现过程。通过全局wordcount的例子，展示了如何处理撤回和插入的消息，以及在实际应用中如何利用SinkFunction更新外部存储。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2. 概述

​ Flink Table/SQL中对于流表TableSink的定义有三类：AppendStreamTable、RetractStreamTableSink 、UpsertStreamTableSink ，这三类主要区别对应不同的流类型，在我看来可以归纳为两种模式：

  1. Insert模式，对应AppendStreamTable，只能执行insert动作，例如窗口聚合结果，每个窗口的结果都是唯一的，不会影响之前窗口的输出结果
  2. Redo模式，对应RetractStreamTableSink /UpsertStreamTableSink，除了执行Insert动作，还可执行Update/Delete动作，也就是结果可更新，例如全局group by聚合，后面的结果会影响之前的输出，
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
60-150-040-使用-Sink-Flink自定义UpsertStreamTableSink
九师兄
07-03 1401
1.美图 2.概述 在Flink实战系列之自定义RetractStreamTableSink中介绍了如何编写自定义RetractStreamTableSink，Flink 中提供了另外一种可Redo模式的UpsertStreamTableSink，与RetractStreamTableSink不同的是： 在UpsertStreamTableSink中需要指定一个unique key , 该un...
自定义RetractStreamTableSink
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 382
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 Flink Table/SQL 中对于流表TableSink的定义有三类：AppendStreamTable、RetractStreamTableSink 、UpsertStreamTableSink ，这三类主要区别对应不同的流类型，在我看来可以归纳为两种模式： 1.Insert模式，对应Appe
flink 流式表自定义StreamTableSource、RetractStreamSink，并使用flink kafkaDataStream.pdf
05-14
本文件是自己根据flink1.8官网文档https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/table/streaming/time_attributes.html#using-a-tablesource里实现的自定义StreamTableSource，并且输入流也用的是kafkaStream(更贴近实际应用)，由于官网的文档过于简单，并且有漏洞，你如果按照官网文档编写是会运行不成功的。附件文档的代码是亲测完全可以运行的，里面也自己实现了RetractStreamSink，可以供大家参考。
Flink:RetractStreamTableSink 自定义sink写数据到Phoenix
高矮
06-18 1924
文章目录目标Sink定义使用自定义Sink测试 目标 两张表left join的结果更新写入Phoenix 数据样例： (true,12,2,3,2020-06-18T00:00,2020-06-18T00:00) (true,12,2,5,2020-06-18T00:00,2020-06-18T00:00) (true,12,2,2,2020-06-18T00:00,2020-06-18T00:00) (true,12,2,4,2020-06-18T00:00,2020-06-18T00:00) (tru
Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink
王佩的CSDN博客
11-30 5772
Flink Table & SQL StreamTableSink有三类接口: AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink。 AppendStreamTableSink: 可将动态表转换为Append流。适用于动态表只有Insert的场景。 RetractStreamTableSink: 可将...
流批一体计算引擎-5-[Flink]的Python Table API和SQL程序
qq_20466211的博客
01-25 1447
Python Table API和SQL程序
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 2
MiaoSO的博客
08-24 972
七、Flink 时间语义与 Watermark 7.1 Flink 中的时间语义 7.2 设置 Event Time 7.3 水位线 - Watermark 7.3.1 基本概念 7.3.2 WaterMark 传递 7.3.3 WaterMark 注意点 7.3.4 Watermark Demo 八、ProcessFunction API（底层 API） 8.1 KeyedProcessFunction 和 定时器（Timers） 8.2 侧输出流（SlideOutput） 8.3 CoP.
Flink Table API& SQL编程指南（自定义Sources & Sinks）
麦田里的守望者-蒋中洲【相信相信的力量】
07-21 543
TableSource TableSource提供对存储在外部系统（数据库，键值存储，消息队列）或文件中的数据的访问的通用接口。在TableEnvironment中注册TableSource后，可以通过Table API或SQL查询对其进行访问。它提供了表的schema 以及与该表的schema 映射到行的记录。 TableSource[T] { def getTableSchema: TableSchema def getReturnType: TypeInformation[T] def e
Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink 相关区别和变化
wppwpp1的专栏
09-17 463
Flink Table & SQL StreamTableSink有三类接口: AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink。 AppendStreamTableSink: 可将动态表转换为Append流。适用于动态表只有Insert的场景。 RetractStreamTableSink: 可将动态表转换为Retract流。适用于动态表有Insert、Delete、Update的场景。 UpsertStre
流式SQL中不同类型TableSink浅析
Just for Fun la
05-18 1848
因此在流式SQL中需要有不同类型的TableSink来支持不同的SQL。以Flink为例，Flink有3种流式的TableSink，
Implement Streaming HBaseTableSink
Emperor_CJ的博客
03-20 1284
HbaseTableSink实现点讨论： 1.HbaseTableSink实现基于HbaseSink 　　Sink本身实现不考虑容错性，可以直接对流数据进行条插入或批插入。如果仅考虑此那么就有悖Flink组件本身提出的容错语义（exactly once or at least once）。下面结合Flink容错语义就幂等性请求和非幂等性请求做具体展开。 1.1.幂等插入 　　幂等插入适用于...
Flink-Table StreamTableEnvironment实践编程（四）上
springk的专栏
01-17 5847
在上一篇文章中掌握了StreamTableEnvironment的基本概念，下面就进入代码实战环节： 一、实例中采用socket连接方式，获取数据流信息，使用 nc -l 端口号方式，开启端口监控，用来数据数据信息，实例中使用9999作为端口，命令行中输入：nc -l 9999 二、本实例主要功能是完成根据学生姓名实现分数统计 三、具体依赖实体类如下： @Data public ...
Flink table 转datastream SINK
东城庞太师
10-10 421
一、table source 1、TableSource源码 trait TableSource[T] { //TableSource 是一个接口总共有三个方法 def getReturnType: TypeInformation[T] //获取返回的DataStream或者 DataSet的类型 def getTableSchema: TableSchema //获取table表结构。table里面有哪些字段，字段是什么类型 def explainSource():String...
Flink报错: AppendStreamTableSink requires that Table has only insert changes
雾岛与鲸的博客
08-05 2007
出错程序: import java.sql.Timestamp import java.text.SimpleDateFormat import org.apache.flink.api.common.typeinfo.Types import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.sink.SinkFunction import org.apach
FlinkSQL中的回退更新-Retraction
dian张
02-24 2183
flinkSQL表转流 Flink 提出 Stream <–> Dynamic Table 之间是可以等价转换的 需要引入Retraction机制 toAppendStream 只支持insert toRetractStream 其余模式都可以 持续更新 ...
Flink自定义TableSink TableSource
knowfarhhy
10-14 3933
基本知识 TableSource提供了从外部系统（消息队列，KV存储，数据库，文件系统等）接入数据，之后注册到TableEnvironment中，然后可以通过Table API或者SQL进行查询。 TableSink提供了将flink内部注册的Table中的数据写出到外部系统（Es ,Hbase ,消息队列数据库，文件系统等）。 TableFactory用来创建TableSource 、Table...
Flink Append 、 Retract 和 Upsert 流
weixin_42166515的博客
03-10 4002
Append-only 流： 仅通过 INSERT 操作修改的动态表可以通过输出插入的行转换为流。 Retract 流： retract 流包含两种类型的 message： add messages 和 retract messages 。通过将INSERT 操作编码为 add message、将 DELETE 操作编码为 retract message、将 UPDATE 操作编码为更新(先前)行的 retract message 和更新(新)行的 add message，将动态表转换为 retract 流
flink实战--flinkSQL 回撤流原理解析与案例讲解
热门推荐
阿华田的博客
02-20 1万+
简介 使用flinkSQL处理实时数据当我们把表转化成流的时候，需要使用toAppendStream与toRetractStream这两个方法。稍不注意可能直接选择了toAppendStream。这个两个方法还是有很大区别的，下面具体介绍。 toAppendStream与toRetractStream的区别 追加模式：只有在动态Table仅通过INSERT更改修改时才能使用...
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
最新发布
07-27
对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值