自定义RetractStreamTableSink

王知无(import_bigdata)

已于 2022-03-12 13:16:01 修改

阅读量384

点赞数

分类专栏： Flink系统性学习专栏文章标签：爬虫面试自然语言处理

于 2021-08-29 11:47:10 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/119978722

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 102 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink中流表TableSink的三种类型：AppendStreamTable、RetractStreamTableSink和UpsertStreamTableSink，并重点讲解了RetractStreamTableSink的特性，它用于支持Update/Delete操作。通过全球wordcount的例子展示了RetractStreamTableSink的工作原理，当接收到数据更新时，会产生Delete和Insert两条消息。在实际应用中，通常会定义一个SinkFunction来处理这些消息，通过key覆盖外部存储的结果。

摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

Flink Table/SQL 中对于流表TableSink的定义有三类：AppendStreamTable、RetractStreamTableSink 、UpsertStreamTableSink ，这三类主要区别对应不同的流类型，在我看来可以归纳为两种模式：

1.Insert模式，对应AppendStreamTable，只能执行insert动作，例如窗口聚合结果，每个窗口的结果都是唯一的，不会影响之前窗口的输出结果

2.Redo模式，对应RetractStreamTableSink /UpsertStreamTableSink，除了执行Insert动作，还可执行Update/Delete动作，也就是结果可更新，例如全局group by聚合，后面的结果会影响之前的输出，RetractStreamTableSink与UpsertStreamTableSink的区别主要在于消息编码格式不同，如果产生一条结果数据需要更新，RetractStreamTableSink需要编码两条消息Delete与Insert,而UpsertStreamTable