flink实战--flinkSQL 回撤流原理解析与案例讲解

最新推荐文章于 2023-07-27 23:20:47 发布
最新推荐文章于 2023-07-27 23:20:47 发布
阅读量1w 收藏 9
点赞数 1
分类专栏： Flink学习必读系列 文章标签： flinksql的缩进模式 flinksql flink追加和缩进流的区别 flinksql回撤流
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/87816139
版权

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

          使用flinkSQL处理实时数据当我们把表转化成流的时候，需要使用toAppendStream与toRetractStream这两个方法。稍不注意可能直接选择了toAppendStream。这个两个方法还是有很大区别的，本篇文章将详细介绍回撤流的实现原理以及案例讲解。

回撤流

         介绍这两个方法之前先介绍一下什么是回撤流？所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，我们FlinkSQL实时处理时，结果数据已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据再次到来，会生成一条delete消息和一条新的insert消息发往下游，我们可以根据数据的标记进行业务处理，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flinksql 回撤流中主键发生变更的影响（group by中的值发生改变）
Direction_Wind的博客
06-02 309
这篇文章主要谈论一个场景，简单来说：首先我们来简单的说一下什么是回撤流，以及回撤流的底层原理，举个例子：这个说的不是很清晰 ，其实倒数第二个图当作输出 比较好看出来，再bank 这一条来之后，数据结果是hello 1world 1bank 1这个时候 又来了一条hello，刚刚已经下发的hello 1 这个结果就不对了，就需要降这条结果撤回，也就是撤回一条 hello 1 下发一条 hello 2。简单的说 这就是回撤流。
flink-learn：学习Flink
01-28
Flink学习 Flink Scala版本 卡夫卡版 1.10.0 2.11+ 0.10+ Maven 模板 : https://www.mvnjar.com/org.apache.flink/flink-quickstart-scala/jar.html <br> 注意 ： 当在idea上调试时，先将 es-shade install。然后 ignore Project：es-shade ；否则有冲突问题 Flink提交 ！：1.10之后去掉 -yn ，加上会报错 1：单独资源： flink run -m yarn-cluster --yarnname _wc -p 5 -yjm 1024 -ytm 1024 -ys 2 WordCount.jar 2：共享空间： yarn-session.sh -n 5 -jm 1024 -tm 1024 -s 2 // 在yarn提前开辟一个资源空间 application_1567318548013_0001。 <br> 在开辟的空间上提交任务： flink run -m yarn-cluster --yarnname flink_wc
Flink源码剖析：回撤流
foureyes
11-23 7851
文章目录1. 定义2. 示例2.1 源码分析2.1.1 聚合算子回撤2.1.2 Sink算子回撤2.1.3 聚合算子回撤 VS Sink算子回撤 1. 定义 Flink中，Kafka Source是非回撤流，Group By是回撤流。所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据再次到来，会生成
Flink必知必会系列之回撤流(RetractStream)源码解读
微信搜：import_bigdata，大数据领域硬核原创作者
01-29 2295
????全网最全大数据面试提升手册！2023年持续更新！1. 定义Flink中，Kafka Source是非回撤流，Group By是回撤流。所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据...
字节青训营流计算项目有关知识点
weixin_44151134的博客
08-05 846
柴同学字节跳动青训营流计算项目知识点
Flink回撤流
marui156的专栏
07-27 3449
Flink 的回撤流是指在 Flink 的流处理算法中，撤回已经发送到下游节点的数据。这是因为在实际应用场景中，有些错误数据可能会发送到下游节点，因此需要回撤流以保证数据的准确性。回撤流可以理解为流式场景下对数据进行更新，这里的更新数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。
flink相关回撤流的信息
wppwpp1的专栏
04-11 673
1、回撤流的信息 \ 2、sql代码调试的情况 package architecture; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.bridge.java.StreamTableEnvironme..
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP
最新发布
05-22
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-...
flink-sql-connector-oracle-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oracle-cdc 2.5-SNAPSHOT
flink-sql集成rabbitmq
06-29
标题中的“flink-sql集成rabbitmq”指的是将Apache Flink的数据流处理能力与RabbitMQ消息队列系统相结合，实现数据的实时处理和传输。Flink是一个开源的流处理框架，提供低延迟、高吞吐量的数据处理，而RabbitMQ是一...
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
flink-sql-connector-oceanbase-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oceanbase-cdc 2.5-SNAPSHOT
flink-sql-submit-client:执行Flink SQL 文件的客户端
05-29
flink-sql-submit-client 执行Flink SQL 文件的客户端 Flink 版本：flink 1.11.0 其他版本待测试 是在的基础上修改而来 使用简单方便 需要指定FLINK_HOME 下载上面code中的jar包 修改 sql-submit.sh 脚本中jar包的...
flink-1.14.0-bin-scala_2.11.tgz
07-18
首先，我们来看看标题“flink-1.14.0-bin-scala_2.11.tgz”，这表明这是一个针对 Scala 2.11 的 Flink 1.14.0 安装包。Scala 是一种多范式编程语言，广泛用于构建分布式系统，特别是大数据处理框架。它与 Flink 的...
Flink SQL中可撤回机制解密
u011250186的博客
03-24 578
场景案例 先从一个实际业务场景理解Flink SQL中的撤回机制：设备状态上线/下线数量统计，上游采集设备状态发送到Kafka中，最开始是一个上线状态，此时统计到上线数量+1，过了一段时间该设备下线了，收到的下线的状态，那么此时应该是上线数量-1，下线数量+1，现在需要实现这样一个需求，看一下在Flink SQL里面如何实现 val env=StreamExecutionEnvironment.getExecutionEnvironment val tabEnv=TableEnvir...
【双流（1）｜原理】flink 双流join原理（1）Interval Join：state过大？ 回撤现象出现时，sink如何处理，还有如何优化回撤？数据出现shuffle时join是如何处理的？
hiliang521的博客
10-13 2259
【双流｜原理】flink 双流join原理（1）Interval Join：state过大？ 回撤现象出现时，sink如何处理，还有如何优化回撤？数据出现shuffle时join是如何处理的？
flink回撤流分析
wisgood的专栏
11-04 2716
flink回撤流
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值