Flink Sql 中 Watermark 使用方式

已于 2022-02-10 15:19:30 修改
阅读量5.8k 收藏 4
点赞数 2
文章标签： flink sql 大数据
于 2022-02-10 15:01:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y_FC_EMBEDD/article/details/122860469
版权

1、创建 env 和 tableEnv 环境

2、利用 Sql 定义 Source 数据源（并在数据源中定义Watermark和event-time），连接Source

3、利用滑动窗口Hop测试

最低0.47元/天 解锁文章
LlnkTo
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink SQL Hive Connector使用场景
击水三千里的专栏
11-01 1439
本文基于FLink1.16讨论，Apache Flink Hive Connector提供了Flink与Hive的集成，主要用于在Flink中读取和写入Hive数据
Flink之水位线（Watermark）
四维大脑的博客
04-25 7413
在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。接下来我们就深入了解一下 Flink 中的时间语义和窗口的应用。
在Flink SQL中使用watermark进阶功能
weixin_45249411的博客
03-24 1376
在Flink SQL中使用watermark进阶功能在Flink1.18中对Watermark的很多进阶功能（比如watermark对齐）通过datastream api很容易使用。在sql中使用不是很方便，在Flink1.18中对这些功能进行扩展。在sql中也能使用这些功能。只有实现了接口的源连接器(source connector)（比如kafka、pulsar）才可以使用这些进阶功能。这些进阶的功能都可以使用dynamic table options或 hint进行配置，如果用户同时使用dynamic
【Flink 核心篇】详解 Flink 中的 WaterMark
书山有路，学海无涯。记录成长，追逐梦想
01-27 2157
Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制，本质上也是一种时间戳。Watermark 是用于处理乱序事件或延迟数据的，这通常用 Watermark 机制结合 Window 来实现（Watermarks 用来触发 Window 窗口计算）。
Flink SQL No Watermark
ChengYanan的博客
08-13 2352
Q: 大家好，请教一个问题 我有一条进行 session window 的 sql。这条 sql 消费较少数据量的 topic 的时候，是可以生成 watermark。消费大量的数据的时候，就无法生成watermark。 一直是 No Watermark。 暂时找不到排查问题的思路。 Flink 版本号是 1.10，kafka 中消息是有时间的，其他的任务是可以拿到这个时间生成watermark。同时设置了 EventTime mode 模式，Blink Planner。 DDL: create ta
Flink 使用watermark
hopyGreat的博客
06-06 416
watermark生成策略一般有两种，一种是自定义周期性的watermark，另一种是触发式的watermark。/*** 每来一条事件数据调用一次，可以检查或者记录事件的时间戳，或者也可以基于事件数据本身去生成 watermark。/*** 周期性的调用，也许会生成新的 watermark，也许不会。* 调用此方法生成 watermark 的间隔时间由 {@link ExecutionConfig#getAutoWatermarkInterval()} 决定。
Flink SQL中窗口和水印触发机制
XuXuemin的专栏
06-30 747
Flink SQL的窗口函数介绍和使用。水印无法触发的解决办法
FlinkSql窗口概念，及水印使用
斧王，不能再斩杀了吗的博客
03-06 1503
双流join的情况下，watermark的获取方式为： 1.分别计算俩条流的watermark 2.然后比对俩条流的watermark选取小的 ->CombineWatermark = min(watermark1,watermark2) 双流join关于的Interval Join的实现 Interval Join则没有window的概念，直接用时间戳作为关联的条件，更具表达力。由于流消息的无限性以及消息乱序的影响，本应关联上的消息可能进入处理系统的时间有较大差异，一条流中的消息，可能需要和另一条流
记一次flink SQL watermark一直不触发的坑
weixin_43956734的博客
09-12 2206
在用flink SQL对时间窗口做group by聚合的时候一直没有数据，但在group by之前所有的数据流都正常 猜想是watermark没有触发，到WBEUI上一看，果然一直是no watermark 但是为什么watermark没有触发呢？时间字段提取，生成都很正常啊，后来我一看kafka的消费情况，才明白 上游写入的并行度为1，但默认创建的topic有三个分区，所以partition1,2一直没有数据，flinksql在从这两个partition拿数据的时候，什么也拿不到，所以把w.
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time与WaterMark、Window操作、函数使用、元数据管理，最后以一个完整的实战项目为例，详细讲解FlinkSQL的流式项目...
flink-redis-sink:使用TableSQL API帮助沉入Redis
05-26
该项目用于使用表或sql api将数据写入flink流应用程序中的redis。 之前，我看到了项目，该项目具有一个模块来帮助使用flink写入redis。 但是，它可以工作，但与我的愿望并不完全匹配。 当我想将行/表沉入redis中时...
flink入门到精通视频教程
07-15
11.Flink Table API与SQL 课程目录介绍 第一章 Flink简介 01.Flink的引入 02.什么是Flink 03.Flink流处理特性 04.Flink基石 05.批处理与流处理 第二章 Flink架构体系 01.Flink中重要角色 02.无界数据流与有界数据流 ...
flink-java-本地例子
08-17
Flink SQL是一种声明式的数据处理方式，可以简化流和批处理作业的编写。你可以在Flink SQL中定义表源（如Kafka或MySQL），然后执行SQL查询来处理这些数据。 ```sql CREATE TABLE kafkaTable ( key STRING, value ...
Flink-CDC解析（第47天）
最新发布
syhiiu的博客
07-27 1996
本文主要概述了Flink-CDC
Flink时间和窗口
L
07-24 997
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
简简单单Onlinezuozuo
07-24 556
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动Flink CDC（Flink Change Data Capture）是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效地实现海量数据的实时集成。其核心功能在于实时监视数据库或数据流中的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。
FLINKCDC连接oracle导致归档日志暴增
qq_41519442的博客
07-24 304
前段时间再用flinkcdc连接oracle的时候，oracle的归档日志疯狂的飙升,我经常去到归档目录下查看占用的内存情况。。
Flink之重启策略
zxcvbnm0207的博客
07-24 446
在设置完 CheckPoint() 检查点机制后，不设置重启策略的话，，可以无限重启程序，那么设置的检查点机制也就没有什么意义了。因此，在生产实践中，当设置完检查点之后，我们要与之设置好重启策略，一般有三种策略可选。
flinksql中watermark for是什么作用
05-26
在Flink SQL中，Watermark是用来处理Event Time的一种机制。Event Time是指事件发生的时间，与数据在系统中处理的时间无关，因此需要通过Watermark来处理乱序事件，确保数据的正确性。 Watermark是一种衡量时间进展的机制，它是一个带有时间戳的特殊数据记录，在Flink中通过将Watermark插入到数据流中来表示一个时间点之前的数据已经全部到达。而Watermark for则是用来指定一个时间戳字段作为Event Time，并生成相应的Watermark。 使用Watermark for，可以让Flink SQL自动处理乱序事件的问题，以便正确地进行窗口计算和聚合操作。在Flink SQL中，Watermark for可以通过对时间戳字段进行处理来生成Watermark，保证数据的正确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值