Flink Sql 中 Watermark 使用方式

已于 2022-02-10 15:19:30 修改
阅读量5.7k 收藏 4
点赞数 2
文章标签： flink sql 大数据
于 2022-02-10 15:01:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y_FC_EMBEDD/article/details/122860469
版权

1、创建 env 和 tableEnv 环境

2、利用 Sql 定义 Source 数据源（并在数据源中定义Watermark和event-time），连接Source

3、利用滑动窗口Hop测试

最低0.47元/天 解锁文章
LlnkTo
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据Flink（七十八）：SQL 的水印操作（Watermark）
Lansonli（蓝深李）的博客
09-12 960
4.后面几个以此类推，直到Event Time为：1648197590000的数据进来的时候，前一条数据的WaterMark为1648197589000，于是更新当前的WaterMark为1648197590000，Flink认为1648197590000之前的数据都已经到达，且达到了窗口的触发条件，开始进行计算。可以看到，设置了最大允许乱序时间后，WaterMark要比原来低5秒，可以对延迟5秒内的数据进行处理，窗口的触发条件也同样会往后延迟关于延迟时间，请结合业务场景进行设置。
Flink之水位线（Watermark）
四维大脑的博客
04-25 7398
在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。接下来我们就深入了解一下 Flink 中的时间语义和窗口的应用。
Flink详解系列之五--水位线（watermark）
wr_java的博客
04-13 1908
在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面还有延迟的数据), 可以触发窗口计算，这个机制就是 Watermark(水位线)，具体如下图所示。如果水位线设置的过于宽松，好处是计算时能保证近可能多的数据被收集到，但由于此时的水位线远落后于处理记录的时间戳，导致产生的数据结果延迟较大。如果设置的水位线过于紧迫，数据结果的时效性当然会更好，但由于水位线大于部分记录的时间戳，数据的完整性就会打折扣。3.2 水位线分配器。
FlinkSQL的Watermark机制和Checkpoint机制
sijiwang95的博客
04-12 1798
Watermark机制，就是水印机制，也叫做水位线机制。就是专门用来解决流式环境下数据迟到问题的。
FlinkSql窗口概念，及水印使用
斧王，不能再斩杀了吗的博客
03-06 1502
双流join的情况下，watermark的获取方式为： 1.分别计算俩条流的watermark 2.然后比对俩条流的watermark选取小的 ->CombineWatermark = min(watermark1,watermark2) 双流join关于的Interval Join的实现 Interval Join则没有window的概念，直接用时间戳作为关联的条件，更具表达力。由于流消息的无限性以及消息乱序的影响，本应关联上的消息可能进入处理系统的时间有较大差异，一条流中的消息，可能需要和另一条流
Flink 1.10.0 SQL DDL中如何定义watermark和计算列
热门推荐
JasonLee实时计算
02-26 1万+
随着Flink1.10.0版本的发布,在SQL上一个重大的优化是支持了watermark语义的计算,在之前的Flink1.9.x版本中是不支持的,当时只能用SQL DDL进行proces...
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time与WaterMark、Window操作、函数使用、元数据管理，最后以一个完整的实战项目为例，详细讲解FlinkSQL的流式项目...
flink-redis-sink:使用TableSQL API帮助沉入Redis
05-26
该项目用于使用表或sql api将数据写入flink流应用程序中的redis。 之前，我看到了项目，该项目具有一个模块来帮助使用flink写入redis。 但是，它可以工作，但与我的愿望并不完全匹配。 当我想将行/表沉入redis中时...
flink入门到精通视频教程
07-15
11.Flink Table API与SQL 课程目录介绍 第一章 Flink简介 01.Flink的引入 02.什么是Flink 03.Flink流处理特性 04.Flink基石 05.批处理与流处理 第二章 Flink架构体系 01.Flink中重要角色 02.无界数据流与有界数据流 ...
flink-java-本地例子
08-17
Flink SQL是一种声明式的数据处理方式，可以简化流和批处理作业的编写。你可以在Flink SQL中定义表源（如Kafka或MySQL），然后执行SQL查询来处理这些数据。 ```sql CREATE TABLE kafkaTable ( key STRING, value ...
Flink SQL时间属性和窗口介绍 ,窗口表值函数
.
08-05 2114
在创建表的 DDL（CREATE TABLE 语句）中，可以增加一个字段，通过 WATERMARK语句来定义事件时间属性。WATERMARK 语句主要用来定义水位线（watermark）的生成表达式，这个表达式会将带有事件时间戳的字段标记为事件时间属性，并在它基础上给出水位线的延迟时间。具体定义方式如下：) WITH (...把 ts 字段定义为事件时间属性，而且基于 ts 设置了 5 秒的水位线延迟。
Flink-SQL 设置水位线（Watermark）和开窗（window）示例
m0_48379126的博客
01-19 4985
代码 import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.Table; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
Flink Sql 定义watermark注意事项: java.time.format.DateTimeParseException
雾岛与鲸的博客
03-02 2491
Flink版本: 1.12.0 异常: java.time.format.DateTimeParseException kafka数据源声明案例: CREATE TABLE user_actions_source ( -- `event_time` TIMESTAMP(3) METADATA FROM 'timestamp', -- `partition` BIGINT METADATA VIRTUAL, -- `offset` BIGINT METADATA VIRTUAL, `user_id
FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢
悦上心灵的博客
09-11 1192
在Flink SQL窗口中:累积窗口函数, 窗口分组聚合GROUPING SETS,Clue幂集函数, Over函数这些给人眼前一亮，的确是减少了开发工作量
在Flink SQL中使用watermark进阶功能
weixin_45249411的博客
03-24 1352
在Flink SQL中使用watermark进阶功能在Flink1.18中对Watermark的很多进阶功能（比如watermark对齐）通过datastream api很容易使用。在sql中使用不是很方便，在Flink1.18中对这些功能进行扩展。在sql中也能使用这些功能。只有实现了接口的源连接器(source connector)（比如kafka、pulsar）才可以使用这些进阶功能。这些进阶的功能都可以使用dynamic table options或 hint进行配置，如果用户同时使用dynamic
【Flink】Flink 中的时间和窗口之水位线(Watermark)
菜鸟sdut的博客
06-26 1940
在事件时间语义下，我们可以不依赖系统时间，而是基于数据自带的时间戳去定义了一个时钟，用来表示当前时间的进展。这样每个并行子任务都会有一个自己的逻辑时钟，它的前进是靠数据的时间戳来驱动的。但是在分布式系统中，会存在一些问题，因为数据本身在处理转换过程中会发生变化，如果遇到窗口聚合的操作，呢么下游的数据就会变少，时间进度的控制就不精细了。另外，数据向下游任务传递时，一般只能传输给一个子任务（除广播外），这样其他的并行子任务的时钟就无法推进了。所以时钟也需要以数据的形式传递出去，告诉下游任务当前时间的进展；
Flink Watermark 机制及总结
cloudbigdata的博客
03-19 2329
阐述 Flink 水印机制的原理和使用方式
Flink Watermark机制
chanyue123的博客
06-23 1671
flink watermark详解
Flink CDC 同步表至Paimon 写数据流程，write算子和commit算子。
最新发布
weixin_47467016的博客
07-14 735
流程图一般基本flink cdc 任务同步数据至paimon表时包含3个算子，source、write、global commit。source端一般是flink connector实现的连接源端进行获取数据的过程，本文探究的是source算子获取的到数据如何传递给writer算子？writer算子如何写数据？global commit算子做了什么事情？第一问：默认根据primary key的hash值决定往哪个桶写入，一个桶对应了一个lsm tree writer。
flinksql中watermark for是什么作用
05-26
在Flink SQL中，Watermark是用来处理Event Time的一种机制。Event Time是指事件发生的时间，与数据在系统中处理的时间无关，因此需要通过Watermark来处理乱序事件，确保数据的正确性。 Watermark是一种衡量时间进展的机制，它是一个带有时间戳的特殊数据记录，在Flink中通过将Watermark插入到数据流中来表示一个时间点之前的数据已经全部到达。而Watermark for则是用来指定一个时间戳字段作为Event Time，并生成相应的Watermark。 使用Watermark for，可以让Flink SQL自动处理乱序事件的问题，以便正确地进行窗口计算和聚合操作。在Flink SQL中，Watermark for可以通过对时间戳字段进行处理来生成Watermark，保证数据的正确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值