【Flink 实战系列】No Watermark (Watermarks are only available if EventTime is used)

最新推荐文章于 2024-06-06 09:52:49 发布
最新推荐文章于 2024-06-06 09:52:49 发布
阅读量2.7k 收藏 2
点赞数 4
分类专栏： Flink 实战系列 文章标签： flink java kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/127147544
版权
在Flink处理Kafka数据时遇到Window未触发计算的问题，原因是Watermark未正常推进。通过分析源码发现，由于数据分区不均导致部分分区无数据，Watermark无法更新。解决方案包括添加空闲检测、调整分区策略或设置特定并行度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

No Watermark (Watermarks are only available if EventTime is used)

问题背景

在 Flink 消费 kafka 的数据，经过一个 map 算子，然后调用 assignTimestampsAndWatermarks 生成 Watermark 后，然后 keyby + window，设置了 ContinuousEventTimeTrigger 5 秒钟触发一次窗口的计算，但是发现窗口一直没有触发计算，大家记住一点，只要是在 EventTime 语义下，窗口不触发的，基本上都是因为 Watermark 的问题。最后查看 Flink UI 对应算子的 Watermark 信息显示为 No Watermark (Watermarks are only available if EventTime is used) 如下图所示：

screencapture-localhost-60497-2022-10-02-15_49_13

问题分析

先来看下这句话的意思是说没有 Waterm

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink实战系列】Flink 基于 EventTime 和 WaterMark 处理乱序事件和晚到的数据
JasonLee实时计算
12-12 6988
在实际的业务中,我们经常会遇到数据迟到的情况,这个时候基于窗口进行计算的结果就不对了,Flink中watermark就是为了解决这个问题的,理解watermark之前,先来说一下flink中的三个与流数据相关的概念,ProcessTime、EventTime、IngestionTime,不然很难理解watermark是怎么回事. 我们先来看一下官网给出的一张图,非常形象地展示了Process T...
Flink Watermark机制
chanyue123的博客
06-23 2102
flink watermark详解
Flink 问题之 No Watermark (Watermarks are only available if EventTime is used)
最新发布
不会飞的小龙人的博客
06-06 1631
由于下游算子 watermark 的计算方式是取所有不同的上游并行数据源 watermark 的最小值，则其 watermark 将不会发生变化。简单来说，在Flink中kafka连接器会识别每个分片，并为每个分片创建对应Watermark水印，当上游Kafka某个分片在一段时间未发送事件数据，则对应的窗口时间内不会生成Watermark水印，则下游算子（Sink）接收上游的Watermark数据时，是按上游最小Watermark值来计算，则下游算子(Sink)不会发生变化，也就无法触发窗口算子事件；
Flink 实战问题（七）：No Watermark(Watermarks are only available EventTime is used)
在前进的路上
06-21 3338
实现窗口统计时，出现No Watermark(Watermarks are only available EventTime is used)
No Watermark (Watermarks are only available if EventTime is used)
zhu_19930414的博客
12-25 388
flink 常见问题处理
flink web界面不显示watermark的问题
冰血ANG的博客
11-09 3575
最近在搞flink的时候，发现一个小问题： 1、当我把window窗口操作的并行度设置成150的时候，flink界面显示了当前的watermark值 2、但是当我把window窗口操作的并行度设置成180的时候，flink界面不再显示watermark的值，显示为no watermark 1、原因 经过一番页面和源码追查，发现flink的web页面在访问服务的时候，请求的url不能超过4094字...
Flink SQL No Watermark
ChengYanan的博客
08-13 2463
Q: 大家好，请教一个问题 我有一条进行 session window 的 sql。这条 sql 消费较少数据量的 topic 的时候，是可以生成 watermark。消费大量的数据的时候，就无法生成watermark。 一直是 No Watermark。 暂时找不到排查问题的思路。 Flink 版本号是 1.10，kafka 中消息是有时间的，其他的任务是可以拿到这个时间生成watermark。同时设置了 EventTime mode 模式，Blink Planner。 DDL: create ta
【Flink】WaterMark与EventTime
小河成大海的博客
11-27 1950
【Flink重难点辨析】WaterMark与EventTime WaterMark Flink中测量事件时间的进度的机制就是watermark(水印). watermark作为数据流的一部分在流动, 并且携带一个时间戳t。 一个Watermark(t)表示在这个流里面事件时间已经到了时间t, 意味着此时, 流中不应该存在这样的数据: 他的时间戳t2<=t (时间比较旧或者等于时间戳)。 1、衡量事件时间的进展。 2、是一个特殊的时间戳，生成之后随着流的流动而向后传递(广播方式)。 3、用来处理数据乱序
关于flink不生成Watermarks的问题
weixin_41358306的博客
05-27 894
关于flink不生成Watermarks的问题问题描述异常解决方法我选择的方式就是修改并行度 问题描述 由于编写新的flink统计代码，然后启动之后发现，数据被消费了但是就是没有输出。 排查了一下，发现并未生成水位线。 异常 这里是随便截的图。就是这个地方是没有数据的。 解决方法 这里贴个链接，就是按照这里面的方法解决的 https://blog.csdn.net/qq_37555071/article/details/122654727 我选择的方式就是修改并行度 环境并行度 StreamExecut
Flink01-常见核心概念分析
石上清泉
03-13 258
本文主要介绍Flink中的核心概念以及源码分析
DevExpress VCL_16.1.2_No_Watermark 包括全部源代码 支持 xe10.2
12-17
DevExpress VCL_16.1.2_No_Watermark 包括全部源代码 支持 xe10.2
【Flink】设置了watermark，没有使用watermark触发窗口计算
一杯咖啡半杯糖的博客
12-05 1015
Flink的watermark和窗口计算在flink应用中很常用，但是有时候会出现由于第一次用导致出错的情况，下面这种情况就是设置了watermark，但是最后窗口计算没有使用watermark触发。
Flink 事件时间EventTime及水印WaterMark
狗不理的博客
11-21 2245
WaterMark的概念.书写.原理.场景
Flink-DataStream-Event Time-Generating Watermarks（三）
springk的专栏
11-02 427
一、水印策略介绍 为了处理event time，Flink需要知道事件时间戳，这意味着流中的每个元素都需要分配其事件时间戳。这通常是通过使用TimestampAssigner从元素的某个字段(访问/提取)时间戳来完成的。 时间戳分配与生成水印是同步进行的，它告诉系统事件时间上的进展。您可以通过指定水印生成器来配置它。 Flink API需要一个包含TimestampAssigner和水印生成器的水印策略。许多常用的策略都可以作为水印策略的静态...
【flink】本地开发时，waterMark设置正确，但是窗口一直没有被触发
qq_37023928的博客
02-05 1087
最近在公司使用flink做项目，在本地idea中开发时，waterMark设置正确，但是窗口一直没有被触发，因为任务并行执行时，总是以最小的waterMark为准的，而我本地没有设置并行度，默认使用windows的并行度，导致窗口一直没有被触发，所以在本地开发时，最好将并行度设置为1： env.setParallelism(1); ...
Flink - watermark生成
weixin_34228387的博客
03-16 269
参考，Flink - Generating Timestamps / Watermarks   watermark，只有在有window的情况下才用到，所以在window operator前加上assignTimestampsAndWatermarks即可 不一定需要从source发出   1. 首先，source可以发出watermark 我们就看看kafka source的实现 ...
[白话解析] Flink的Watermark机制
罗西的思考
05-14 619
对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。
Flink SQL中窗口和水印触发机制
XuXuemin的专栏
06-30 986
Flink SQL的窗口函数介绍和使用。水印无法触发的解决办法
Flink入门系列05-时间语义
边看边学
08-26 1360
watermark的核心是在数据中周期性地插入一种时间戳单调递增的特殊数据(watermark)，是 flink 内部自动产生并插入到数据流的，来不可逆转地在整个数据流中进行时间的推进。在需要指定时间语义的相关操作（如时间窗口）时，可以通过显式的api来使用特定的时间语义。数据在接收处理过程中，数据时间可能存在乱序，所以引入 watermark，就是在事件时间语义中，用于单调递增向前推进时间的一种标记。不从最源头算子开始生成watermark，而是从中间环节的某个算子开始生成watermark。...
EventTime与Watermarks在数据乱序处理中的应用解析
“EventTime和Watermarks案例分析.pdf” 在流处理系统中，处理实时数据时，数据乱序是一个常见的挑战。Apache Flink作为强大的流处理框架，提供了EventTime和Watermarks的概念来有效地处理这种问题。EventTime是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值