Flink窗口、时间和水印

本文深入探讨Flink的时间窗口、事件时间、摄入时间和处理时间的概念,重点解析水印(WaterMark)在处理数据乱序问题中的作用,包括水印的生成和触发条件,并举例说明其在实时计算中的应用。
摘要由CSDN通过智能技术生成

这篇文章主要介绍Flink的窗口、时间和水印。

      在之前的文章中反复提到过窗口和时间的概念,Flink框架中支持事件时间、摄入时间和处理时间三种。当我们在流式计算环境中数据从Source产生,再到转换和输出,这个过程由于网络和反压的原因会导致消息乱序,因此,需要一个机制来解决这个问题,这个特别的机制就是“水印”。

Flink的窗口和时间

根据窗口数据划分的不同,Flink目前支持如下3中:

  • 滚动窗口,窗口数据有固定的大小,窗口中的数据不会叠加;
  • 滑动窗口,窗口数据有固定的大小,并且有生成间隔;
  • 会话窗口,窗口数据没有固定的大小,根据用户传入的参数进行划分,窗口数据无叠加。

Flink 中的时间分为三种:

  • 事件时间(Event Time),即事件实际发生的时间
  • 摄入时间(Ingestion Time),事件进入流处理框架的事件
  • 处理时间(Processing Time),事件被处理的事件

如下面,详细说了这三种时间的区别和联系:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值