flink总结笔记之窗口

最新推荐文章于 2025-07-18 00:15:13 发布
原创 最新推荐文章于 2025-07-18 00:15:13 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据 #big data

本文详细介绍了Flink中的窗口概念，包括窗口的生命周期、keyby与nokeyby的区别、窗口的组成元素如assigner、windowfunction、trigger、evictor以及allowedLateness。重点讨论了各种窗口类型、触发器的工作原理和数据处理策略，并提到了side output的概念，用于捕获迟到数据。

文章目录

什么是窗口?

流相当于一条永不停机的生产流水线, 窗口则是一个闸门,拦住囤积生产的商品,定时或者囤积到一定数量释放一次.

窗口生命周期

  1. 创建: 第一个属于该窗口的时间出现
  2. 结束: 第一个超过该窗口时间范围(包括延迟时间)的时间出现
  3. 存活时间: 窗口的范围,比如统计5分钟 + 允许的延迟时间,比如2分钟=7分钟

keyby和nokeyby

  • 按key分组,相同key发送到相同task中,可以并行处理
  • 未按key分组,所用数据发送到同一个,无法并行处理

窗口组成

assigner

决定数据发送到哪个窗口

内置的时间窗口assigner:

  1. tumbling windows
  2. sliding windows
  3. session windows
  4. global windows(使用时,需要自定义trigger,不然不会触发释放内容)

windowfunction

窗口方法. 当窗口中的数据积攒到需要触发时,怎么处理数据,比如计数,求和等,也就是聚合函数.

  • 聚合函数,来一条和之前的数据累加计算,实时处理

  • 常用方法:

    • ReduceFunction: 合并两条输入数据,输入和输出格式相同

    • AggregateFunction: reducefunction的一般式.更灵活,可

最低0.47元/天 解锁文章
尚硅谷，flink 笔记.zip
07-20
《尚硅谷Flink笔记》是针对大数据处理框架Apache Flink的一份详尽学习资料，它涵盖了Flink的核心概念、架构、API使用以及实战案例。Flink作为一种实时流处理引擎，其强大之处在于能够进行低延迟的数据处理，并支持...
flink学习详细笔记
10-28
【描述】：这篇笔记涵盖了Flink的基础概念，包括数据源读取、数据处理算子，特别是时间窗口和CEP算子的讲解，旨在帮助初学者从零开始踏入数据分析领域。 【标签】：“cep 算子” 【正文】： Apache Flink是一个...
Flink窗口核心概念-有KEY窗口和无KEY窗口
胖虎儿的博客
05-23 9435
有KEY窗口和无KEY窗口的区别是什么？各自特性是什么？
问题排查－Flink session窗口最后一个不过期问题
baidu_26507163的博客
12-30 1251
问题描述 线上使用flink进行session窗口分析，分析结果写入db。在使用分析结果时发现实际统计数据缺少最后一条窗口的数据。 排查过程 查看flink写入db日志，发现没有最后一个session窗口统计数据写入的日志。猜测是flink没有触发session窗口过期，遂采取以下步骤进行问题复现和定位。 联系业务系统，梳理session窗口数据来源 经反馈数据来源为用户xx操作。 线上环境模拟用户操作，触发session窗口数据写入 业务系统有写入session窗口数据日志。 查看flink写入db日志
Flink窗口及其分类-详细说明
勇敢牛牛，不怕困难！
11-19 6185
Flink 是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。想要更加方便高效地处理无界流，一种方式就是将无限数据切割成有限的“数据块”进行处理，这就是所谓的“窗口”（Window）。所以在 Flink 中，窗口其实并不是一个“框”，流进来的数据被框住了就只能进这一个窗口。相比之下，我们应该把窗口理解成一个“桶”。在 Flink 中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理。
GlobalWindow之自定义Trigger (一)
sinat_26781639的博客
03-29 720
前言 之前看到GlobalWindow需要自己定义trigger，写了个测试用例简单实现了下。 背景 前面文章讲到了窗口，在窗口中我们一般都会去使用api中定义好的滑动滚动窗口等等。但在一些特殊场景下，我们需要自定义去实现窗口的定义以及窗口的触发。 举个例子：如何去实现1min窗口的每10s输出一次该窗口的值。比如在10：00-10：10中每隔10s输出这个窗口的总和。 Trigger 今天主要讲下以下三个方法： /** * Called for every element that gets add
聊聊 flink 的时间窗口
m0_57042151的博客
09-19 1891
窗口是flink最重要的几个部分之一， 如何对流计算的大量数据进行聚合处理以及控制流计算中发生的大量数据延时，或者数据提前来到导致的计算错误，flink使用window（窗口）给出了一份非常圆满的答案。flink 的底层架构设计上其实是没有批处理（batch）的概念，在flink看来，批处理就是对于流处流（stream）一种特殊处理。但是在实际的业务情况中，经常有需要对于一段范围内的数据进行聚合处理的需要：比如我们需要统计刚刚的十分钟内到底有多少客户进行了抢购，抢劵。
Flink学习笔记（四）：Flink 四大基石之 Window 和 Time
u011047968的专栏
10-23 2337
窗口 Window流数据计算中一般对数据尽心操作之前都会先进行开窗，即基于一个什么样的窗口上做这个计算Flink 提供了开箱即用的各种窗口，比如滑动窗口、滚动窗口、会话窗口以及非常灵活的自定义窗口时间 TimeFlink 中窗口计算，基本都是基于时间窗口设置Flink 实现了 Watermark 的机制，能够支持基于事件时间的处理，能够容忍迟到、乱序的数据状态 StateFlink计算引擎，自身就是基于状态计算框架，默认情况下程序自己管理状态提供一致性的语义。
Flink实时笔记(六):窗口window机制
YyyZzzLllx的博客
07-30 732
Flink窗口window机制
Flink学习笔记-WindowsFunction（篇二）
yangxiaobo118的博客
07-28 4281
Flink学习笔记-WindowsFunction（篇二）ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental AggregationAggregateFunction combined with ProcessWindowFuncti...
Flink 1. 13（二）时间和窗口
ks_1998的博客
07-09 1715
Flink时间和窗口
Flink中的时间和窗口
m0_70949976的博客
12-07 1670
窗口、时间语义、水位线、双流Join
Flink SQL时间属性和窗口介绍 ,窗口表值函数
.
08-05 2952
在创建表的 DDL（CREATE TABLE 语句）中，可以增加一个字段，通过 WATERMARK语句来定义事件时间属性。WATERMARK 语句主要用来定义水位线（watermark）的生成表达式，这个表达式会将带有事件时间戳的字段标记为事件时间属性，并在它基础上给出水位线的延迟时间。具体定义方式如下：) WITH (...把 ts 字段定义为事件时间属性，而且基于 ts 设置了 5 秒的水位线延迟。
Flink 时间窗口（Time Windows）详解
最新发布
csdn_tom_168的博客
07-18 858
Flink时间窗口是流处理中将无限数据流切分为有限数据集的核心机制，支持滚动、滑动、会话和全局四种窗口类型，分别适用于固定统计、重叠计算、会话分析和自定义触发场景。其核心特点包括动态窗口创建、状态驱动计算和容错保障，支持事件时间（处理乱序数据）和处理时间（高效简单）两种时间语义。通过Watermark处理延迟数据，结合增量聚合或全量计算优化性能，并利用状态TTL和RocksDB后端管理内存。合理配置窗口策略和触发器是实现高效流处理的关键。
Flink的窗口操作和时间处理
止于终老的博客
06-07 559
Flink作为一个流处理框架，提供了强大的窗口操作和时间处理功能，能够对无限数据流进行有限范围的计算和聚合。本篇博客将介绍Flink的窗口操作和时间处理的概念和用法。
Flink中的keyby分流与window操作
热门推荐
不见其长，日有所长
02-27 1万+
1. Stream分流 Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。 　　窗口化的Flink程序的一般结构如下，第一个代码段中是分组的流，而第二段是非分组的流。正如我们所见，唯一的区别是分组的stream调用keyBy(…)和window(…)，而非分组的stream中window()换成了window...
Flink的Window初探
打酱油的葫芦娃
09-16 5094
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。 引言 在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理。 基于窗口驱动方式可分为...
Flink教程(6)-Flink Window 详解
鸟哥哥的专栏
08-25 3437
Flink Window 详解。Flink window机制。实际应用中真实的流数据都是无界的，即源源不断地传入。那么如何处理这种无界的数据呢？从微观的角度出发，我们可以把无限的流数据进行切分，得到一个个局部有限数据集。比如1分钟内的数据、1小时内的数据、1天的数据；前5个数据、前10个数据、前100个数据。这种将无限流划分为有限流的方式在flink中称之为window。Flink通过window机制将无限的流数据分发到具有有限大小的bucket（桶）中进行处理。
Flink窗口从创建到结束的流程要点
Qingyun 's blog
12-15 339
window流程 流数据不断进入此operator, 当地一个属于某window的数据进入后, 创建该window(默认是整点型的window,可以设置偏移量) 如reduce/aggregation/fold,每个数据都已进入window就开始操作,process则缓存所有再进行操作 直到某数据进入后,watermark超过window结束时间,window操作结束 有晚到的数据在window结束时间后规定延迟内,window重新进行内部指定的操作 还有更晚到的数据在window结束时间后规定延迟后,进
尚硅谷Flink学习笔记深度解析
综上所述，尚硅谷的Flink笔记是一个非常适合想要深入了解和学习Flink技术的学习者或开发者的资料，它可以帮助他们建立起对Flink框架的全面认识，以及如何在实际项目中应用Flink进行复杂的数据处理。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值