flink是如何划分窗口的

最新推荐文章于 2024-09-27 10:49:54 发布
最新推荐文章于 2024-09-27 10:49:54 发布
阅读量961 收藏 1
点赞数
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43639977/article/details/106633634
版权
本文深入探讨Flink中滑动窗口的划分机制。通过源码分析，揭示窗口起始时间的计算方式，例如，当水位线为0，窗口长度为10s，滑动间隔为5s，第一条数据时间戳为1591660800时，第一个窗口为[1591660800, 1591660810)。同时，文章也简要提及滚动窗口的工作原理。" 79000342,7358995,MySQL：高效地将数据从一张表迁移到另一张表,"['数据库', 'SQL', '数据操作', '表操作']
摘要由CSDN通过智能技术生成 
最近有个困惑，那就是flink的窗口到底是如何划分的，看很多博主的介绍说flink的窗口是系统定义好的，如何定义的都没说，话不多说搞源码。

在这@Override
	public Collection<TimeWindow> assignWindows(Object element, long timestamp, WindowAssignerContext context) {
   
		if (timestamp > Long.MIN_VALUE) {
   
			List<TimeWindow> windows = new ArrayList<>((int) (size / slide));
			long lastStart = TimeWindow.getWindowStartWithOffset
最低0.47元/天 解锁文章
weixin_43639977
关注
Flink时间和窗口
L
07-24 1321
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
大数据Flink（一百一十七）：Flink SQL的窗口操作
Lansonli（蓝深李）的博客
09-12 1432
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
Flink中窗口的划分与应用
星空的风fly
10-06 1455
一、Window 分类 1、数据集类型划分 Flink根据上游数据集是否为KeyedStream类型，即是否使用keyBy(...)，分为Keyed Window和Non-Keyed Window （1）KeyedWindow 上游数据集如果是KeyedStream类型，即使用了keyBy(...)，则调用DataStreamAPI的window()方法，数据会根据Key在不同的Task实例中并行分别计算，最后得出针对每个Key统计的结果。 程序调用流程如下： stream ...
Flink学习22：窗口的划分
hzp666的博客
08-31 898
主要有2种窗口，一个基于时间窗口，一个是基于数据窗口。时间窗口中起止时间是，左闭右开。
Flink 窗口最全汇总
最新发布
m0_72566748的博客
09-27 1959
将要计算的数据限制一个范围，统计一个范围内的数据。将无界的数据切割成有届的数据。
Flink窗口及其分类-详细说明
勇敢牛牛，不怕困难！
11-19 5740
Flink 是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。想要更加方便高效地处理无界流，一种方式就是将无限数据切割成有限的“数据块”进行处理，这就是所谓的“窗口”（Window）。所以在 Flink 中，窗口其实并不是一个“框”，流进来的数据被框住了就只能进这一个窗口。相比之下，我们应该把窗口理解成一个“桶”。在 Flink 中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理。
flink的窗口
天龙八部
06-26 1416
窗口是flink中重要的概念，为了方便高效的处理无界流，将数据切成有限的数据块进行处理；
Flink 滑动窗口优化
weixin_44476888的博客
05-05 3546
文 | 杨诗旻 on 大数据 一、前言 Flink 的窗口功能非常强大，因为要支持各种各样的窗口，像滑动窗口和滚动窗口这样的对齐窗口，像会话窗口这样的非对齐窗口，复杂度也会比较高。其中在超长滑动窗口的性能上也不尽如人意。这篇文章首先会阐述为什么在超长滑动窗口下 Flink 的性能会降级的很严重，以及在有赞我们是如何解决这个问题的。此外，在优化中并没有去兼顾 Evictor 的逻辑，因为在业务中...
Flink窗口API、窗口分配器和窗口函数
roi666的博客
01-19 1595
需要先对DataStream调用.keyBy()进行按键分区，然后再调用.window()定义窗口。
Flink窗口
qq_38016945的博客
09-04 1145
除了由时间驱动之外， 窗口其实也可以由数据驱动，也就是说按照固定的数量，来截取一段数据集，这种窗口叫作“计数窗口”（Count Window），如图。这很好理解，“会话”终止的标志就是“隔一段时间没有数据来”，如果不依赖时间而改成个数，就成了“隔几个数据没有数据来”，这完全是自相矛盾的说法。滑动的距离代表了下个窗口开始的时间间隔，而窗口大小是固定的，所 以也就是两个窗口结束时间的间隔；在这种情况下，我们 就可以定义一个窗口，收集最近一分钟内的所有用户点击数据，然后进行聚合统计，最终输出 一个结果就可以了。
Flink窗口详解
勇心在馨
02-23 3675
一、Window类型 1、时间窗口（TimeWindow） （1）滚动时间窗口（Tumbling Window） 将数据依据固定的窗口长度对数据进行切分 特点：时间对齐，窗口长度固定，没有重叠 （2）滑动时间窗口（Sliding Window） 滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成 特点：窗口长度固定，可以有重叠 （3）会话窗口（Se...
详解Flink中的Window
huahuaxiaoshao的博客
05-12 910
1 Window 1.1 Window概述       流式计算是一种用于处理无限数据集的数据处理引擎，而无线数据集是指一种不断增长的无限的数据集，而Window是一种将无限数据集切割为有限块进行处理的手段。       Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的“bucket”桶，方便我们在桶上做计算操作。 1.2 window类型 &nbs
【Flink系列】窗口系列简介
qq_42875020的博客
10-17 2752
【Flink系列】窗口系列简介
Flink窗口分类简介及示例代码
阿年的博客
08-09 1208
Flink中常见的窗口简介及示例代码。滚动窗口、滑动窗口、会话窗口
Flink中有哪些窗口？
gggSam的博客
09-08 1917
16. Flink中有哪些窗口？ Flink 支持两种划分窗口的方式，按照time和count。如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window。flink支持窗口的两个重要属性（size和interval）如果size=interval,那么就会形成tumbling-window(无重叠数据) 如果size>interval,那么就会形成sliding-window(有重叠数据) 如果size< interval, 那
简单谈谈flink窗口的分类有哪些？
weixin_39868387的博客
07-04 1807
上篇：初入认识flink窗口运算与时间类型概述 讲解之前，问问GlobalWindow是干啥用的？其实，它就是一个按照指定的数据条数生成一个Window，与时间无关。话不多说，直接来看看flink窗口那玩意的东西是干啥用的？ 主要讲解： TimeWindow Non-Keyed和Keyed Windows 一、TimeWindow 1、概述 按照时间生成Window，可以根据窗口实现原理的不同分成三类 1.1、滚动窗口（Tumbling Window） （1）定义 将数据依据固定的窗口⻓
flink的窗口分类及窗口函数
L13763338360的博客
06-01 3032
Flink 提供了非常完善的窗口机制，是Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制等）。 经典的窗口划分为几类：时间窗口、事件窗口、会话窗口、自定义窗口；其中时间窗口和事件窗口又可以划分为滚动窗口和滑动窗口；滚动窗口和滑动窗口的区别在于滚动窗口没有重叠，滑动窗口有重叠。 1. 时间窗口(Time Window) 1.1滚动窗口(Tumbling Window) // Stream of (userId, buyCnt) val buyCnts: Da..
Flink 之 EventTime 划分时间窗口（滚动窗口）
weixin_52346735的博客
03-07 691
窗口触发的条件 ： 水位线 >= 窗口结束的时间 一 不分组，按照EventTime划分滚动窗口 Non-keyed Window，底层调用的是windowAll public class EventTimeTumblingWindowAllDemo { public static void main(String[] args) throws Exception { // 2021-03-06 21:00:00,1 // 2021-03-06 2
hive 窗口函数_Flink的窗口类型详解
weixin_39611047的博客
12-01 252
这是我的第87篇原创窗口函数真奇妙，聚合计算快又好，数据分析宝中宝，表哥表妹不能少，不！能！少！在我刚入行的时候，还不懂啥窗口函数，想出一张报表那叫一个费劲啊，各种自关联、行转列、列转行玩的不亦乐乎。后来知道有个叫“窗口函数/聚合函数”的东西，简直把我惊呆了，感觉好几年的功夫都白练了。之前给大家分享过Hive的窗口函数全解，点击查看：【面试必问】窗口函数全解-HIVE。无限数据流的统计问...
Flink时间窗口与计数窗口详解
窗口是Flink处理无界数据流的关键特性，它使得我们能够在数据流不断流入时进行实时计算。窗口将无限的数据流切割成有限的片段，以便对每个片段进行聚合、计数或其他分析操作。主要分为时间窗口和计数窗口。 ### 二...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值