flink-note笔记：flink-window模块中TumblingWindow解析

已于 2022-06-13 14:15:46 修改
阅读量187 收藏
点赞数
分类专栏： flink-note代码解析 文章标签： java flink 开发语言
于 2022-06-12 18:25:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cobracanary/article/details/125234192
版权

github开源项目flink-note的笔记。本博客的实现代码都写在项目的flink-window/src/main/java/com/wxwmd/window/windows/keyed/TumblingWindow.java文件中。
项目github地址： github
项目gitee地址：gitee

滚动窗口（Tumbling Windows）

滚动窗口的 assigner 分发元素到指定大小的窗口。滚动窗口的大小是固定的，且各自范围之间不重叠。 比如说，如果你指定了滚动窗口的大小为 5 分钟，那么每 5 分钟就会有一个窗口被计算，且一个新的窗口被创建（如下图所示）。
Tumbling Windows。
在这里插入图片描述

代码功能介绍

代码首先从socket或文件中读取以下格式的用户行为日志：

#name, action, event time
bob,LOGIN,1654688058
burg,LOGIN,1654688058
bob,BUY,1654688064
doris,LOGIN,1654688081
bur
了解本专栏 订阅专栏 解锁全文
canaryW
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink 滚动窗口、滑动窗口、会话窗口、全局窗口
不是一枚开发
06-03 7万+
  根据分配数据的规则，窗口的具体实现可以分为 4 类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）、会话窗口（Session Window），以及全局窗口（Global Window）  滚动窗口有固定的大小，是一种的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。   与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾
【flink番外篇】5、flink的window(介绍、分类、函数及Tumbling、Sliding、session窗口应用)介绍及示例 - 完整版
最新发布
wukong3158的博客
01-10 296
Windows是处理无限流的核心。Windows将流划分为有限大小的“buckets”，我们可以在其上进行计算。窗口Flink程序的一般结构如下所示。第一个片段指的是键控流，而第二个片段指非键控流。可以看出，唯一的区别是对键控流的keyBy(…)调用和对非键控流变为windowAll(…)的window(…)。这也将作为页面其余部分的路线图。流计算中一般在对流数据进行操作之前都会先进行开窗，即基于一个什么样的窗口上做这个计算。
Flink开发-滚动窗口TumblingWindows
qq884121435的博客
08-13 489
Flink开发-滚动窗口TumblingWindows 1.Non-Keyed Tumbling Windows2.Keyed Tumbling Windows 滚动窗口是按照时间划分的窗口，其Assinger会将输入的每一条数据按照时间分配到固定长度的窗口内，并且按照这个固定的时间进行滚动，窗口和窗口之间没有数据重叠。 1.Non-Keyed Tumbling Windows public static void main(String[] args) throws Exception {
聊聊flink的Tumbling Window
weixin_34357887的博客
01-02 427
序 本文主要研究一下flink的Tumbling Window WindowAssigner flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/windowing/assigners/WindowAssigner.java @Public...
深入理解Flink中的TumblingWindow
10-29 946
在了解TumblingWindow之前，首先让我们对当涉及到流处理或流计算时的“窗口”有一个基本的了解。在数据流中，有一个持续生成数据的源，这使得计算最终值变得不可行。 “窗口”定义了无界流上的有限元素集，我们可以在其上应用计算。这个集合可以基于时间、元素计数、计数和时间的组合，或者一些自定义逻辑来为窗口分配元素。例如： 每分钟收到的订单数量(固定时间) 完成最后100个订单的平均时间(固定元素) 流框架厂商实现了一个多种类型的“窗口”定义。Flink有三种类型 翻滚窗口（又称为”滚动窗口“） 滑
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的...flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
flink-web：Apache Flink网站
02-05
该存储库包含Flink网站： : 。 您可以在以下位置找到此存储库的说明： : 。 在本地测试更改 您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。 作为此调用的一部分传递的参数将转发到build.sh 。 # ...
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是...
flink-doc-zh:Apache Flink 中文文档
04-30
下载Dockerdocker pull apachecn0/flink-doc-zhdocker run -tid -p <port>:80 apachecn0/flink-doc-zh# 访问 http://localhost:{port} 查看文档PYPIpip install flink-doc-zhflink-doc-zh <port># 访问 ...
第一个窗口
qq_41232519的博客
09-09 300
一、设计一个窗口 TCHAR className[] = "My First Window"; // 创建窗口类的对象 WNDCLASS wndclass = {0}; //一定要先将所有值赋值 wndclass.hbrBackground = (HBRUSH)COLOR_MENU; //窗口的背景色 wndclass.lpfnWndProc = WindowProc; //窗口过程函数 wndclass.lpszClassName =
Flink 原理与实现：Window 机制
cache007的专栏
06-18 8572
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制）。本文我们将介绍流式处理中的窗口概念，介绍 F
flink测试TumblingWindow
婲落ヽ红颜谇的博客
05-29 221
1.所需依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients_2.11</artifactId> <version>1.9.0</version> </dependency> <!-- https://mvnrepository.com/artif.
Storm窗口机制
石权的博客
10-28 6470
storm可同时处理窗口内的所有tuple。可以从时间或数量上来对窗口进行划分，窗口由如下两个因素决定： 窗口的长度，可以是时间或Tuple数量； 滑动间隔(sliding Interval)，同样也可以是时间或Tuple数量，后面Sliding Window中介绍；
Tumbling Windows vs Sliding Windows区别与联系
Hadoop技术博文
11-13 4841
如本文格式图片不清晰，请访问 https://www.iteblog.com/archives/1717.html，或点击下面阅读原文即可。 在流系统中通常会经常使用到Windows来统计一定范围的数据，比如按照固定时间、按个数等统计。一般会存在两种类型的Windows：Tumbling Windows vs Sliding Windows，它们很容易被初学者混淆，那么Tumbling
Tumbling Windows和Sliding Windows区别与联系
天高地阔的专栏
02-09 1750
在流系统中通常会经常使用到Windows来统计一定范围的数据，比如按照固定时间、按个数等统计。一般会存在两种类型的Windows：Tumbling Windows vs Sliding Windows，它们很容易被初学者混淆，那么Tumbling Windows vs Sliding Windows之间到底有啥区别与联系呢？这就是本文将要展开的。 　　Tumbling的中文意思是摔跤，翻跟头，翻...
Flink(六)：Tumbling Windows 例子
在前进的路上
03-12 3134
滚动窗口将每个元素分配给指定窗口大小的窗口。滚动窗口具有固定大小并且不重叠。例如，如果指定一个大小为 5 分钟的滚动窗口，则将评估当前窗口，并每隔五分钟启动一个新窗口，我们实现对应的例子
java Flink滚动时间窗口聚合TumblingProcessingTimeWindows运算例子
呆萌的代Ma
10-20 2651
整个的思路是： 构造数据源 窗口聚合代码 1. 构造数据源 首先构造数据，新建一个MyData2.java的文件，写入这个MyData2的类 package create_data; import java.util.Arrays; public class MyData2 { public int keyId; public long timestamp; public int num; public double[] valueList; public
flink之核心抽象--Window窗口及窗口操作全面详解
penriver的博客
11-19 1275
1. Windows 1.1. 基本概念 窗口是处理无限流的核心。窗口将流划分为固定大小的“桶”，方便程序员在上面应用各种计算。 Window操作是流式数据处理的一种非常核心的抽象，它把一个无限流数据集分割成一个个有界的Window（或称为Bucket），然后就可以非常方便地定义作用于Window之上的各种计算操作。 1.2. 窗口分类 Window分为两类，窗口程序的通用结构详见下面，主要区别是针对Keyed Window，需要首先使用keyBy将stream转化为Keyed stream，然后使用win
flink -m localhost:8081 与--target
06-16
`flink -m localhost:8081` 是启动 Flink 集群时指定使用的 master 节点地址，表示将 Flink 作业提交到该节点上执行。而 `--target` 则是 Flink 作业提交命令 `flink run` 的参数，用于指定作业提交的目标 YARN 集群...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

canaryW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值