Flink入门（3）-Flink窗口函数

最新推荐文章于 2024-03-10 18:27:06 发布
VIP文章 最新推荐文章于 2024-03-10 18:27:06 发布
阅读量567 收藏
点赞数 1
分类专栏： flink窗口函数 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38813363/article/details/114299242
版权

Flink窗口函数

滚动窗口(Trumblingwindow)

时间对齐，窗口长度固定，没有重叠
在这里插入图片描述

WindowedStream<Tuple2<String, Integer>, Tuple, TimeWindow> timeWindow = keyedStream.timeWindow(Time.seconds(10));

滚动事件窗口

 WindowedStream<Tuple2<String, Integer>, Tuple, GlobalWindow> countWindow = keyedStream.countWindow(3);

滑动窗口(SlidingWindow)

滑动窗口是固定窗口更广义的一种形式，滑动窗口由固定窗口长度和滑动间隔组成。
特点：窗口长度固定，可以有重叠

最低0.47元/天 解锁文章
颜渊月和F
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink-shaded-hadoop-3下载
05-19
flink-shaded-hadoop-3下载
Flink学习笔记-Trigger窗口触发
yangxiaobo118的博客
08-10 9653
Flink学习笔记-Trigger窗口触发Flink提供的Triggers自定义Trigger 窗口的计算触发依赖于窗口触发器，每种类型的窗口都有对应的窗口触发机制，都有一个默认的窗口触发器，触发器的作用就是去控制什么时候来触发我们的聚合方法。Flink内部定义实现了如EventTimeTrigger、ProcessTimeTrigger、CountTrigger以及DeltaTrigger等等。...
Flink Window中的window 和 apply()方法详解
LBJ_小松鼠的博客
03-08 5627
简介: 前面讲解的3中Window窗口案例中，尤其是时间窗口TimeWindow中，没有看见Window大小（起始时间，结束时间），使用apply函数，就可以获取窗口大小。 import org.apache.commons.lang3.time.FastDateFormat; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple; import org.
Flink窗口函数
最新发布
m0_63069778的博客
03-10 844
看过上面3个案例，可以发现增量聚合函数ReduceFunction和AggregateFunction都是数据来一条处理一条，而全窗口函数ProcessWindowFunction则是在窗口结束的时候才执行计算，因此process的效率相对更低。但是process的优点在于它可以得到上下文信息，因此，将两者结合起来使用，既可以提升计算效率，又能得到窗口信息。以上两种方法不能看到窗口的信息，比如时间，因此引入全窗口函数，它提供了一个上下文对象，不仅能获取窗口信息，还能得到访问的当前时间和状态信息。
Flink全量聚合函数：apply和process这两种实现方法有什么区别？
luke991127的博客
12-26 127
ProcessWindowFunction一次性迭代整个窗口里的所有元素，比较重要的一个对象是Context，可以获取到事件和状态信息，这样我们就可以实现更加灵活的控制，这实际上是process的主要特点吧。Flink全量聚合函数：指在窗口触发的时候才会对窗口内的所有数据进行一次计算（等窗口的数据到齐，才开始进行聚合计算，可实现对窗口内的数据进行排序等需求）process更加底层，更加强大，有open/close生命周期方法，又可获取RuntimeContext。
Flink系列：Window窗口增量/全量聚合方法（reduce、aggregate 、apply、process）
NIO4444
06-30 8949
目录 增量聚合 实现方法 举例 reduce aggregate 全量聚合 实现方法 举例 apply process​ 扩展 增量聚合 指窗口每进入一条数据就计算一次 实现方法 举例 reduce aggregate 全量聚合 指在窗口触发的时候才会对窗口内的所有数据进行一次计算（等窗口的数据到齐，才开始进行聚合计算，可实现对窗口内的数据进行排序等需求） 实现方法 apply(windowFunction） proc...
Flink process 和 apply 简单案例
qq_31866793的博客
10-16 6827
遇到的问题： 使用timeWindow 使用process 出不来结果， 而apply确实可以出结果的，具体原因还不清楚，也不报错 改写成下面的写法： package com.storm.test_demo; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api....
FLink 中的Window及各种WindowFunction
TRX的博客
02-26 2551
streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割无限数据为有限块进行处理的手段。 Window 是无限数据流处理的核心，Window 将一个无限的 stream 拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。 一、Window可以分为两类： CountWindow：按照指定的数据条数生成一个Window，与时间无关。 TimeWindow：按照时间生成Window。 对于Ti
时间窗口程序java_时间窗口上的java-Flink apply函数
weixin_39626298的博客
03-02 316
应用keyBy函数(不使用匿名类)时，自定义WindowFunction(第三个字段)中的 key的类型应为元组，因为编译器无法确定 key的类型。这段代码编译时没有错误(考虑到我试图用伪代码填充空格)：public class Test {public Test() {StreamExecutionEnvironment env = StreamExecutionEnvironment.getE...
Flink中Window Function(窗口函数)的三种类型对比及应用
专注于大数据领域相关技术推广、学习、交流和合作。
11-20 1499
Flink中窗口函数的使用主要包含增量聚合函数、全量窗口函数和增量聚合+全量窗口组合函数三种类型，本文将从该三种类型函数的特点、应用场景、对比和示例方面进行讲解。
Flink 窗口函数（Window Functions）全窗口函数
weixin_45417821的博客
04-17 2746
文章目录1）窗口函数（WindowFunction）2）处理窗口函数（ProcessWindowFunction） 窗口操作中的另一大类就是全窗口函数。与增量聚合函数不同，全窗口函数需要先收集窗口中的数据，并在内部缓存起来，等到窗口要输出结果的时候再取出数据进行计算。 很明显，这就是典型的批处理思路了— —先攒数据，等一批都到齐了再正式启动处理流程。这样做毫无疑问是低效的：因为窗口全部的计算任务都积压在了要输出结果的那一瞬间，而在之前收集数据的漫长过程中却无所事事。这就好比平时不用功，到考试之前通宵抱佛脚，
Flink--Window apply
05-21 1720
和window的操作类似，只不过操作更加灵活，具体的操作需要在匿名内部类的方法中实现；当有比较复杂的需求时候，可以使用； object WindowApply { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment ...
flink-table-planner-blink-2.11-1.12.7-API文档-中文版.zip
07-07
赠送jar包：flink-table-planner-blink_2.11-1.12.7.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.12.7-sources.jar； 赠送Maven依赖...
Flink 资源包 flink-1.15.0-bin-scala_2.12.tgz flink-connector-elasti
07-01
flink-sql-connector-mysql-cdc-2.2.1.jar flink-connector-elasticsearch7-1.15.0.jar flink-1.15.0-bin-scala_2.12.tgz
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）
05-07
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行...
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
clickhouse 连接外部数据源（Mysql Kafka）
weixin_38813363的博客
02-19 2520
clickhouse连接mysql数据源 在linux123上建立好测试的数据库和表并插入数据 create database bigdataClickHouse; use bigdataClickHouse; create table student( id int, name varchar(40), age int); insert into student values(3,'jack',12); insert into student values(4,'jac
Redis知识总结(1)缓存原理&设计
weixin_38813363的博客
03-08 1589
缓存原理&设计缓存概述缓存的读写模式 缓存概述 缓存：CPU上一种高速存储器，它先于内存与CPU交换数据，速度很快 使用场景： DB缓存，减轻DB服务器压力 提高系统响应 session分离 分布式锁 乐观锁 缓存的优势 提升用户体验 减轻服务器压力 提升系统性能 缓存的代价 额外的硬件支出 高并发缓存失效 缓存与数据库数据同步 缓存并发竞争 缓存的读写模式 旁路缓存(Cache Aside Pattern) 读的时候先读缓存，缓存没有的话，就读数
Redis总结 2--Redis数据结构与过期机制
weixin_38813363的博客
03-08 1569
Redis数据结构与过期机制Redis数据结构5种常见数据类型字符串String集合 set有序集合 sorted set列表Hash哈希3种不常见数据类型bitmap位图类型geo地理位置类型stream数据流类型Redis过期机制缓存过期和淘汰策略三级目录 Redis数据结构 redis是一个C语言开发的高性能的内存型键值对NoSql数据库 5种常见数据类型 字符串String 能表示字符串、整数、浮点数 常见操作 set key value get key getset key value setn
flink-shaded-hadoop3 和 flink-shaded-hadoop3-uber
09-03
flink-shaded-hadoop3和flink-shaded-hadoop3-uber是Apache Flink项目中与Hadoop 3.x版本集成相关的两个模块。 首先，Hadoop是一个分布式计算框架，用于处理大规模数据。而Flink是一个快速而可扩展的流式处理引擎，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值