flink总结笔记之窗口

最新推荐文章于 2022-11-19 17:21:19 发布
最新推荐文章于 2022-11-19 17:21:19 发布
阅读量1.2k 收藏
点赞数
分类专栏： flink 文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32292967/article/details/122350952
版权
本文详细介绍了Flink中的窗口概念，包括窗口的生命周期、keyby与nokeyby的区别、窗口的组成元素如assigner、windowfunction、trigger、evictor以及allowedLateness。重点讨论了各种窗口类型、触发器的工作原理和数据处理策略，并提到了side output的概念，用于捕获迟到数据。
摘要由CSDN通过智能技术生成

文章目录

什么是窗口?

流相当于一条永不停机的生产流水线, 窗口则是一个闸门,拦住囤积生产的商品,定时或者囤积到一定数量释放一次.

窗口生命周期

  1. 创建: 第一个属于该窗口的时间出现
  2. 结束: 第一个超过该窗口时间范围(包括延迟时间)的时间出现
  3. 存活时间: 窗口的范围,比如统计5分钟 + 允许的延迟时间,比如2分钟=7分钟

keyby和nokeyby

  • 按key分组,相同key发送到相同task中,可以并行处理
  • 未按key分组,所用数据发送到同一个,无法并行处理

窗口组成

assigner

决定数据发送到哪个窗口

内置的时间窗口assigner:

  1. tumbling windows
  2. sliding windows
  3. session windows
  4. global windows(使用时,需要自定义trigger,不然不会触发释放内容)

windowfunction

窗口方法. 当窗口中的数据积攒到需要触发时,怎么处理数据,比如计数,求和等,也就是聚合函数.

  • 聚合函数,来一条和之前的数据累加计算,实时处理

  • 常用方法:

    • ReduceFunction: 合并两条输入数据,输入和输出格式相同

    • AggregateFunction: reducefunction的一般式.更灵活,可自定义聚合中间过程,和不一样的输

最低0.47元/天 解锁文章
落叶下的光
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink时间和窗口
L
07-24 1195
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
尚硅谷，flink 笔记.zip
07-20
《尚硅谷Flink笔记》是针对大数据处理框架Apache Flink的一份详尽学习资料，它涵盖了Flink的核心概念、架构、API使用以及实战案例。Flink作为一种实时流处理引擎，其强大之处在于能够进行低延迟的数据处理，并支持...
（十）Flink Datastream API 编程指南 算子-2 Windows窗口计算
京河小蚁的博客
06-05 659
窗口是处理无限流的核心。Windows将流分成有限大小的“桶”，我们可以在桶上应用计算。本文主要讨论如何在Flink中执行窗口操作，以及程序员如何最大限度地利用Flink提供的功能。一个带窗口的Flink程序的总体结构如下所示。第一个片段引用键控流，第二个片段引用非键控流。可以看到，唯一的区别是键控流的keyBy(…)调用和非键控流的window(…)调用，后者变成windowall(…)。这也将作为页面其余部分的路线图。Keyed Windows Non-Keyed Windows 上面的方括号([…])
flink窗口相关概念
ASN_forever的博客
06-29 679
窗口 窗口是无界流处理程序的核心。窗口能够将一个无界流切分成一个个有限大小的桶，以便进行计算。 窗口根据流的类型（keyed stream和non-keyed stream）分为两种，分别是keyed window和non-keyed window。它们的结构如下所示（方括号表示是可选的），可以看到，区别就是是否使用了keyBy。 窗口的声明周期 简而言之，当属于此窗口的第一个元素到达窗口时此窗口才创建（created）。当时间（event or processing time）经过截止时间+.
Flink 解析（七）：时间窗口
Stray_Lambs的博客
01-17 3094
时间概念 由于Flink框架中实时流处理事件中，时间在计算中起到很大的作用。例如进行时间序列分析、基于特定时间段(窗口)进行聚合或者是重要情况下的事件处理。Flink的DataStream支持三种time：EventTime、IngestTime和ProcessingTime，并且有大量的基于time的operator。 这三种时间进行比较： EventTime 事件生成的时间，在进入Flink之间就已经存在，可以从event的字段中抽取 必须指定watermarks的生成方式 优势..
Flink窗口理解
weixin_42927126的博客
06-13 499
Windows（窗口分类） Keyed Stream和Non-Keyed Stream 代码定义上唯一的区别是Keyed Stream以keyBy()开始，后接window()，而Non-Keyed Stream以windowAll()开始，且windowAll是单slot运行的。 Keyed Window stream .keyBy(...) <- keyed versus non-keyed windows .window(...)
flink windows 窗口函数的使用
newbrid007的博客
06-25 277
窗口函数的使用Windows FunctionReduceFunctionAggregateFunctionProcessWindowFunctionProcessWindowFunction with Incremental Aggregation（处理窗口函数和增加聚合函数结合）Incremental Window Aggregation with ReduceFunction（ReduceFuntione 结合 增长聚合窗口）Incremental Window Aggregation with Ag
flink学习详细笔记
10-28
【描述】：这篇笔记涵盖了Flink的基础概念，包括数据源读取、数据处理算子，特别是时间窗口和CEP算子的讲解，旨在帮助初学者从零开始踏入数据分析领域。 【标签】：“cep 算子” 【正文】： Apache Flink是一个...
flink(java)笔记
最新发布
01-08
**Flink(Java)笔记** 在大数据处理领域，Apache Flink是一个开源的流处理和批处理框架，以其高效、实时和...通过阅读《flink(java)含书签.pdf》文档，可以获取更详细的操作步骤和示例代码，助力你的Flink学习之旅。
大数据框架flink项目笔记
02-16
大数据框架Flink项目笔记是针对当前热门的大数据处理技术Apache Flink进行深入学习和实践的总结。Flink作为一个分布式流处理框架，它的核心在于实时数据处理和事件驱动，能够提供低延迟、高吞吐量的数据处理能力。本...
Flink窗口及其分类-详细说明
勇敢牛牛，不怕困难！
11-19 5576
Flink 是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。想要更加方便高效地处理无界流，一种方式就是将无限数据切割成有限的“数据块”进行处理，这就是所谓的“窗口”（Window）。所以在 Flink 中，窗口其实并不是一个“框”，流进来的数据被框住了就只能进这一个窗口。相比之下，我们应该把窗口理解成一个“桶”。在 Flink 中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理。
GlobalWindow之自定义Trigger (一)
sinat_26781639的博客
03-29 600
前言 之前看到GlobalWindow需要自己定义trigger，写了个测试用例简单实现了下。 背景 前面文章讲到了窗口，在窗口中我们一般都会去使用api中定义好的滑动滚动窗口等等。但在一些特殊场景下，我们需要自定义去实现窗口的定义以及窗口的触发。 举个例子：如何去实现1min窗口的每10s输出一次该窗口的值。比如在10：00-10：10中每隔10s输出这个窗口的总和。 Trigger 今天主要讲下以下三个方法： /** * Called for every element that gets add
5 随窗口改变大小_Flink窗口如何使用
weixin_42202605的博客
12-27 505
Windows(窗口)是处理无限数据流的核心。窗口将流分解成有限大小的”桶”，在上面可以进行各种计算。本文将重点介绍 Flink 中的窗口，以及常见的窗口类型。一个窗口处理的 Flink 程序一般结构如下：(1) Keyed Windows：stream .keyBy(...) .window(...) "assigner" ...
Flink学习笔记-WindowsFunction（篇二）
yangxiaobo118的博客
07-28 4129
Flink学习笔记-WindowsFunction（篇二）ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental AggregationAggregateFunction combined with ProcessWindowFuncti...
Flink window（二）（翻译官方文档）
jyj019的博客
03-05 555
我准备实际使用中mark一些关键的知识点/api。以窗口是flink一个重要的概念，flink提供了很多种窗口的使用方式，以下为窗口相关文档的第一部分，包含目录窗口功能中窗口折叠函数后的内容。 3.17更新：这周发现了一个翻译好的文档地址https://flink.sojb.cn/，其完整性和正确性比我翻译好太多，故这方面不再更新。
Flink实战案例（二十五）：自定义时间和窗口的操作符（六）window functions之全窗口函数 ProcessWindowFunction
微信搜：import_bigdata，大数据领域硬核原创作者
01-21 1122
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 ProcessWindowFunction 　　一些业务场景，我们需要收集窗口内所有的数据进行计算，例如计算窗口数据的中位数，或者计算窗口数据中出现频率最高的值。这样的需求，使用ReduceFunction和AggregateFunction就无法实现了。这个时候就需要ProcessWindowFunction了。 先来看接口定义 public abstract class Proc
flink文档之window操作
weixin_44153696的博客
03-18 1413
  初学flink和第一次进行博客编写，决定从文档看起，以及附上从各位博主总结来的内容。主要作用是督促自己养成读文档，记录博客的习惯以及记录下自己在学习、实际生产过程中的心得，记录下来留给需要之时参考，如有错误还请批评指正。 本文多部分引用自简书上一位大大：写Bug的张小天 Windows   Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的桶(bucket...
Flink的window机制
flywind800的博客
12-26 260
Window在流式计算中很重要，因为”流”是一个无终点的持续输入，所以通过window机制来分块，进行聚合等各种处理 Keyed vs Non-Keyed Windows Non-key window是在整个流上进行分块，没法并行处理 Window Assigners 分为4种窗口类型，分别是： Tumbling Windows；Sliding Windows；Session Wind...
Flink流处理：窗口计算详解
总结来说，Flink Window 提供了一种强大的机制，允许开发者灵活地处理持续流入的数据流，无论是基于时间还是数据量，都能有效地对数据进行聚合，满足实时分析和处理的需求。这对于实时监控、日志分析、物联网(IoT)...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值