flink总结笔记之窗口

最新推荐文章于 2024-04-30 17:01:14 发布
VIP文章 最新推荐文章于 2024-04-30 17:01:14 发布
阅读量1.1k 收藏
点赞数
分类专栏： flink 文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32292967/article/details/122350952
版权

文章目录

什么是窗口?

流相当于一条永不停机的生产流水线, 窗口则是一个闸门,拦住囤积生产的商品,定时或者囤积到一定数量释放一次.

窗口生命周期

  1. 创建: 第一个属于该窗口的时间出现
  2. 结束: 第一个超过该窗口时间范围(包括延迟时间)的时间出现
  3. 存活时间: 窗口的范围,比如统计5分钟 + 允许的延迟时间,比如2分钟=7分钟

keyby和nokeyby

最低0.47元/天 解锁文章
落叶下的光
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink学习笔记.docx
05-07
flink学习笔记 一个通俗易懂的概念: Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理。
Flink窗口核心概念-有KEY窗口和无KEY窗口
胖虎儿的博客
05-23 8652
有KEY窗口和无KEY窗口的区别是什么？各自特性是什么？
问题排查－Flink session窗口最后一个不过期问题
baidu_26507163的博客
12-30 1084
问题描述 线上使用flink进行session窗口分析，分析结果写入db。在使用分析结果时发现实际统计数据缺少最后一条窗口的数据。 排查过程 查看flink写入db日志，发现没有最后一个session窗口统计数据写入的日志。猜测是flink没有触发session窗口过期，遂采取以下步骤进行问题复现和定位。 联系业务系统，梳理session窗口数据来源 经反馈数据来源为用户xx操作。 线上环境模拟用户操作，触发session窗口数据写入 业务系统有写入session窗口数据日志。 查看flink写入db日志
Flink总结学习笔记之一
wudonglianga的专栏
05-19 391
1.Flink 的知识点总结： 2.Flink 的简单简介： 2009年诞生。 2014年一跃成为Apache 软件基金会的顶级项目. 2019年被阿里收购成为中国人主导的项目,可以适合中国国内的发展。 Flink 的使用场景。 用官网的图说明 2.1 Flink 的简单场景： 3.Flink 的特性。 1.高吞吐和低延迟。每秒处理数百万个事件，毫秒级延迟 。 2.结果的精准一次性。 3.高可用。 4.可以链接常用的存储。 5.更新应用程序作业迁移到不同的flink 集群。 4.Flink 架
Flink学习笔记（五）窗口详解
zhang09090606的博客
03-26 667
Flink中Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。
Flink之滑动窗口（SlidingEventTimeWindows）
01-07
def main(args: Array[String]): Unit = { // 环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime...
Flink总结.docx
09-13
资源回答了：什么是Flink?Flink 相比传统的 Spark Streaming 有什么区别?Flink恰巧语义一次消费，怎么保证?flink反压机制知道么？
我的flink学习笔记
07-28
flink学习笔记flink学习笔记
Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
TONIYH的博客
04-29 664
Flink的checkpoint的过程依赖于异步屏障快照算法，该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来说比较简单易懂，这篇博文主要是介绍flink中checkpoint触发流程。持续分析学习~
Flink checkpoint 源码分析- Checkpoint barrier 传递源码分析
最新发布
TONIYH的博客
04-30 574
在上一篇的博客里，大致介绍了flink checkpoint中的触发的大体流程，现在介绍一下触发之后下游的算子是如何做snapshot。
7、Flink 自定义 WaterMarkGenerator 案例
猫猫爱吃小鱼粮
04-29 475
Flink 自定义 WaterMarkGenerator 案例
Maven 构建 Flink 应用程序的最佳实践（根除各种类冲突/类加载问题）
Laurence的技术博客
04-27 1441
作为开发者，在构建 Flink 应用程序时的体验真是一言难尽，想必大家都曾遇到过各种 ClassNotFoundException、NoSuchMethodError 以及 Could not find any factory for identifier kafka/jdbc/hive/hudi that implements org.apache.flink.table.factories.DynamicTableFactory in the classpath 这样的错误。坦率地说，Flink 的应用
9、Flink 用户自定义 Functions 及 累加器详解
猫猫爱吃小鱼粮
04-30 587
Flink 用户自定义 Functions 及 累加器详解
Flink on k8s 入门实战
weixin_43039757的博客
04-29 706
最近一直在学习flink on k8s，踩了不少坑，折腾了好几天，终于是达到了自己想要的效果。首先说一下，我要实现的效果是什么？
pyflink 读取excel
zhaoyangjian724的专栏
04-27 422
import sysds.print()
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 995
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin
搞数据
04-28 1068
Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
flink 渐进式窗口
12-06
Flink 渐进式窗口是一种数据流处理的方式，它可以在数据流不断到达的情况下持续计算窗口的结果，而不需要等待窗口的结束时间。这种窗口的计算方式可以更加实时地处理数据，并且能够适应不断变化的数据流。 在 Flink 中，渐进式窗口的核心思想是根据事件的时间戳来触发窗口的计算，而不是依赖固定的窗口时间。当数据流中的事件到达时，Flink 会根据事件的时间戳将事件分配到对应的窗口中，并且在窗口触发条件满足时立即进行计算。这种方式可以确保即使数据流的延迟和乱序也能够得到正确的窗口计算结果。 另外，Flink 渐进式窗口还支持动态调整窗口的大小和滑动距离，可以根据数据流的特性动态地调整窗口的计算方式，以更好地适应不同的业务需求。这种灵活性使得 Flink 渐进式窗口在处理实时数据流时具有较大的优势。 总之，Flink 渐进式窗口通过根据事件的时间戳来触发窗口计算，并支持动态调整窗口大小和滑动距离，能够更加灵活地适应不断变化的数据流，实现更实时、更准确的数据处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值