【Flink】Flink WindowOperator大概工作流程

最新推荐文章于 2024-01-19 15:04:09 发布
最新推荐文章于 2024-01-19 15:04:09 发布
阅读量729 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106599515
版权
大数据-flink 专栏收录该内容
836 篇文章 827 订阅 ¥99.90 ¥99.00
订阅专栏

在这里插入图片描述

1.概述

windowOperator 处理元素的示意图下

在这里插入图片描述
对照代码如下
在这里插入图片描述

  1. 首先来了一条数据，那么我们要判断这个元素是归属到哪个window了，因为一个数据可能属于多个window，所以这个可能给你的是多个window的序列。
  2. window的计算一定是根据keyBy来计算的。所以要算这个元素的key是什么
  3. 然后遍历所有的window
    1. 判断这个数据是不是延迟了，如果延迟了，比如这个窗口都过
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
95-190-640-源码-窗口操作符-WindowOperator
九师兄
07-01 421
1.世界 2.概述 3.属性 // 窗口分配器 protected final WindowAssigner<? super IN, W> windowAssigner; // key 选择器 private final KeySelector<IN, K> keySelector; // 触发器 private final Trigger<? super ...
Flink基本工作原理
02-24
Flink是新的stream计算引擎，用java实现。...主要工作原理如下图用户首先提交Flink程序到JobClient，经过JobClient的处理、解析、优化提交到JobManager，最后由TaskManager运行task。JobClient是Flink程序和
详解Flink作业提交流程
slivelight的博客
03-27 4970
一、提交流程 Flink 作业在开发完毕之后，需要提交到 Flink 集群执行。ClientFronted 是入口，触发用户开发的 Flink 应用 Jar 文件中的 main 方法，然后交给 PipelineExecutor（流水线执行器，在 FlinkClient 升成 JobGraph 之后，将作业提交给集群的重要环节。）#execue 方法，最终会选择一个触发一个具体的 PiplineExecutor 执行。 提交模式又可分为： Detached：Flink Client 创建完集
Flink源码分析：WindowOperator底层实现
JasonLee实时计算
06-07 1144
上一篇文章介绍了 Flink窗口机制的执行流程，其实WindowOperator才是真正负责window中元素存储和计算流程的核心类。这篇文章主要就是分析一下WindowOperator...
flink深入研究(05) 算子operator
weixin_39935887的博客
12-17 1619
flink的整个数据处理流程是由一个个operator组成的，数据从源头开始传递给一个个operator进行链式处理，每一个处理逻辑就是一个operator，一个operator包含一个输入、一个处理逻辑、一个输出，operator是在TaskManager的slot中执行的，一个slot就是一个线程，一个operator只能在一个slot中执行，一个slot中可以运行多个operator(同一个...
flink-kubernetes-operator 的简单使用
阿甘兄
02-13 3217
flink kubernetes operator 学习笔记
Flink主要组件以及工作流程
程序员路同学
06-17 2518
Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流（批处理和流处理）进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：根据官网的介绍，Flink 的特性包含：flink处理时间优势劣势 为了支持分布式运行，Flink跟其他大数据引擎一样，采用了主从（Master-Worker）架构。 1：事件时间2：摄入时间3: 处理时间......
Flink +hudi+presto 流程图.docx
04-29
Flink +hudi+presto 流程图.docx 自己实现后画的一个流程图，便于理解
flink-sql集成rabbitmq
06-29
flink-sql集成rabbitmq
Flink-1.16.2 CDH6.3.2
09-26
CDH6.3.2集成安装Flink-1.16.2，所需的包都在文件里面了，不用再自己打包了 参考部署教程： https://blog.csdn.net/qq_31454379/article/details/110440037 https://www.cnblogs.com/lshan/p/16469294.html
Flink执行过程
qq_42456324的博客
06-07 3621
Flink执行流程
Flink的窗口算子 WindowOperator的实现原理
u013939918的博客
07-02 435
窗口算子WindowOperator是窗口机制的底层实现，它几乎会牵扯到所有窗口相关的知识点，因此相对复杂。本文将以由面及点的方式来分析WindowOperator的实现。首先，我们来看一下对于最常见的时间窗口（包含处理时间和事件时间）其执行示意图： 上图中，左侧从左往右为事件流的方向。方框代表事件，事件流中夹杂着的竖直虚线代表水印，Flink通过水印分配器（TimestampsAndPeriodicWatermarksOperator和TimestampsAndPunctuatedWatermark
Flink Operator 使用指南 之 Flink Operator安装
麦田里的守望者-蒋中洲【相信相信的力量】
11-20 701
Flink Operator实战基础篇
Flink的操作算子Operator
weixin_45316851的博客
05-15 851
Operator DataStream Transformations Datastream -> Datasteam Map Takes one element and produces one element. A map function that doubles the values of the input stream: dataStream.map { x => x * 2 } FlatMap Takes one element and produces zero, one, o
Flink Kubernetes Operator 介绍
最新发布
datacreating的博客
01-19 790
Flink Kubernetes Operator是一种强大而灵活的工具，简化了在Kubernetes上部署和管理Flink集群的复杂性，让开发人员和运维团队能够更专注于业务逻辑而非基础设施的细节。通过使用Operator，可以更轻松地管理Flink作业的生命周期，并根据负载的需求自动调整集群规模，使得在 Kubernetes 上运行 Flink 应用程序变得更加方便和可靠。
Flink架构及运行流程
qq_46447060的博客
08-30 1240
Flink 架构及相关介绍 1.架构图 分层设计说明(相关术语解释） 物理部署层-deploy层 负责解决Flink的部署模式问题， 支持多种部署模式：本地部署、集群部署（Standalone/Yarn/Mesos）、云（GCE/EC2）以及kubernetes。 通过该层支持不同平台的部署，用户可以根据自身场景和需求选择使用对应的部署模式。 Runtime核心层 是Flink分布式计算框架的核心实现层，负责对上层不同接口提供基础服务。 支持分布式Stream作业的执行、JobGraph到Executio
Flink框架和工作流程简介
METON的博客
09-10 2460
概述 Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同， 流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分别给出两套实现方法，或者通过一个独立的开源框架来实现其中每一种处理方案。比较典型的有：实现批处理的开...
Flink快速回忆之Operators（运算符）
weixin_46001623的博客
04-08 537
Operators（运算符） DataStream Transformations （数据流的转换） DataStream → DataStream Map Takes one element and produces one element. A map function that doubles the values of the input stream: 获取一个元素并生成一个元素。一个映...
Flink -- Operator操作算子
wudonglianga的专栏
12-23 284
1.滚动聚合算子(Rolling Aggregation)
flink流处理工作流程
11-20
flink流处理的工作流程如下： 1. 从数据源读取数据，可以是文件、消息队列、套接字等。 2. 对数据进行转换和处理，例如过滤、映射、聚合等操作。 3. 将处理后的数据发送到下一个算子或者存储到外部系统中。 4. 如果...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值