Flink 之 Dataflow、Task、subTask、Operator Chains、Slot 介绍

最新推荐文章于 2025-03-19 14:47:17 发布
最新推荐文章于 2025-03-19 14:47:17 发布
阅读量5.3k 收藏 29
点赞数 16
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzb348110175/article/details/104248577
版权
Flink 专栏收录该内容
34 篇文章 ¥39.90 ¥99.00
订阅专栏
本文详细介绍了Flink中的Dataflow、Task、subTask和Slot的概念及其相互关系。Dataflow是Flink程序的基础，Task是包含多个相同subTask的阶段，subTask是执行单元。并行数据流中，Task和subTask的数量取决于并行度、Rebalance等。Operator Chains将多个subTask合并为一个Task，提高效率。Slot作为资源槽，允许多个subTask共享，但必须来自同一application。设置Slot资源槽的名称需谨慎，否则可能导致任务调度失败。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文开头附：Flink 学习路线系列 ^ _ ^

1.概念

Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。

subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。

Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似于 Spark 中的 Pipeline。

Slot(插槽)：Flink 中计算资源进行隔离的单元，一个 Slot 中可以运行多个 subTask，但是这些 subTask 必须是来自同一个 application 的不同阶段的 subTask。

2.Dataflows数据流介绍

Dataflows数据流介绍，参考自

了解本专栏 订阅专栏 解锁全文
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams
AI天才研究院
12-27 9385
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams 关键词 分布式流处理 分布式计算引擎 All streaming use cases Event-driven Applications Stream & Batch Analytics Data Pipelines &a...
【深入浅出flink】第3篇：多图讲解flink核心概念（通俗易懂）Job、Task、SubTask、Slot、Slotsharing、Parallelism、Operator Chains
雷恩Layne
01-07 6835
本文是理解flink整个架构的核心，是最基础也是必须要掌握的知识，只有完全理解了它们，你才会在以后学习flink时游刃有余，才能更好的进阶flink高阶知识。
[flink-007]flink编程模型(dataflow programming model)
大数据和机器学习研究
08-22 793
（译改自https://ci.apache.org/projects/flink/flink-docs-release-1.8/concepts/programming-model.html） flink有4层抽象，从低到高，依次是：1.statfule streaming processing有状态的流处理，包括流、状态、事件时间; 2.core api核心api，包括DataSet和Data...
Flink实战教程从入门到精通（基础篇）（一）Flink简介
最新发布
majunssz的博客
03-19 1781
Flink的核心目标，是数据流上的有状态计算。具体说明：Apache Flink是一个框架和分布式处理引擎，用于对无界和有界的数据流进行有状态的计算。Flink计算模型流式计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活（窗口必须是批次的整数倍）状态有没有流式SQL有没有。
我说flink基本概念task、sub task、operator chain
epitomizelu的专栏
06-04 864
一，operator 算子 把operator翻译成算子，真是没谁了，众口铄金，大家现在都这样叫了。 operator代表对数据的各种操作，包括从数据源获取数据，把计算结果输出到存储，以及从获取数据到输出数据的过程中对数据的各种处理。 按照官方的说法，算子分为source/transformation/sink三种，source和sink都比较简单，重点要掌握的是transformation。 transformation根据算子的功能可以分为四类：普通算子、分组算子(keyby/group by)、流拆.
Flink Streaming Dataflow
YYDS_emmm的博客
08-24 653
Flink Streaming Dataflow 概念解释 Dataflow:Flink 程序在执行的时候会被映射成一个数据流模型 Operator: 数 据 流 模 型 中 的 每 一 个 操 作 被 称 作 Operator,Operator 分 为:Source/Transform/Sink Partition:数据流模型是分布式的和并行的,执行中会形成 1~n 个分区 - Subtask:多个分区任务可以并行,每一个都是独立运行在一个线程中的,也 就是一个 Subtask 子任务 Paralle
Flink数据流编程模型（Dataflow Programming Model）
L
06-16 1642
抽象层次（Levels of Abstraction） Flink提供了不同层次的抽象来开发流/批处理（streaming/batch）应用程序。如下： 抽象级别从低到高依次是：Stateful Stream Processing —> DataStream/DataSet API —> Table API —> SQL。 （1）Stateful Stream Processing 它是整个抽象的最底层，通过过程函数（Process Fun...
Flink Task && SubTask
qq_41301707的博客
03-22 902
Flink Task && SubTask 1. 基本概念 Task(任务)：Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似
【白话Flink基础理论】Flink运行时(Runtime)架构（三）并行度&Task&SubTask&Slot&Flink中的并行剖析
橙心橙意橙续缘的博客
12-13 1539
——wirte by 橙心橙意橙续缘， 前言 白话系列 ———————————————————————————— 也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！ 白话Flink系列 ———————————————————————————— 主要是记录本人（国内某985研究生）在Flink基础理论阶段学习的一些所学，更重要的是一
Flink 《数据流编程模型》（Dataflow Programming Model Levels of Abstraction）
Mathieu66的博客
12-24 753
目录 1. 抽象层次(levels of abstraction) 2. 程序和数据流(programs and dataflows) 3. 并行数据流(parallel Dataflows) 4. 窗口(Window) 5. 时间(Time) 6. 有状态操作（stateful operations） 7. 容错的检查点（checkpoints for fault toleranc...
Flink 流处理概念：Dataflow编程、执行图、并行度、数据传输策略、任务链
凌桓丶的博客
02-14 4203
Flink 流处理概念：Dataflow编程、执行图、并行度、数据传输策略、任务链
深入解析 Flink 的算子链机制
Ververica的博客
11-11 2685
“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”Flink...
flink实战--数据流编程模型(Dataflow Programming Model)
zg_hover的专栏
01-23 979
概述 本文讲述flink的数据流编程模型，通过本文的讲述可以对flink的编程模型有一个清楚的认识，便于在编写flink程序时，进行选择使用。 另外，本文是一篇翻译文章，来自于flink的官方文档。见参考文献。 译者注：本文介绍了flink对外提供的不同层次的编程接口，和spark类似，flink对外提供了三种层次的编程接口：core API，Table API，SQL。 core API：提供...
Flink之Operator Chain
白色风车
05-24 194
Flink原理（三）——Task（任务）、Operator Chain（算子链）和Slot（资源）
Flink任务链Operator Chains
qq_43118086的博客
07-27 572
Flink 采用了一种称为任务链的优化技术，可以在特定条件下减少本地通信的开销。为了满足任务链的要求，必须将两个或多个算子设为相同的并行度，并通过本地转发（local forward）的方式进行连接，相同并行度的 one-to-one 操作，Flink 这样相连的算子链接在一起形成 一个task，原来的算子成为里面的 subtask，同而共享相同的slot。 任务链的手动配置 ①全部不合成任务链 env.disableOperatorChaining() ②单个算子不参与合成任务链 .disableCh
【Flink 基础篇】流处理基础概念（一）：Dataflow 编程基础、并行流处理
书山有路，学海无涯。记录成长，追逐梦想
01-21 2673
现实世界的系统、网络及通信信道往往充斥着缺陷，因此流数据通常都会有所延迟或者以乱序到达。了解如何在这种情况下提供精准确定的结果就变得至关重要。此外，处理实时事件的流处理应用还应以相同的方式处理历史事件，这样才能支持离线分析，甚至时间旅行式分析。当然，如果你的系统无法在故障时保护状态，那一切都是空谈。
【理解Flink必备(一)】Flink核心概念理解-- Dataflow Programming Model
Gavin_周的博客
04-20 1123
笔者根据官方文档原文进行翻译，水平有限，如有理解偏差，请及时联系笔者更正。 Flink Version:1.8.0 文章目录Levels of AbstractionPrograms and DataflowsParallel DataflowsWindowsTimeStateful OperationsCheckpoints for Fault ToleranceBatch on Streami...
【Flink】Flink 源码之OperatorChain
九师兄
01-16 581
1.概述 转载：Flink 源码之OperatorChain 前言 OperatorChain是Flink中一个很重要的优化措施，能够将尽可能多的满足条件的数据处理操作在一个slot中串联完成，从而最小化线程执行上下文切换和网络通信，提高流计算系统性能。 Flink判断哪些操作可以纳入同一个chain的逻辑位于JobGraph生成过程中，详情请参见：Flink 源码之JobGraph生成。 名词解释 StreamEdge：为StreamGraph拓扑图中的元素。StreamGraph由StreamNod.
【Flink网络数据传输】OperatorChain的设计与实现
hiliang521的博客
03-06 1380
【Flink网络数据传输】OperatorChain的设计与实现
DataFlow模型：Flink流计算深度解析
"Flink是阿里巴巴云团队推出的一种流计算技术，它基于Dataflow模型，旨在处理大规模无边界且乱序的数据。该模型注重在准确性、延迟和成本之间找到平衡，适用于实时数据处理需求。文章由Google的研究人员撰写并由郭...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值