Flink 什么情况下才会把 Operator chain 在一起形成算子链？

最新推荐文章于 2024-03-06 11:04:40 发布
最新推荐文章于 2024-03-06 11:04:40 发布
阅读量839 收藏
点赞数 1
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34635236/article/details/106477420
版权

两个 operator chain 在一起的的条件：

  • 上下游的并行度一致
  • 下游节点的入度为 1 （也就是说下游节点没有来自其他节点的输入）
  • 上下游节点都在同一个 slot group 中(Slot槽位共享)
  • 下游节点的 chain 策略为 ALWAYS（可以与上下游链接，map、flatmap、filter 等默认 是 ALWAYS）
  • 上游节点的 chain 策略为 ALWAYS 或 HEAD（只能与下游链接，不能与上游链接， Source 默认是 HEAD）
  • 两个节点间数据分区方式是 forward
  • 用户没有禁用chain
857技术社区
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
空0027
Direction_Wind的博客
12-07 390
27。
Flink实例（六十六）: Flink的任务链实操（二）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1029
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 Operator Chains(操作链) Flink出于分布式执行的目的，将operator的subtask链接在一起形成task（类似spark中的管道）。 每个task在一个线程中执行。 将operators链接成task是非常有效的优化：它可以减少线程与线程间的切换和数据缓冲的开销，并在降低延迟的同时提高整体吞吐量。 链接的行为可以在编程API中进行
深入解析 Flink 的算子链机制
Ververica的博客
11-11 2461
“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”Flink...
Flink的任务链
Accelerating的博客
08-09 1494
Flink的任务链Flink的任务链禁用全局任务链禁用局部任务链 Flink的任务链 Flink 中的每个算子都可以设置并行度，每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程，这会带来很多线程切换和数据交换的开销，进而影响吞吐量。 为了避免数据在网络或线程之间传输导致的开销，Flink 会在 JobGraph 阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个 T
Flink: 两个递归彻底搞懂operator chain
张普的专栏
02-29 3000
operator chain是指将满足一定条件的operator 链在一起，放在同一个task里面执行，是Flink任务优化的一种方式，在同一个task里面的operator的数据传输变...
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态 贝塔 操作员正在积极开发中，对于Beta版本，不能保证API的向后兼容性...
如何在 Apache Flink 中使用 Python API？
01-07
Apache Flink Python API 核心算子介绍及应用。 本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink PMC，阿里巴巴高级技术专家孙金城分享。 作者：孙金城（金竹），整理：韩非 如需转载请联系大数据...
Flink K8s Operator 解析与实践
01-25
Flink K8s Operator 解析与实践 Flink K8s Operator 是一种云原生应用，旨在承担管理、检测、监控 Flink 作业部署状况。通过使用 Flink K8s Operator，用户可以自动化 Flink 作业的部署、监控和管理， 无需关心内部...
什么是flink？怎么部署.pdf
最新发布
04-11
什么是flink？怎么部署.pdf
Flink FFA Apache Flink实时计算在美的多业务场景下的应用与实践
02-29
Flink FFA Apache Flink实时计算在美的多业务场景下的应用与实践
【Flink网络数据传输】OperatorChain的设计与实现
hiliang521的博客
03-06 1218
【Flink网络数据传输】OperatorChain的设计与实现
Flink如何让task不共享插槽，算子拒绝合并Operator Chains
旺旺的博客
05-05 2376
package com.lw.wc import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.con...
【Flink】Flink链化条件及源码分析
追赶者的博客
11-30 484
一：FLINK的链化优势 Flink 中的每个算子都可以设置并行度，每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程，这会带来很多线程切换和数据交换的开销，进而影响吞吐量。为了避免数据在网络或线程之间传输导致的开销，Flink 会在 JobGraph 阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个 Task 中执行。 二：链化的API层操作 ...
【Flink 实战系列】Flink pipeline.operator-chaining 参数使用以及源码解析
JasonLee实时计算
08-28 2317
当我们使用 Flink SQL 提交一个任务，没有给算子单独设置并行度的情况下，默认所有的算子会 chain 在一起，像下面的这样：此时，整个 DAG 图只会显示一个算子，虽然这样有利于数据的传输，可以提高任务的性能，但是缺点也很明显，我们无法看到数据的输入和输出，以及反压相关的 metrics。那在 datastream api 开发的任务中我们可以使用 disableChaining 方法来打断 operatorChain，但是在 SQL 开发的任务中怎么办呢？如果我们想要查看每一个算子的输入和输出的数
flink TskManger与Slots
oracle8090的博客
01-27 561
Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的sub
Flink并行度和算子链以及数据图执行图
weixin_40659514的博客
10-28 2313
flink并行度
从0到1Flink的成长之路- Flink 原理探析接着干
熊老二的博客
07-24 119
Transport Pattern Stream（流）可以在2个Operator之间传输数据，有两种不同Parttern（模式）传输： One-to-One streams：一对一，前一个Operator中一个SubTask将数据传输给后一个 Operator中1个SubTask。类似Spark RDD中窄依赖，父RDD1个分区数据给子RDD1个分区。 Redistributing streams：重分配，前一个Operator中一个SubTask将数据给后一个Operator 中多个SubTask。类似
理解Flink并行处理
a6700195的博客
04-14 1416
理解Flink并行处理 ··························· 分布式计算中，Flink 将算子（operator）的 subtask *链接（chain）*成 task【类似于Spark中的Stage阶段】。每个 task 由一个线程执行。把算子链接成 tasks 能够减少线程间切换和缓冲的开销，在降低延迟的同时提高了整体吞吐量。 当前的flink应用由3个Task，5个SubT...
Flink-flink原理解读
qq_30868737的博客
01-28 1204
1 Task和subtask 1.1 概念 Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似于 Spark 中的
flink算子的uid有什么用？怎么设置算子的uid？只需要给有状态的算子设置uid吗？哪些是有状态的算子
05-25
Flink算子的UID（Unique Identifier）是为了在Flink应用程序中唯一标识算子，以便在后续的版本升级或者重构中，Flink能够正确地将数据流图映射到新的算子上。UID还是Flink的故障转移机制的核心，当程序出现故障时，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值