Flink任务链Operator Chains

最新推荐文章于 2023-12-03 21:14:55 发布
最新推荐文章于 2023-12-03 21:14:55 发布
阅读量502 收藏 3
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43118086/article/details/119139321
版权

Flink 采用了一种称为任务链的优化技术，可以在特定条件下减少本地通信的开销。为了满足任务链的要求，必须将两个或多个算子设为相同的并行度，并通过本地转发（local forward）的方式进行连接，相同并行度的 one-to-one 操作，Flink 这样相连的算子链接在一起形成 一个task，原来的算子成为里面的 subtask，同而共享相同的slot。
在这里插入图片描述
任务链的手动配置
①全部不合成任务链
env.disableOperatorChaining()

在这里插入图片描述
②单个算子不参与合成任务链
.disableChaining()

在这里插入图片描述
③从单个算子开启一个新的任务链
.startNewChain()

在这里插入图片描述

Dylan ZhaoHT
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink大数据实时计算系列-Flink的Operator Chains的优化机制
段智华的博客
06-07 326
Flink大数据实时计算系列-Flink的Operator Chains的优化机制 目录 Flink改变并行度并行度改为3并行度改为2Flink Operator ChainsFlink group组Flink 设置chain策略全局禁用算子合并策略。局部禁止算子合并策略startNewChain策略Flink系列博客 Flink改变并行度 Forward：数据单向发送，算子可以合并在一起 并行度改为3 并行度改为3，显示为4个算子 }).setParallelism(2);
Flink Task划分策略（任务链优化技术）
weixin_44844089的博客
05-19 1709
https://blog.csdn.net/weixin_43303297/article/details/104963306
Flink-Task、SubTask、并行度
ldc2013的博客
08-01 1026
Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系： 算子=Task 并行度=SubTask task是抽象概念，subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度（subtask），肯定在不同的slot，但也可能在不同的taskmanager 一个流程序的并行度，可以认为就是其所有算子中算子并行度最大的并行度 数据传输模式： One-to-one：.
flink 并行度 任务链 task分配
qq_34897849的博客
01-11 4344
Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个 subtask 为了控制一个 TaskManager 能接收多少个 task， TaskManager 通过 task slot 来进行控制（一个 TaskManager 至少有一个 slot） slot 主要隔离内存，cpu 是slot之间共享的。也就是说4核的机器 ，内存足够，可以把s...
Fink--3、Flink运行时架构（并行度、算子链、任务槽、作业提交流程）
星光不问赶路人，岁月不负有心人
09-22 515
Flink运行时架构（并行度、算子链、任务槽、作业提交流程）
Flink组件解析
CH_Axiaobai的博客
07-15 955
1.什么是flink？ Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有 状态计算。 Flink 能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供 了丰富的时间类型和窗口计算、Exactly-once 语义支持，另外还可以进行状态管理，并提供 了 CEP（复杂事件处理）的支持。 2.Flink 的重要特点？ 事件驱动 事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并 根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以 k
Flink基础原理知识（程序、数据流、数据传输、任务链）
MLwodejia的博客
12-23 989
Flink运行架构程序数据流执行图数据传输形式任务链 程序 所有的Flink程序由三部分组成：Source、Transformation、Sink Source：读取数据源；Transformation：利用各种算子加工处理；Sink：负责输出 数据流 在运行时，Flink上的运行程序会被映射为“逻辑数据流（dataflows）”，包含了三部分 每一个dataflows以一个或多个Sources开始以一个或多个Sink结束。dataflows类似于有向无环图 在大部分的情况下，程序的转换运算（Tran
【Flink系列三】数据流图和任务链计算方式
最新发布
qq_33592535的博客
12-03 1024
上文介绍了如何计算并行度和slot的数量，本文介绍Flink代码提交后，如何生成计算的DAG数据流图及task计算方式。
Flink的任务链
Accelerating的博客
08-09 1505
Flink的任务链Flink的任务链禁用全局任务链禁用局部任务链 Flink的任务链 Flink 中的每个算子都可以设置并行度，每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程，这会带来很多线程切换和数据交换的开销，进而影响吞吐量。 为了避免数据在网络或线程之间传输导致的开销，Flink 会在 JobGraph 阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个 T
Flink任务调度和执行流程
yangzhihua的专栏
06-18 926
第一阶段是全局调度，由ResourceManager负责，它根据资源的可用情况和当前Job的特点，将Job分配给不同的TaskManager，同时还需要考虑Task之间的数据依赖关系。第二阶段是局部调度，由TaskManager负责，它会在自己的本地资源中，将不同的子Task分配到不同的线程上执行。通过对Flink的任务调度和执行流程的详细分析，我们可以更好地了解Flink在实时数据处理中的运行机制，对于吸收和应用Flink技术都有一定的指导意义。本文将详细分析Flink的任务调度和执行流程。
flink slot分配、并行度、任务链
u011618288的博客
11-30 1902
并行度 并行数据流Flink程序本质上是并行和分布式的。在程序执行期间，一个流会生成一个或者多个stream partition，并且一个operator会生成一个或者多个operator subtask。operator的 subtask 彼此之间是独立的，分别在不同的线程里去执行并且可能分布在不同的机器上或者containers上。 operator的subtasks的数量等于该操作算子的并行度的数量。流的并行度有总是取决于产生它的操作算子的并行度决定的。同一个flink程序中的不同的operator
【Flink】【第四章】 运行时的相关概念
weixin_43589563的博客
01-12 421
概念有点多，有点乱，还待整理 1.slot TaskManager是实际干活的进程，是一个JVM进程实例； 为了控制一个TaskManager能接收多少个task， TaskManager通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。 资源slot化意味着一个subtask将不需要跟来自
Flink实例（六十六）: Flink的任务链实操（二）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1032
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 Operator Chains(操作链) Flink出于分布式执行的目的，将operator的subtask链接在一起形成task（类似spark中的管道）。 每个task在一个线程中执行。 将operators链接成task是非常有效的优化：它可以减少线程与线程间的切换和数据缓冲的开销，并在降低延迟的同时提高整体吞吐量。 链接的行为可以在编程API中进行
Flink-任务调度原理
qq_38304392的博客
06-01 645
任务调度图示 客户端不是运行时和程序执行的一部分，但它用于准备并发送dataflow(JobGraph)给Master(JobManager)，然后，客户端断开连接或者维持连接以等待接收计算结果。当Flink集群启动后，首先会启动一个JobManger和一个或多个的TaskManager。由Client提交任务给JobManager，JobManager再调度任务到各个TaskManage...
什么是Operator Chains（算子链）？
mischen520的博客
07-11 695
为了更高效地分布式执行，Flink会尽可能地将operator的subtask链接（chain）在一起形成task。每个task在一个线程中执行。将operators链接成task是非常有效的优化：它能减少线程之间的切换，减少消息的序列化/反序列化，减少数据在缓冲区的交换，减少了延迟的同时提高整体的吞吐量。这就是我们所说的算子链。 ...
Flink任务调度原理之并行度与任务链
叁木大数据
05-08 2027
一、并行度 上一篇已经讲到了DataFlow与执行图，细心的小伙伴应该会发现为什么有些算子生成执行图时是两个，有些是一个呢？如果你注意到了这些证明你是真的很闲！！！好了为了看得更加明显先上图： 上面所描述的的也就是并行度！！！ 1.1 什么是并行度 一个特定算子的 子任务（subtask）的个数被称之为其并行度（parallelism）。一般情况下，一个 stream 的并行度，可以认为就是其所有算子中最大的并行度。 1.2 详解并行度 JobGraph中展示了A算子并行度为4,C为2等等。而他在Task
Flink学习-分布式运行环境
天高地阔的专栏
02-07 272
目录 任务和算子链 Job Managers, Task Managers, Clients Task Slots and Resources State Backends Savepoints 任务和算子链 分布式计算中，Flink会将算子（operator） 的子task链式组成tasks，每个task由一个线程执行。把算子链化为tasks是一个非常好的优化：它减少了线程之间的通...
【Flink】Flink 源码之OperatorChain
九师兄
01-16 476
1.概述 转载：Flink 源码之OperatorChain 前言 OperatorChain是Flink中一个很重要的优化措施，能够将尽可能多的满足条件的数据处理操作在一个slot中串联完成，从而最小化线程执行上下文切换和网络通信，提高流计算系统性能。 Flink判断哪些操作可以纳入同一个chain的逻辑位于JobGraph生成过程中，详情请参见：Flink 源码之JobGraph生成。 名词解释 StreamEdge：为StreamGraph拓扑图中的元素。StreamGraph由StreamNod.
Flink 之 Dataflow、Task、subTask、Operator Chains、Slot 介绍
扛麻袋的少年的博客
02-10 5231
Flink学习笔记(十二)：1.概念 Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就...
flink形成任务链
08-19
为了避免线程切换和数据交换的开销，Flink会在JobGraph阶段将代码中可以优化的算子优化成一个算子链(Operator Chains)来执行。<span class="em">1</span><span class="em">2</span><span class="em">3 #### 引用[....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值