Flink——执行图、并行度、任务链

最新推荐文章于 2024-01-19 11:02:37 发布
最新推荐文章于 2024-01-19 11:02:37 发布
阅读量284 收藏 1
点赞数 1
分类专栏： Flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aying_seeyou/article/details/107346332
版权

执行图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

并行度

  • 什么是并行度？

  • 什么是stream 的最大并行度？
    👇
    在这里插入图片描述
    在这里插入图片描述

  • 算子的数据传输 2种形式？
    在这里插入图片描述

任务链

  • flink 的任务链？
  • 满足任务链的要求？
    👇
    在这里插入图片描述
    在这里插入图片描述
Aying_seeya
关注
专栏目录
【flink番外篇】11、Flink 并行度设置
alanchanchn的专栏
01-10 4万+
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。
Flink的任务链
Accelerating的博客
08-09 1591
Flink的任务链Flink的任务链禁用全局任务链禁用局部任务链 Flink的任务链 Flink 中的每个算子都可以设置并行度，每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程，这会带来很多线程切换和数据交换的开销，进而影响吞吐量。 为了避免数据在网络或线程之间传输导致的开销，Flink 会在 JobGraph 阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个 T
Flink任务链Operator Chains
qq_43118086的博客
07-27 532
Flink 采用了一种称为任务链的优化技术，可以在特定条件下减少本地通信的开销。为了满足任务链的要求，必须将两个或多个算子设为相同的并行度，并通过本地转发（local forward）的方式进行连接，相同并行度的 one-to-one 操作，Flink 这样相连的算子链接在一起形成 一个task，原来的算子成为里面的 subtask，同而共享相同的slot。 任务链的手动配置 ①全部不合成任务链 env.disableOperatorChaining() ②单个算子不参与合成任务链 .disableCh
flink 并行度 任务链 task分配
qq_34897849的博客
01-11 4450
Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个 subtask 为了控制一个 TaskManager 能接收多少个 task， TaskManager 通过 task slot 来进行控制（一个 TaskManager 至少有一个 slot） slot 主要隔离内存，cpu 是slot之间共享的。也就是说4核的机器 ，内存足够，可以把s...
Flink 并行度详解
杜海的博客
01-10 3289
TaskManager与Slot介绍 Flink的每个TaskManager为集群提供solt。 solt的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。 并行度(Parallel) 一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个...
【Flink-1.17-教程】-【三】Flink 运行架构、Flink 核心概念【并行度、算子链、任务槽】、Flink 作业提交流程
最新发布
weixin_53543905的博客
01-19 1484
1、提交 job，执行运行程序的脚本（flink run）后，会生启动一个客户端进程。 2、客户端进程中会解析一些参数，如：-c（全类名） 3、生成逻辑流图（StreamGraph），通过 Operator Chain 对算子优化后，生成作业流图（JobGraph） 4、对解析完成的参数进行封装，然后通过内部的 Actor 通信系统（基于 RPC）提交、或取消（flink cancel）、或更新，将任务发送给 JobManager。 5、JobManager 自身也会有一个 Actor 通信系统
Flink理论：并行度、槽位分配、任务与子任务
weixin_43466909的博客
04-01 1250
本文图片来源网络，侵删 并行度（ Parallelism） 一个特定算子的子任务（ subtask）的个数被称之为其并行度（ parallelism）。 一般情况下，一个 stream的并行度，可以认为就是其所有算子中最大的并行度。 TaskManager 和 Slots Flink 中每一个TaskManager都是一个JVM进程，它可能会在独立的线程上执行一个或多个子任务 为了控制一个TaskManager能接收多少个 task， TaskManager...
Flink并行度优先级_集群操作常用指令_运行组件_任务提交流程_数据流图变化过程
菜鸡逆袭的博客
01-13 1177
Flink运行组件 JobManager: 作业管理器, 负责作业管理 控制提交的 job 执行, JobManager 向 ResourceManager 请求 TaskManager 上的 slot, 获取到足够资源, 将该任务的执行图分发到运行的 TaskManager 上, 运行中, JobManager 负责所有需要中央协调的操作(例: checkpoints 协调, 存盘, 故障检测) TaskManager: 任务管理器, 负责干活 Flink 中会有多个 TaskManager 执行
【白话Flink基础理论】Flink运行时(Runtime)架构（三）并行度&Task&SubTask&Slot&Flink中的并行剖析
橙心橙意橙续缘的博客
12-13 1480
——wirte by 橙心橙意橙续缘， 前言 白话系列 ———————————————————————————— 也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！ 白话Flink系列 ———————————————————————————— 主要是记录本人（国内某985研究生）在Flink基础理论阶段学习的一些所学，更重要的是一
Flink 任务链 共享组 总结
weixin_42227386的博客
11-04 690
任务链以及共享组1.默认情况下：所有算子都是同一个共享组，开启了任务链合并任务所需的slot数量：最大并行度任务链的个数：宽依赖 、并行度2.给算子独立设置了共享组：开启了任务链的合并任务所需的Slot数量：每个共享组中最大的并行度的和任务链的个数：宽依赖 、并行度 、共享组3.全局设置禁用任务链同一个共享组任务所需的slot数量：最大并行度任务链的个数：算子的个数4.给某个算子开启新的任务链同一个共享组。
Flink执行原理
zxr0130的博客
10-19 593
1. Flink名词介绍 Dataflow：Flink程序在执行时会被Flink系统映射成数据流模型，这个数据流模型就叫Dataflow. 备注：Flink就是通过数据流模型对Operator进行优化。 Operator：数据流模型中的每个操作被乘坐Operator,Operator分为Source Operator、Transformation Operator、Sink Operator。 Partition：数据流模型是分布式和并行的，执行过程中会形成1—n个分区。 Subtask：多个分区任务可
Flink-Task、SubTask、并行度
ldc2013的博客
08-01 1080
Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系： 算子=Task 并行度=SubTask task是抽象概念，subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度（subtask），肯定在不同的slot，但也可能在不同的taskmanager 一个流程序的并行度，可以认为就是其所有算子中算子并行度最大的并行度 数据传输模式： One-to-one：.
Flink Chain任务链分隔
jast
07-06 1314
由于共享slot的存在，当一个任务链的计算量特别庞大时，且只在一个slot上执行，对于slot的压力过大，需要拆开。1）disableChaining：如果对一个算子使用了disableChaining（取消任务链），那么该算子就会与前后算子隔离开，不参与任务链的组合，独用一个slot。2）startNewChain：如果一个任务链只是过于庞大，但是算子之间的操作简单，仅想拆开为2个任务链，并且参与任务链组合，就需要对算子使用startNewChain(开启一个新的任务链)，意思就是之前该怎么合并就怎么合并
Flink Task划分策略（任务链优化技术）
weixin_44844089的博客
05-19 1833
https://blog.csdn.net/weixin_43303297/article/details/104963306
Flink基础原理知识（程序、数据流、数据传输、任务链）
MLwodejia的博客
12-23 1037
Flink运行架构程序数据流执行图数据传输形式任务链 程序 所有的Flink程序由三部分组成：Source、Transformation、Sink Source：读取数据源；Transformation：利用各种算子加工处理；Sink：负责输出 数据流 在运行时，Flink上的运行程序会被映射为“逻辑数据流（dataflows）”，包含了三部分 每一个dataflows以一个或多个Sources开始以一个或多个Sink结束。dataflows类似于有向无环图 在大部分的情况下，程序的转换运算（Tran
Flink系列：Flink中对算子、算子链、任务的定义和理解
NIO4444
05-31 2004
目录 算子 算子链 任务 扩展 下图是由五个并行线程执行的五个任务（算子链）: 算子 operator被翻译成算子，这真的没谁了！ 理解为运算方法更合理。任何事情说的人多了，也就成了真理。 Source、Sink也是一种算子（运算方法）。 算子链 多个算子组合在一起，形成算子链 任务 一个算子链可以组成一个task任务 扩展 Flink系列：常用算子一览表 . ...
Flink05---Flink中任务是怎么分配的？
A0ZBC的博客
03-23 1103
1.相关Flink术语 任何一个大数据框架都离不开大数据的一些专业术语，Flink也不例外，但每个框架也有自己的特点，独特的技术，使得Flink中也会有些自己术语，不先了解清楚的话很难对其原理和过程理解透彻。 并行度：一个特定算子的子任务的个数被称之为其并行度。 //给sum算子设置并行度 sum().setParallelism(2); 插槽（slot）：Flink中定义的处理资源单元，存在于TaskManager里面，插槽的数量限制了TaskManager能执行的任务数量，也可说成是线程数。 s
flink-2 task之间传输数据方式、操作链和任务槽
a3125504x的博客
09-17 1783
操作链和任务槽操作链任务链的关闭任务槽 操作链 操作链即任务链（不同场景下称呼不同）是将相关性很强的transformation操作绑定在一起，这样能够让转换过程中上下游的 Task 在同一个 Pipeline 中执行，进而避免因为数据在网络或者线程间传输导致的开销，提高整体的吞吐量和延迟。 如下图所示：将身处同一个TaskManager的key agg和sink绑定到一起。从而使原来的4个task变为2个task 任务链类似于spark中的管道，spark将同一分区、同一债依赖的task分配给一个tas
Fink--3、Flink运行时架构（并行度、算子链、任务槽、作业提交流程）
星光不问赶路人，岁月不负有心人
09-22 578
Flink运行时架构（并行度、算子链、任务槽、作业提交流程）
flink形成任务链
08-19
在Flink中，任务链(Task Chain)是将相关性非常强的转换操作绑定在一起，使得转换过程中上下游的Task在同一个Pipeline中执行，从而避免数据在网络或线程间传输导致的开销，提高整体的吞吐量和延迟。每个算子都可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值