Flink-Task、SubTask、并行度

最新推荐文章于 2024-06-10 14:41:36 发布
最新推荐文章于 2024-06-10 14:41:36 发布
阅读量1k 收藏 2
点赞数
分类专栏： 大数据基础 实时数仓 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ldc2013/article/details/119294049
版权

Task与SubTask

一个算子就是一个Task. 一个算子的并行度是几, 这个Task就有几个SubTask

对应关系：

算子=Task

并行度=SubTask

task是抽象概念，subtask是物力概念

Parallelism并行度

默认并行度--cpu核数

关键点

不同的并行度（subtask），肯定在不同的slot，但也可能在不同的taskmanager

一个流程序的并行度，可以认为就是其所有算子中算子并行度最大的并行度

最低0.47元/天 解锁文章
高清靓仔
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink 中 slot ，task，并行度的概念以及与CPU，内存的关系
ChengYanan的博客
02-04 1万+
我们在学习Flink时，经常会听到 task，slot，线程以及并行度这几个概念，对于初学者来说，这几个概念关系以及它们与系统内存，CPU之间的关系经常搞不清楚，下面我们就通过这篇文章来弄清楚这些概念与关系。 并行度 特定算子的子任务（subtask）的个数称之为并行度（parallel），一般情况下，一个数据流的并行度可以认为是其所有算子中最大的并行度。Flink中每个算子都可以在代码中通过.setParallelism(n)来重新设置并行度。而并行执行的subtask要发布到不同的slot中去执行。 T
Flink的Task与SubTask理解
lihuazaizheli的博客
12-09 3400
文章目录官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.html
Flink中jobmanager、taskmanager、slot、task、subtask、Parallelism的概念
最新发布
xsfqh的专栏
06-10 45
Flink中jobmanager、taskmanager、slot、task、subtask、Parallelism含义
Flink Task && SubTask
qq_41301707的博客
03-22 712
Flink Task && SubTask 1. 基本概念 Task(任务)：Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似
Flink Task、Sub-Task、task slot和parallelism
chanyue123的博客
06-13 1312
flink task subtask slot相关概念解释
Flink task和subTask
我的祖传代码
05-31 4082
概念： Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似于 Spark 中的 Pipeline。 Slot(插槽)：F
Flink Chain任务链分隔
jast
07-06 1230
由于共享slot的存在，当一个任务链的计算量特别庞大时，且只在一个slot上执行，对于slot的压力过大，需要拆开。1）disableChaining：如果对一个算子使用了disableChaining（取消任务链），那么该算子就会与前后算子隔离开，不参与任务链的组合，独用一个slot。2）startNewChain：如果一个任务链只是过于庞大，但是算子之间的操作简单，仅想拆开为2个任务链，并且参与任务链组合，就需要对算子使用startNewChain(开启一个新的任务链)，意思就是之前该怎么合并就怎么合并
flink-1.13.6_cdc
07-07
部署这个系统时，用户需要配置Flink作业，设置源（MySQL CDC连接器）、处理逻辑和sink（Elasticsearch连接器），同时确保所有依赖项已正确添加，并根据需求调整性能参数，如并行度、缓冲区大小等。在实际应用中，这...
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
05-21
标题和描述中提到的"flink-1.19.0-bin-scala-2.12.tgz"和"flink-1.16.3-bin-scala-2.12.tgz"是Apache Flink的两个不同版本的二进制发行版。Flink是一个开源的流处理和批处理框架，它提供了低延迟、高吞吐量的数据...
flink-1.14.0-bin-scala_2.11.tgz
07-18
- 性能增强：通过并行度自动调整和内存管理优化，提高了处理速度和资源利用率。 - SQL 支持：增强 SQL API，支持更多 SQL 功能，简化开发流程。 - 容错机制：改进了 JobManager 的高可用性，降低了故障恢复时间。 ...
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **性能优化**：此版本可能包含性能提升，如更快的序列化、内存管理和并行度调整。 - **状态管理**：改进了对大型状态的处理和备份，确保数据一致性。 - **容错机制**：Flink的Exactly-once语义在1.16.2中可能...
Flink 资源包 flink-1.15.0-bin-scala_2.12.tgz flink-connector-elasti
07-01
flink-sql-connector-mysql-cdc-2.2.1.jar flink-connector-elasticsearch7-1.15.0.jar flink-1.15.0-bin-scala_2.12.tgz
Flink Task划分策略（任务链优化技术）
weixin_44844089的博客
05-19 1711
https://blog.csdn.net/weixin_43303297/article/details/104963306
Flink任务链Operator Chains
qq_43118086的博客
07-27 506
Flink 采用了一种称为任务链的优化技术，可以在特定条件下减少本地通信的开销。为了满足任务链的要求，必须将两个或多个算子设为相同的并行度，并通过本地转发（local forward）的方式进行连接，相同并行度的 one-to-one 操作，Flink 这样相连的算子链接在一起形成 一个task，原来的算子成为里面的 subtask，同而共享相同的slot。 任务链的手动配置 ①全部不合成任务链 env.disableOperatorChaining() ②单个算子不参与合成任务链 .disableCh
Flink中如何判断需要几个slot以及任务链的划分
大数据进阶之路
06-04 1870
Flink中如何判断需要几个slot以及任务链的划分 1. 设置全局的并发 object Flink01_WordCount_Chain_Scala { def main(args: Array[String]): Unit = { // 1.创建执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment // 设置并行度 env.setPara
Flink TaskSlot与并行度
热门推荐
胖虎儿的博客
05-18 1万+
为什么设置了并行度后程序启动失败？taskSlot与并行度究竟有什么不可告人的秘密关系？
Flink 任务链 共享组 总结
weixin_42227386的博客
11-04 659
任务链以及共享组1.默认情况下：所有算子都是同一个共享组，开启了任务链合并任务所需的slot数量：最大并行度任务链的个数：宽依赖 、并行度2.给算子独立设置了共享组：开启了任务链的合并任务所需的Slot数量：每个共享组中最大的并行度的和任务链的个数：宽依赖 、并行度 、共享组3.全局设置禁用任务链同一个共享组任务所需的slot数量：最大并行度任务链的个数：算子的个数4.给某个算子开启新的任务链同一个共享组。
flink 并行度 任务链 task分配
qq_34897849的博客
01-11 4354
Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个 subtask 为了控制一个 TaskManager 能接收多少个 task， TaskManager 通过 task slot 来进行控制（一个 TaskManager 至少有一个 slot） slot 主要隔离内存，cpu 是slot之间共享的。也就是说4核的机器 ，内存足够，可以把s...
flink Task并行度
05-10
Flink 中的 Task 并行度是指在 Flink 作业中一个算子（Operator）并行执行的实例数。在 Flink 中，每个算子都会分成多个 Task，每个 Task 都会并行执行，从而提高作业的整体并行度和执行效率。 Task 并行度的设置可以通过两种方式来实现： 1. 在代码中通过 `setParallelism()` 方法来设置，例如： ```java DataStreamSource<String> source = env.socketTextStream("localhost", 9999); DataStream<String> result = source .flatMap(new WordCount.FlatMapFunction()) .keyBy(value -> value) .sum(1) .setParallelism(2); ``` 在上述代码中，`setParallelism(2)` 表示将 `sum()` 算子的并行度设置为 2。 2. 在配置文件中通过 `parallelism.default` 参数来设置全局默认并行度，例如： ```properties parallelism.default: 4 ``` 在上述配置中，表示将 Flink 作业中所有的算子并行度默认设置为 4。 需要注意的是，设置并行度过高可能会导致资源的浪费，而设置过低则可能会导致数据倾斜和任务执行时间过长。因此，需要根据具体情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值