1、并行度:
对于一个Flink任务是有Source、Transformation和Sink等任务组成,一个任务由多个并行实例来执行,一个任务的并行实例数目被称为该任务的并行度。
2、TaskManager和Solt
Flink是一个分布式流处理框架,它基于TaskManager和Slot来实现任务的执行。TaskManager是Flink中负责运行任务的工作进程,而Slot是TaskManager中可用的资源。

TaskManager在Flink集群中分布式运行,每个TaskManager可以运行多个Slot。Slot是TaskManager中的资源分配单位,每个Slot可以运行一个Flink任务。TaskManager会根据需要动态分配Slot,以满足任务执行的需求。
3、共享资源槽:
1、 对于一个Task solt负责执行一个task这种部署方式来说,产生的问题是资源的浪费,此时Flink就有就共享资源槽。
2、共享资源槽:Flink并不是将task合并,而是上游的task和下游的task可以共享一个槽位,所以Flink需要使用多少资源和task的数量没有关系,而是和节点的最大并行度有关系,因为有几个并行度就需要几个槽位。


本文介绍了ApacheFlink中并行度的概念,TaskManager和Slot的作用,以及如何通过不同级别设置并行度以优化资源利用。共享资源槽解决了资源浪费问题,任务所需的资源与并行度而非任务数量关联。设置并行度对数据吞吐量有影响。
最低0.47元/天 解锁文章
4万+

被折叠的 条评论
为什么被折叠?



