flink中的计算资源

最新推荐文章于 2023-11-16 15:28:48 发布

哥伦布112

最新推荐文章于 2023-11-16 15:28:48 发布

阅读量914

点赞数

分类专栏： flink 文章标签： flink

本文链接：https://blog.csdn.net/u013939918/article/details/105569766

版权

本文详细介绍了Flink中的计算资源，包括Flink Graph（DAG）、Flink job、Operator chains和Task Slot。Operator chains是Flink优化的一部分，通过将满足条件的operator链接在一起形成task，减少数据传输消耗。Task Slot作为Flink资源的单位，代表TaskManager的一个资源子集，允许多个subTask共享一个slot，提高资源利用率。

摘要由CSDN通过智能技术生成

一、Flink Graph（DAG）

在Flink中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。

StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。
JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
ExecutionGraph：JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。
物理执行图：JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的“图”，并不是一个具体的数据结构。

二、Flink job

Job:作业，类似Storm中的Topology，同样对应着Flink中的一层层的图，从StreamGraph --> JobGraph --> ExecutionGraph --> 物理执行图。
Task：类似于Storm中的Bolt，为了拓扑更高效地运行，Flink提出了Chaining，尽可能地将operators chain在一起作为一个task来处理。对应于JobGraph中的JobVertex。
operator：算子，对应于StreamGraph中的StreamNode。