Flink任务调度原理之TaskManager 与Slots

最新推荐文章于 2024-02-26 10:30:00 发布

叁木-Neil

最新推荐文章于 2024-02-26 10:30:00 发布

阅读量1.2w

点赞数 7

分类专栏： Flink 文章标签： flink TaskManager Slots

本文链接：https://blog.csdn.net/qq_39657909/article/details/105823127

版权

17 篇文章 14 订阅

订阅专栏

TaskManager 与Slots

上文讲到了每一个worker(TaskManager)为了控制能接收多少个task,worker通过task slot来进行控制（一个worker至少有一个task slot）,那么是怎么处理的呢？话不多说先上图
在这里插入图片描述
总：

Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个 subtask
为了控制一个 TaskManager 能接收多少个 task， TaskManager 通过 task slot 来进行控制（一个 TaskManager 至少有一个 slot）
每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot(注：这里不会涉及CPU的隔离，slot仅仅用来隔离task的受管理内存)
可以通过调整task slot的数量去自定义subtask之间的隔离方式。如一个TaskManager一个slot时，那么每个task group运行在独立的JVM中。而当一个TaskManager多个slot时，多个subtask可以共同享有一个JVM,而在同一个JVM进程中的task将共享TCP连接和心跳消息，也可能共享数据集和数据结构，从而减少每个task的负载。

在这里插入图片描述

默认情况下，Flink 允许子任务共享 slot，即使它们是不同任务的子任务（前提是它们来自同一个job）。这样的结果是，一个 slot 可以保存作业的整个管道。
Task Slot 是静态的概念，是指 TaskManager 具有的并发执行能力，可以通过参数taskmanager.numberOfTaskSlots进行配置；而并行度parallelism是动态概念，即TaskManager运行程序时实际使用的并发能力，可以通过参数parallelism.default进行配置。
举例：如果总共有3个TaskManager,每一个TaskManager中分配了3个TaskSlot,也就是每个TaskManager可以接收3个task,这样我们总共可以接收9个TaskSot。但是如果我们设置parallelism.default=1，那么当程序运行时9个TaskSlot将只有1个运行，8个都会处于空闲状态，所以要学会合理设置并行度！具体图解如下：

关注