Apache Flink学习笔记（4）Flink中的核心概念理解

最新推荐文章于 2024-03-25 17:07:30 发布

风向决定发行D

最新推荐文章于 2024-03-25 17:07:30 发布

阅读量307

点赞数

分类专栏： Flink

本文链接：https://blog.csdn.net/liutao43/article/details/115530698

版权

Flink 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

主要参考
http://wuchong.me/blog/2016/05/03/flink-internals-overview/
https://niyanchun.com/flink-quick-learning-graph.html
https://juejin.cn/post/6861119250241683464

启动之后的架构

要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。

在这里插入图片描述
当 Flink 集群启动后，首先会启动一个 JobManger (Dispatcher、ResourceManager 和JobMaster)和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执行，然后 TaskManager 将心跳和统计信息汇报给 JobManager。TaskManager 之间以流的形式进行数据的传输。上述三者均为独立的 JVM 进程。

大约的提交流程:

Client 为提交 Job 的客户端，可以是运行在任何机器上（与 JobManager 环境连通即可）。提交 Job 后，Client 可以结束进程（Streaming的任务），也可以不结束并等待结果返回。
JobManager 主要负责调度 Job 并协调 Task 做 checkpoint，职责上很像 Storm 的 Nimbus。从 Client 处接收到 Job 和 JAR 包等资源后，会生成优化后的执行计划，并以 Task 的单元调度到各个 TaskManager 去执行。
TaskManager 在启动的时候就设置好了槽位数（Slot），每个 slot 能启动一个 Task，Task 为线程。从 JobManager 处接收需要部署的 Task，部署启动后，与自己的上游建立 Netty 连接，接收数据并处理。

可以看到 Flink 的任务调度是多线程模型，并且不同Job/Task混合在一个 TaskManager 进程中。虽然这种方式可以有效提高 CPU 利用率，但是个人不太喜欢这种设计，因为不仅缺乏资源隔离机制，同时也不方便调试。类似 Storm 的进程模型，一个JVM 中只跑该 Job 的 Tasks 实际应用中更为合理。这里需要注意的是不同的Job/Task可能在一个TaskManager 进程中，但是不能在同一个slot中。和Storm还是很类似的，但是理解起来有点儿别扭。

Task & SubTask

TaskManagers 实际执行的是 SubTask，而不是 Task，这里解释一下两者的区别：

在执行分布式计算时，Flink 将可以链接的操作 (operators) 链接到一起，这就是 Task。之所以这样做，是为了减少线程间切换和缓冲而导致的开销，在降低延迟的同时可以提高整体的吞吐量。但不是所有的 operator 都可以被链接，如下 keyBy 等操作会导致网络 shuffle 和重分区，因此其就不能被链接，只能被单独作为一个 Task。简单来说，一个 Task 就是一个可以链接的最小的操作链 (Operator Chains) 。如下图，source 和 map 算子被链接到一块，因此整个作业就只有三个 Task：
在这里插入图片描述
解释完 Task ，我们在解释一下什么是 SubTask，其准确的翻译是： A subtask is one parallel slice of a task，即一个 Task 可以按照其并行度拆分为多个 SubTask。如上图，source & map 具有两个并行度，KeyBy 具有两个并行度，Sink 具有一个并行度，因此整个虽然只有 3 个 Task，但是却有 5 个 SubTask。Jobmanager 负责定义和拆分这些 SubTask，并将其交给 Taskmanagers 来执行，每个 SubTask 都是一个单独的线程。

总结：其实SubTask是某个Task并行度的一个，原则上是可以混用的，但一定要分清楚这两个概念。

并行度

在这里插入图片描述

并行度就是某个Task的个数，一般情况下，一个stream的并行度就是所有算子中最大的并行度。

TaskManager和Slot资源管理

TaskSlot是静态的概念，是指TaskManager的并发能力
在这里插入图片描述

Flink中的每一个TaskManager都是一个JVM进程，它可能会在独立的线程上执行一个或多个子任务
为了控制一个TaskManager能接收多少个task，TaskManager通过task slot来进行控制。（一个TaskManager至少有一个slot）

这时每个 SubTask 线程运行在一个独立的 TaskSlot，它们共享所属的 TaskManager 进程的TCP 连接（通过多路复用技术）和心跳信息 (heartbeat messages)，从而可以降低整体的性能开销。此时看似是最好的情况，但是每个操作需要的资源都是不尽相同的，这里假设该作业 keyBy 操作所需资源的数量比 Sink 多很多，那么此时 Sink 所在 Slot 的资源就没有得到有效的利用。

基于这个原因，Flink 允许多个 subtasks 共享 slots，即使它们是不同 tasks 的 subtasks，但只要它们来自同一个 Job 就可以。假设上面 souce & map 和 keyBy 的并行度调整为 6，而 Slot 的数量不变，此时情况如下：
在这里插入图片描述