![213993e417f6e17f5f4e5bd40f9fb419.png](https://i-blog.csdnimg.cn/blog_migrate/920557fc672a6a2a82aa1dde2b988ca1.jpeg)
Flink 做为第三代实时计算引擎以其独特的优势已经被广泛使用,它的实时计算能力确实值得称赞,本文先从基础架构与资源管理方面对其图文梳理,后续会逐渐深入了解并做部分实际应用。
1 基础架构
无论是从集群模式还是内部角色划分来看Flink 与 Spark 都比较类似,Spark 我们比较熟悉,可以对照 Spark 进行同步学习:
1.1集群模式
Flink 的集群模式也是分为 Local 、Standalone、Yarn 这三种。Flink 集群搭建非常简单,只需要下载安装包解压即可。
Yarn 模式不用做任何配置,只需要导入一个依赖包 :
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
即可运行在Yarn上,比 Spark On Yarn 还要简单,堪称零配置。
当然实际中比较常用的还是 Yarn 模式。而在调试过程中 Local 模式比较常用, Flink Local 模式还自带了 WebUI,只要引入以下依赖:
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-runtime-web_2.11</artifactId>
<version>1.9.0</version>
</dependency>
啥也不用配置就能看见 Flink 的管理页面了,简直太方便了:
![cb82b002fe42064387070c8f478fe22f.png](https://i-blog.csdnimg.cn/blog_migrate/5d5c3dcbc4d6e26b5087c1fafc642560.jpeg)
1.2 角色划分
Flink 跟 Spark 类似也是主从架构,分为 JobManager (JM) 和 TaskManager (TM)。
JM 对应 Spark 的 Master 角色,作为资源的统一分配的管理者;
TM 对应 Spark 的 Slave 角色,作为具体任务执行和对应任务在每个节点上的资源管理,TM 上会执行具体的任务。
2 资源管理
资源管理我们着重看下 Flink On Yarn 的资源调度方式,与其他运行在 Yarn 上的任务类似,简单流程图:
![b7c46ac15213b1f1ba15293fe37334eb.png](https://i-blog.csdnimg.cn/blog_migrate/6edf8a583f2ae9a7a927e9c40fe8095d.png)
当执行 Flink On Yarn 任务时:
1 执行客户端 首先将执行所需要的 jar 包 和配置文件提交到 HDFS
2 提交完成后,客户端向 ResourceManager 申请任务资源并且申请 启动 AppMaster
3 Yarn Container 中启动AppMaster,并且启动 Flink 主节点 JobManager
4 JobManager 申请启动 TaskManager 执行具体任务
5 TM 执行具体任务,并向 JobManager 汇报进度
最后任务执行结束后申请注销资源。
2.1 Flink On Yarn 推荐方式
Flink On Yarn 模式有两种:
1 首先在 Yarn 上申请一套 Flink 集群资源,当有Flink 任务执行时运行在此套集群中,任务结束后,申请的Flink 集群仍然存在。(不推荐使用)
2 当提交 Flink 任务时才去 Yarn 上申请集群资源并运行任务,任务运行结束后,资源释放。(推荐使用)
2.2 并行度&Solt&Task
要想深入理解 Flink ,并行度、Solt、Task之间的关系必须整理清楚。
- 并行度,顾名思义就是任务并行的程度。
对于 Spark 而言,并行度可能不太好确定,Spark 并行度指的是各个 stage 的 Task 的数量,Task 的数量则需要分区数来确定,而分区数又要用到分区规则。
Flink 的并行度则是每个算子中自带的方法,比如 map、sum等算子,我们可以手动执行并行度。当然 Spark 也可以通过参数 spark.defalut.parallelism 来指定并行度。
Flink 并行度的设置方式有 4 种,分别是 算子层次、执行环境层次、客户端层次、系统层次,越往后优先级越低,一般算子层次用的比较多。
- Solt
Solt 其实就是 Cpu 核数,在 Flink 中 ,TM 会为集群提供 Solt ,一般情况下 Solt数就是每个 TM 节点的 cpu 核数。
- Task
Task 是实际执行任务的线程,这个和 Spark 中的 Task 概念类似。
三者的关系如图所示:
![0875945686525f357f5f4e57368c883f.png](https://i-blog.csdnimg.cn/blog_migrate/8ea34e41c6588ffbbb9c207c8cd891c5.jpeg)
- 一个 TaskManager 可以有多个 Solt
- 一个 Solt 只有一个 Task
- 一个Task 可以有多个算子
- Operator Chain
从图中我们可以看出,一个 Task 中其实是可以运行多个算子的,这是怎么回事呢?
这其实是 Flink 帮我们做的优化工作,当几个算子的并行度一致时,Flink 会将这几个算子合并为一个 Task 去执行,这种现象就叫做 Operator Chain 。
我们可以看到 Operator Chain 的前提就是算子的并行度一致,那么当并行度都一致时 Task 中数据传输方式是一对一的,所以就可以合并处理了。
Flink 中 Task 数据传输的方式:
a.一对一传输(forward strategy )
![605c9a7eb8f3a53b196c5eb8c52bea59.png](https://i-blog.csdnimg.cn/blog_migrate/672ed48c3e3cd0e2d5cd61b8fb7f9268.png)
- 一个 Task 的输出只发送给一个 Task作为输入
- 如果两个 Task 都在一个 JVM 中的话,那么就可以避免网络开销
b. shuffle方式传输(key based strategy)
![1876a9137728064b0cf3bf69f9443f09.png](https://i-blog.csdnimg.cn/blog_migrate/ec0b6fc5bab8b6149efa1217df232865.png)
- 数据需要按照某个属性(我们称为 key)进行分组(或者说分区)
- 相同 key 的数据需要传输给同一个 Task,在一个 Task中进行处理
c. 广播方式传输(broadcast strategy)
![39c5f1dc223ab09447c22c5395d556fd.png](https://i-blog.csdnimg.cn/blog_migrate/dd400f93473eb15e1d037a585bcdcb80.png)
d.随机传输 (random strategy)
![d057d615ee5ae9d5587898a7d6ca8b86.png](https://i-blog.csdnimg.cn/blog_migrate/719ffaefc283493964afc9111e442019.png)
以上我们了解了 Flink 的基础架构与资源管理方面的知识,后面更我们会深入的解析 Flink 状态、窗口等机制,可以看到 Flink 确实做了很多优化,相信 Flink 会越来越流行。
![7a6e2c2d607c5897bda517ebce452616.png](https://i-blog.csdnimg.cn/blog_migrate/f5052d7b4d63930da7943c1e222e48e8.png)