10、Flink的运行架构


一、Flink的架构

Flink运行时由两种类型的进程组成:一个JobManager和一个或者多个TaskManager,采用了典型的Master-Slave架构,如下图:
在这里插入图片描述
作业管理器JobManager只负责调度,不负责运行。
任务管理器TaskMananger负责执行程序。

二、Flink运行时的组件

Flink 运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager),以及分发器(Dispatcher)。因为 Flink 是用 Java 和 Scala 实现的,所以所有组件都会运行在 Java 虚拟机(JVMs)上。

1.作业管理器(JobManager)

1)控制一个应用程序执行的主进程,也就是说每一个应用程序都会被一个不同的JobManager所控制
2)JobManager会先接收到要执行的应用程序,这个应用程序会包括:作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库和其他资源的JAR包。
3)JobManager会把JobGraph转换成一个物理层面的数据流图,这个图被叫做“执行图”(ExecutionGraph),包含了所有可以并发执行的任务。
4)JobManager会向资源管理器(ResourceManager)请求执行任务必要的资源,也就是任务管理器(TaskManager)上的插槽(slot)。一旦它获取到了足够的资源,就会将执行图分发到真正运行它们的TaskManager上。而在运行过程中,作业管理器会负责所有需要中央协调的操作,比如说检查点(checkpoints)的协调。

2.任务管理器(TaskManager)

1)Flink中的工作进程(是一个JVM进程,里面可以有多个线程,线程数量由slot数量决定)。通常在Flink中会有多个TaskManager运行,每一个TaskManager都包含了一定数量的插槽(slots)。插槽的数量限制了TaskManager能够执行的任务数量。
2)启动之后,TaskManager会向资源管理器注册它的插槽,收到资源管理器的指令后,TaskManager就会将一个或者多个插槽提供给JobManager调用。JobManager就可以向插槽分配任务(tasks)来执行了。(TaskManager向资源管理器说明自己插槽的可用情况,在JobManager向资源管理器请求资源即插槽的时候,直接就可以看到哪个TaskManager有空闲的插槽,那么就可以分配任务给这些TaskManager了
3)在执行过程中,一个TaskManager可以跟其它运行同一应用程序的TaskManager交换数据。(一个任务执行完之后,就要将数据发送到下一个任务里,下一个任务可能在一个TaskManager里的不同插槽上,也可能在别的TaskManeger上

3.资源管理器(ResourceManager)

1)主要负责管理任务管理器(TaskManager)的插槽(slot),TaskManager插槽是Flink中定义的处理资源单元。
2)Flink为不同的环境和资源管理工具提供了不同资源管理器,比如Yarn、Mesos、K8s,以及standlone部署。
3)当JobManager申请插槽资源时,ResourceManager会将有空闲插槽的TaskManager分配给JobManager。如果ResourceManager没有足够的插槽来满足JobManager的请求,它还可以向资源提供平台发起会话,以提供TaskManager进程的容器(如果是standlone这种没有资源管理平台的环境只能一直转圈,不能申请了,也一直无法执行)。

4.分发器(Dispatcher)

1)可以跨作业运行,它为应用提交提供了REST接口。
2)当一个应用被提交执行时,分发器就会启动并将应用移交给一个JobManager。(就是一个桥梁的作用)
3)Dispatcher也会启动一个Web UI,用来方便地展示和监控作业执行的信息。
4)Dispatcher在架构中可能并不是必需的,这取决于应用提交运行的方式。

三、Flink任务提交流程

在这里插入图片描述
要提交应用,首先提交给分发器Dispatcher,分发器启动一个JobManager然后直接把应用转接给它,JobManager知道需要多少slots,于是向资源管理器ResourceManager发起请求,请求slots,资源管理器收到请求后,去启动TaskManager(如果没有资源管理平台,TaskManager是本来就启动的;有资源管理平台时,要用资源采取启动TaskManager),TaskManager向资源管理器注册自己可用的slot,TaskManager找到能够提供所需slot的TaskManager,发起提供slot的指令。收到指令的TaskManager向JobManager提供slots,JobManager提交要在slots中执行的任务。
上面是从一个较为高层级的视角,来看应用中各组件的交互协作。如果部署的集群环境不同,例如(YARN,Mesos,Kubernetes,standalone等),其中一些步骤可以被省略,或是有些组件会运行在同一个JVM进程中,例如下面将Flink集群部署到YARN上,那么就会有如下的提交流程:
在这里插入图片描述
Flink提交任务后,Client向HDFS上传Flink的Jar包和配置,之后向Yarn的ResourceManager提交任务,ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster,ApplicationMaster启动后加载Flink的Jar包和配置构建环境,然后启动JobManager,之后ApplicationMaster向ResourceManager申请资源启动TaskManager,ResourceManager分配Container资源后,由ApplicationMaster通知资源所在节点的NodeManager启动TaskManager,NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager,TaskManager启动后向JobManager发送心跳包,并等待JobManager向其分配任务。

四、Flink任务调度原理

在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值