Flink 运行架构介绍

一 、Flink 运行时的组件

作业管理器(JobManager)
• 控制一个应用程序执行的主进程,也就是说,每个应用程序都会被一个不同的
JobManager 所控制执行。
• JobManager 会先接收到要执行的应用程序,这个应用程序会包括:作业图
(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、
库和其它资源的JAR包。
• JobManager 会把JobGraph转换成一个物理层面的数据流图,这个图被叫做
“执行图”(ExecutionGraph),包含了所有可以并发执行的任务。
• JobManager 会向资源管理器(ResourceManager)请求执行任务必要的资源,
也就是任务管理器(TaskManager)上的插槽(slot)。一旦它获取到了足够的
资源,就会将执行图分发到真正运行它们的TaskManager上。而在运行过程中,
JobManager会负责所有需要中央协调的操作,比如说检查点(checkpoints)
的协调。

任务管理器(TaskManager)
• Flink中的工作进程。通常在Flink中会有多个TaskManager运行,每一
个TaskManager都包含了一定数量的插槽(slots)。插槽的数量限制
了TaskManager能够执行的任务数量。
• 启动之后,TaskManager会向资源管理器注册它的插槽;收到资源管理
器的指令后,TaskManager就会将一个或者多个插槽提供给
JobManager调用。JobManager就可以向插槽分配任务(tasks)来
执行了。
• 在执行过程中,一个TaskManager可以跟其它运行同一应用程序的
TaskManager交换数据

资源管理器(ResourceManager)
• 主要负责管理任务管理器(TaskManager)的插槽(slot),
TaskManger 插槽是Flink中定义的处理资源单元。
• Flink为不同的环境和资源管理工具提供了不同资源管理器,比如YARN、
Mesos、K8s,以及standalone部署。
• 当JobManager申请插槽资源时,ResourceManager会将有空闲插槽
的TaskManager分配给JobManager。如果ResourceManager没有足
够的插槽来满足JobManager的请求,它还可以向资源提供平台发起会
话,以提供启动TaskManager进程的容器。

分发器(Dispatcher)
• 可以跨作业运行,它为应用提交提供了REST接口。
• 当一个应用被提交执行时,分发器就会启动并将应用移交给一个
JobManager。
• Dispatcher也会启动一个Web UI,用来方便地展示和监控作业
执行的信息。
• Dispatcher在架构中可能并不是必需的,这取决于应用提交运行
的方式。


二、任务提交流程


三、任务调度原理

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值