Flink04---Flink是怎么运行任务的

1.Flink框架拥有的组件

  1. JobManager(作业管理器)
    申请资源、提交作业
  2. TaskManager(任务管理器)
    提供资源、执行任务
  3. ResourceManager(资源管理器)
    请求资源,分配资源
  4. Dispacher(分发器)
    接收作业,分配作业

2.JobManager

1.作用:控制一个应用程序执行的主进程,其中应用程序有作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库。
2.工作:将JobGraph转换成执行图、向资源管理器请求执行任务必要的资源(slot插槽)、将执行图分发到TaskManager上、协调检查点等。

3.TaskManager

  1. 作用:它是Flink中的工作进程,每个都包含了一定数量的插槽。插槽是Flink中定义的处理资源单元。
  2. 工作:向资源管理器注册它的插槽(报告资源数量),提高插槽给JobManager调用、与运行同一应用程序的TaskManager交换数据。

4.ResoureManager

  1. 作用:管理TaskManager中的插槽。
  2. 工作:将有空闲插槽的TaskManager分配给JonManager,在满足不了JobManager请求时,向资源平台发起会话,提供启动TaskManager进程的容器。如果是standalone只能原地转圈圈等待着资源的释放。

5.Dispacher

  1. 作用:给应用提交提供接口。
  2. 工作:将提交的应用程序分配给一个JobManager。

6.任务执行流程

图片来源于尚硅谷Flink教学视频
任务执行流程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值