Flink主从架构、任务和算子链

本文介绍了Flink的主从架构,强调了客户端、JobManager和TaskManager的角色及其通信方式。在任务和算子链部分,阐述了一个Task由Sub-Task组成,算子链能优化计算性能,减少线程切换成本,提高吞吐量。
摘要由CSDN通过智能技术生成

主从架构


图中客户端Client不是Flink运行时框架的一部分,而是用来准备和提交数据流作业的。
由图可知,当flink代码编译后,一般会经过优化处理,当flink程序通过客户端提交任务Job到JobManager主节点后,JobManager会用任务调度器进行调度,并分配到从节点TaskManager上执行。
Client、JobManager、TaskManager间通过Actor System实现通信,Actor是一种并发模型,其中基于Actor模型系统中的线程(或进程)通过消息传递的方式进行通信,而这些线程(或进程)称为Actor。
Client可以提交Job也可以根据情况取消、更新job,JobManager节点将状态信息(Status updates)、统计和结果信息发送给Client端,从而让客户端知道当前任务执行的情况。
Client、JobManager、TaskManager都是独立的JVM进程。

任务和算子链

一个Task一般由多个Sub-Task构成。每个子任务由一个线程执行。算子链可以对计算进行优化:

  • 减少线程间切换开销,提高计算速度
  • 减少延迟和提高吞吐量

    图中虚线框代表一个Task,其中可能只有一个
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值