02-flink基本架构

02-flink基本架构

flink基本组件栈

在这里插入图片描述

API&Libraries

​ 同时提供了流计算和批计算的接口,同时在此基础上抽象出不同的应用类型的组件库

Runtime核心层

​ 主要负责对上层不同接口提供基础服务,也是Flink分布式计算框架的核心实现层,支持分布式Stream的执行、jobGraph到ExecutionGraph的映射转换、任务调度等。将DataStream和DataSet转成统一的可以执行的Task Operator,达到流式引擎下同时处理批处理和流式计算的目的

物理部署层

​ flink的部署模式

flink基本架构

在这里插入图片描述

​ flink整个系统主要由两个组件组成,分别为JobManager和TaskManager,Flink结构也遵循Master-Slave架构设计原则,JobManager为Master节点,TashManager为Worker(Slave)节点。

​ 所有组件之间的通信是借助Akka Framework。

client

​ 客户端负责将任务提交到集群,与JobManager构建Akka连接,然后将任务提交到JobManager,通过和JobManager之间进行交互获取任务执行状态。

JobManager

​ 负责整个Flink集群任务的调度以及资源的管理,从客户端中获取提交的应用,然后根据集群中的TaskManager上TaskSlot的使用情况,为提交的应用分配相应的TaskSlots资源并命令TaskManager启动从客户端中获取的应用。

TaskManager

​ 客户端将通过编写好的flink应用编译打包,提交到jobManager,然后JobManager会根据已经注册在JobManager中的TaskManager的资源情况,将任务分配给有资源的TaskManger节点,然后启动并运行任务。

​ flink的任务运行其实是采用多线程的方式,这和MapReduce多JVM进程的方式有很大区别;flink能够极大提高CPU使用率,在多个任务和task之间通过taskSlot方式共享系统资源,每个TaskManager中通过管理多个TaskSlot资源池进行对资源有效管理。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值