[flink-008]分布式计算环境

(译改自https://ci.apache.org/projects/flink/flink-docs-release-1.8/concepts/runtime.html

在分布式环境下,flink把多个算子子任务operator subtask,chain链接成一个task。每个task由一个线程执行。

flink集群有两种角色:

JobManager,也叫master,管理计算环境,包括规划任务,同步检查点,处理错误恢复等,每个集群至少有一个master,HA时有多个master,其中一个是leader,其他的叫standby;

TaskManager,也叫worker,执行任务,存储和交换数据流,每个集群至少有一个worker。

flink client,不是集群的一部分,它是集群外的节点,主要作用是向集群提交任务,提交后可以断开跟集群的连接。

集群的一个节点,至少有一个worker,硬件资源足够,也可以有多个worker。每个worker,运行一个TaskManager,是一个JVM进程,可以在多个线程上执行多个任务。在一个JVM上的任务,共享TCP连接,共享心跳,共享部分数据结构。每个TaskManger至少有一个TaskSlot,负责执行Task。Task Slot数量决定能同时执行的任务数。如果一个TaskManger有3个Task Slot,那么每个Task Slot使用TaskManger控制的内存的三分之一,Task Slot只均分内存资源,不均分CPU资源。

存盘点SavePoint,是手工保存的检查点,象打游戏一样,定期存盘,如果后续出错了,重新导入数据,重新计算。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值