简介
弹性资源组件提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。
本文介绍弹性资源组件的设计,包括架构设计和详细设计,指导开发人员代码开发,设计基于《flink原理源码分析(一) 集群与资源@k8s》,抽出作业管理器,包括其内部的调度器,标准化为资源消费者,接入系统提供实现,标准化其与资源管理器和任务管理器的交互接口;增加约束,如,组件间通讯rpc组件,高可用组件,心跳组件等,最大程度使用原flink代码,后续的迭代不断标准化,抽象化交互接口,支持不同的实现,减少侵入性。
关键词
作业管理器/资源管理器/任务管理器 弹性资源组件关联的3个主要角色
参考资料
《flink集群与资源@k8s源码原理分析》 详细分析了flink集群与资源的源码和原理
场景视图
上图是场景视图,按领域分,
集群
集群启动,master和worker构建,k8s环境下,涉及k8s客户端的使用
资源管理器
资源的申请,管有资源
任务管理器
资源的提供,任务执行
作业管理器
作业管理器是接入系统提供,用例不是本组件的用例,描述的是接入规范
高可用
功能用例,独立出来描述高可用
接入规范
作业管理器使用弹性资源组件的规范
技术架构
弹性资源组件的技术架构图,其中作业管理器接入系统提供,需实现与资源管理器和任务管理器的交互,交互使用rpc机制。
总体架构是master-worker,master的高可用是k8s的复制机制提供,选主机制k8s提供,作业管理器和资源管理器参与选主,作业管理器/任务管理器接入资源管理器主节点监听,获取最新资源管理器;作业管理器接入作业管理器主节点监听,获取最新的作业管理器主节点
数据架构,资源是组件的核心数据,分两条线a线,b线
- 4资源请求->5a 分配可用资源-> 6a 请求使用资源-> 7a 提供资源->8a 提交任务
- 4资源请求->5b 分配待定资源-> 6b 请求新worker-> 7b 启动任务管理器->8b 注册/报告资源
a线是分配现有资源;b线请求新资源,新资源注册后是现有资源,在a线分配
组件架构
上图组件架构,组件作为SDK,提供RPC,组件工厂,高可用组件支持
NEXT
弹性资源组件elastic-resource设计(二)-集群,包括集群启动,master的部署和启动,任务管理器的部署和启动
弹性资源组件elastic-resource设计(三)-资源管理器,包括资源请求,资源提供,声明式资源管理
弹性资源组件elastic-resource设计(四)-任务管理器和资源消费者规范
弹性资源组件elastic-resource设计(五)-功能组件,包括rpc,kubeclient,心跳,高可用,slotpool