flink原理源码分析-资源与集群
文章平均质量分 83
flink集群和资源,资源与集群-k8s的原理源码分析
中间件XL
这个作者很懒,什么都没留下…
展开
-
弹性资源组件elastic-resource设计(三)-资源管理器I
设计基于《flink原理源码分析(一) 集群与资源@k8s》,抽出作业管理器,包括其内部的调度器,通用化为资源消费者,标准化与资源管理器和任务管理器的交互接口;增加约束,如,组件间通讯rpc组件,高可用组件,心跳组件等,最大程度使用原flink代码,后续的迭代不断标准化,抽象化交互接口,支持不同的实现原创 2023-10-09 23:02:09 · 115 阅读 · 0 评论 -
弹性资源组件elastic-resource设计(一)-架构
弹性资源组件提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。本文介绍弹性资源组件的设计,包括架构设计和详细设计,指导开发人员代码开发弹性资源组件关联的3个主要角色《flink原理源码分析(一) 集群与资源@k8s》 详细分析了flink集群与资源的源码和原理上图是场景视图,按领域分,原创 2023-09-26 12:26:54 · 510 阅读 · 0 评论 -
弹性资源组件elastic-resource设计(二)-集群
集群是资源的载体,弹性资源基础是弹性的集群,弹性资源集群架构采用master-worker,首先启动master,master包括资源消费者,资源管理器,master是弹性的决策器,控制worker的部署和释放原创 2023-10-09 13:45:26 · 127 阅读 · 0 评论 -
弹性资源组件elastic-resource设计(四)-任务管理器和资源消费者规范
设计基于《flink原理源码分析(一) 集群与资源@k8s》,抽出作业管理器,包括其内部的调度器,通用化为资源消费者,标准化与资源管理器和任务管理器的交互接口;增加约束,如,组件间通讯rpc组件,高可用组件,心跳组件等,最大程度使用原flink代码,后续的迭代不断标准化,抽象化交互接口,支持不同的实现原创 2023-10-09 23:50:07 · 499 阅读 · 0 评论 -
弹性资源组件elastic-resource设计(三)-资源管理器II
设计基于《flink原理源码分析(一) 集群与资源@k8s》,抽出作业管理器,包括其内部的调度器,通用化为资源消费者,标准化与资源管理器和任务管理器的交互接口;增加约束,如,组件间通讯rpc组件,高可用组件,心跳组件等,最大程度使用原flink代码,后续的迭代不断标准化,抽象化交互接口,支持不同的实现原创 2023-10-09 23:46:21 · 102 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-回顾
本章是分析系列最后一章,作为回顾,以运行架构图串联起所有分析场景原创 2023-09-21 09:48:50 · 446 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-flink kubeclient
flink kubeclient是面向flink应用的fabric8 kubeclient的封装,本节分析flink如何封装kubeclient,核心组件是装饰器,资源和ServiceType原创 2023-09-21 09:16:59 · 318 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-资源III 声明式资源管理
检查资源需求/检查资源声明是flink声明式资源管理的核心方法上面的资源场景分为两类,提出资源需求和提供资源, 检查资源请求/检查资源声明是交汇点,处理资源请求,该分配的分配,该请求新的请求新的资源;检查资源声明,哪些资源可以释放,需要新资源请求新worker。本章深入分析两方法,上游提出资源需求和下游提供资源的串联,资源状态演变,存储型态原创 2023-09-20 14:14:22 · 249 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-资源II 资源提供
资源分析分3部分,资源请求,资源提供,声明式资源管理,本文是第二部分资源提供原创 2023-09-20 13:51:59 · 279 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-资源I 资源请求
资源分析分3部分,资源请求,资源提供,声明式资源管理,本文是第一部分资源请求原创 2023-09-20 13:47:37 · 496 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-运行时
运行时提供了Flink作业运行过程依赖的基础执行环境,包含Dispatcher、ResourceManager、JobManager和TaskManager等核心组件,本节分析资源相关运行时组件构建和启动。原创 2023-09-20 11:42:06 · 462 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-集群
本文是flink集群与资源@k8s源码分析系列的第二篇-集群原创 2023-09-20 09:53:30 · 569 阅读 · 0 评论 -
flink源码分析之集群与资源@k8s-总述
集群和资源模块提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块,深入了解其设计原理,为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器,slot pool,但不深入调度器。本文分析基于flink 1.17版本,不同版本代码差异比较大原创 2023-09-20 09:50:35 · 509 阅读 · 0 评论