flink源码分析之集群与资源@k8s-总述

1 简介

       集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器，slot pool，但不深入调度器。

本文分析基于flink 1.17版本，不同版本代码差异比较大

2 关键词

作业管理器

资源管理器

任务管理器

3 参考资料

flink官方网站 https://flink.apache.org/

4 flink整体架构

上图展示flink整体架构，本文分析集群和资源

5 flink运行架构

运行架构，按调用顺序展示flink集群启动，作业提交处理组件互动

总体上，集群是mater-worker架构，上图是flink的抽象架构，一个优秀架构可以抽象，第六章介绍架构”具体” k8s实现

6 flink@k8s运行架构

作业管理器得到任务管理器提供的资源(slot)，资源申请完成。

7 分析内容

1. 集群启动
2. 运行时的构建和启动
3. 资源1 资源请求
4. 资源2 资源提供
5. 资源3 声明式资源管理
6. flink kubeclient
7. 回顾