推荐开源项目：Kubernetes Operator for Apache Flink

推荐开源项目：Kubernetes Operator for Apache Flink

flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址:https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator

请注意，该项目已被废弃，建议转向使用Google Cloud Dataproc或Apache Flink Kubernetes Operator。

1、项目介绍

Kubernetes Operator for Apache Flink 是一个控制平面工具，专为在 Kubernetes 集群上运行Apache Flink而设计。虽然已不再维护，但它提供了一种自动化的方式来管理和调度 Flink 集群和任务，简化了以前繁琐的手动配置过程。它扩展了 Kubernetes 的资源定义，添加了一个自定义的 FlinkCluster 资源，并通过控制器来监控和响应这些资源的变化。

2、项目技术分析

该项目的核心是一个控制器，该控制器会持续监视 FlinkCluster 定制资源。当创建此类资源时，控制器会依据其规格创建相应的 Kubernetes 资源，如 JobManager Pod。支持的功能包括：

• 支持 Flink 工作集群（job cluster）和会话集群（session cluster）
• 自定义 Flink 和 Hadoop 镜像以及容器环境变量
• 初始容器（init containers）和sidecar容器
• 远程作业jar的支持
• 灵活的服务访问策略
• 执行定时保存点
• 在失败时自动从最新保存点重启作业
• 取消作业并创建保存点
• 作业成功或失败后的清理策略
• 集群和作业的更新
• 批量调度JobManager和TaskManager Pods
• GCP集成，如服务账户、GCS连接器和网络设置
• 支持Apache Beam Python作业

3、项目及技术应用场景

Kubernetes Operator for Apache Flink 主要适用于希望在 Kubernetes 上无缝运行和管理 Flink 应用的开发者和数据工程师。它的应用场景包括：

• 实时大数据处理系统
• 快速原型开发，易于部署和扩展的测试环境
• 在云环境中需要动态扩缩容的应用
• 使用 Apache Beam 进行数据处理的 Python 开发者

4、项目特点

• 便捷性：简化了在 Kubernetes 上启动和管理 Flink 集群的过程。
• 灵活性：允许自定义镜像、配置文件和环境变量，满足不同业务需求。
• 可扩展性：可以与其他 Kubernetes 原生组件结合使用，实现更复杂的作业管理和调度。
• 自动化：自动保存点、故障恢复和资源管理减少了手动操作的负担。

即使这个项目已经不再被积极维护，对于想要了解如何在 Kubernetes 上部署和管理 Flink 的人来说，它仍然提供了宝贵的参考和学习材料。如果你正在寻求将你的实时数据流处理工作负载迁移到 Kubernetes，这是一个很好的起点。不过，请确保检查最新的替代方案，如 Google Cloud Dataproc 或 Apache Flink Kubernetes Operator。

flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址:https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator