【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023

已于 2023-12-06 16:39:20 修改
阅读量1.1k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Apache Flink Flink kubernetes operator 文章标签： kubernetes flink java
于 2023-03-22 17:24:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/129712111
Flink Kubernetes Operator 是Ververica开发的用于Kubernetes集群上自动管理Apache Flink作业的工具，提供快速部署、高可用性、资源隔离和灵活性。相比Yarn和Flink原生Kubernetes资源管理，它具有简化部署、自动Savepoint等优点，但也存在灵活性不足和版本兼容限制等缺点。未来的发展趋势将聚焦于Flink native k8s集成。

目录

1.历史发展

1.1 基本介绍

1.2 大事件时间轴

2.flink k8s operator 的适用场景

2.1 需要快速部署

2.2 需要高可用性

2.3 需要资源隔离

2.4 需要一定的灵活性

3.Flink k8s operater 的优点

3.1 相对于 yarn 的优点

3.2 相对于 flink native kubernetes 资源管理的优点

3.4.Flink k8s operator 自身的缺点

4.未来发展

5.官方链接

1.历史发展

1.1 基本介绍

        Flink Kubernetes Operator 是一种在 Kubernetes 集群上运行 Apache Flink 作业的方法。Flink Kubernetes Operator 可以自动管理 Flink 集群，包括创建和删除Flink集群以及在集群中运行作业。它还可以自动扩展Flink集群以处理更大的负载，并在负载减少时缩小集群规模以节省资源。

        Flink Kubernetes Operator 是由 Ververica 开发的，它使用 Kubernetes 原生 API 和控制器来管理 Flink 集群和作业。Flink Kubernetes Operator 提供了一种简单而灵活的方式来部署和管理Flink 作业，使得在 Kubernetes 上运行Flink作业变得更加容易和高效。

        如果想要了解更多关于 Flink Kubernetes Operator 的信息，可以访问官方文档：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink on k8s】- 9 - 本地部署 Flink kubernetes operator
欢迎来到我的博客，一起探索代码里的世界！
08-11 1239
flink kubernetes operator 版本： 1.4.0helm 版本： 3.1.0flink kubernetes operator 支持的 Flink 版本：v1.13, v1.14, v1.15, v1.16。
【Flink】Flink Kubernetes Operator介绍
最新发布
九师兄
10-27 56
在 K8s 中 ，Flink Webhook 是 用 于 实 现 动 态 准入控 制 的 ， 它 的 功 能 主 要 收 API Server 的 认 证 请 求 ， 然 后 调 用 不 同 的 认认证服务进行人 证。Flink Kubernetes Operator 作为一个Operator 管理者Flink的完整生命周期，在大多数场景中我们把Flink Kubernetes Operator部署到指定的命名空间中。Webhook 实 现 准 入 控 制 分 为 两 种 ·
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
适用于Apache Flink的Kubernetes运算符 这不是官方支持的Google产品。 用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态 贝塔 操作员正在积极开发中，对于Beta版本，不能保证API的向后兼容性。 先决条件 Kubernetes的版本> = 1.15 版本> = 1.15的kubectl（带有kustomize） Apache Flink的版本> = 1.7 概述 Apache Flink的Kubernetes运算符使用自定义资源定义了Kubernetes语言的词汇表（例如Pod，Service等），并运行Pod来监视自定义资源。 一旦FlinkCluster自定义资源被控制器创建并检测到，控制器便会基于该自定义资源的规范创建基础的Kube
Flink Operator 使用指南 之 Flink Operator安装
麦田里的守望者-蒋中洲【相信相信的力量】
11-20 1447
Flink Operator实战基础篇
Flink on Kubernetes 原理剖析
hhhhhhfq的博客
04-04 3996
Kubernetes 是 Google 开源的容器集群管理系统，其提供应用部署、维护、扩展机制等功能，利用Kubernetes 能方便地管理跨机器运行容器化的应用。 Kubernetes —— 基本概念 Kubernetes（k8s）中的 Master 节点，负责管理整个集群，含有一个集群的资源数据访问入口，还包含一个 Etcd 高可用键值存储服务。Master 中运行着 API Server，Controller Manager 及 Scheduler 服务。 Node 为集群的一个操作单元，是 Pod
flinkk8soperator:提供用于管理Apache Flink应用程序的控制平面的Kubernetes运算符
05-12
Flinkk8soperator FlinkK8sOperator是，用于管理Kubernetes上的应用程序。 操作员充当控制平面来管理应用程序的完整部署生命周期。 项目状态 贝塔 Lyft的一些不太重要的工作正在使用该操作员。 在这一点上，重点是测试和稳定性。 在Beta版中，我们将尝试限制向后不兼容的更改的数量，但是仍然可以根据需要进行更改。 先决条件 Kubernetes的版本> = 1.10（版本<1 u9700要--feature-gates=CustomResourceSubresources> = 1.7。 概述 在Kubernetes上运行Flink的目标是在无需管理基础架构的情况下实现更灵活，更轻量级的流式应用程序部署。 Flink运营商旨在从应用程序开发人员中抽象出托管，配置，管理和操作Flink集群的复杂性。 它通过使
Flink Kubernetes Operator
王小工小工历程
10-17 1828
Flink Kubernetes Operator是一个用于在Kubernetes集群上管理Apache Flink应用的工具。
flink on k8s部署--kubernetes operator方式&Application Mode方式(附构建flink镜像Dockerfile)
Sword_Zhao的博客
04-17 2136
本次部署方案采用flink on k8s，部署方式是flink-kubernetes-operator，部署flink-kubernetes-operator需要helm。我这里使用的是jdk1.8和flink1.13，或者用docker镜像执行flink命令。我使用的是flink1.13，其他版本类似，在docker hub中查询自己所使用版本的基础镜像即可。需要kubernetes version>=1.6，flink version>=1.13。登陆数据库检查产出情况。
【Flink on k8s】- 13 - Flink kubernetes operator 版本升级
欢迎来到我的博客，一起探索代码里的世界！
09-13 872
2、停止生产上正在运行的 flink job说明：由于在生产上，我们已经有作业正在运行，所以在升级 flink kubernetes operator 之前，需要停止正在运行的 flink job。如下举例删除 basic-example 作业：(1)删除 deployment 和 pod(1)查询是否正常下线3、升级 CRD3.1 切换项目空间到 ns-flink-operator 下3.2 执行升级命令，即可升级 CRD。
Flink Kubernetes Operator 介绍
datacreating的博客
01-19 1916
Flink Kubernetes Operator是一种强大而灵活的工具，简化了在Kubernetes上部署和管理Flink集群的复杂性，让开发人员和运维团队能够更专注于业务逻辑而非基础设施的细节。通过使用Operator，可以更轻松地管理Flink作业的生命周期，并根据负载的需求自动调整集群规模，使得在 Kubernetes 上运行 Flink 应用程序变得更加方便和可靠。
Apache Flink Kubernetes Operator
csdn_tom_168的博客
07-19 911
Apache Flink Kubernetes Operator 是官方推荐的生产级管理工具，提供声明式 API 和自动化运维能力。它通过 CRD 实现 Flink 作业的全生命周期管理，包括自动扩缩容、作业升级（支持 Savepoint 迁移）、故障恢复等核心功能。架构上采用控制器模式，实时监控和调整 Flink 集群状态。部署时可通过 Helm 快速安装，并支持自定义资源配置、自动弹性伸缩等高级特性。生产实践中建议配合资源隔离、高可用配置和监控系统使用，同时提供完整的故障排查命令链。该工具显著简化了 F
使用Flink Operator部署Flink on k8s方案
qq_41067796的博客
02-20 1962
通过 Flink Operator 在 Kubernetes 上部署 Flink，可以显著简化 Flink 的运维工作，并充分利用 Kubernetes 的弹性伸缩和高可用性特性。
Flink on-k8s operator application 模式
刘涛的博客
12-26 1911
flink on k8s operator
探索Flink Kubernetes Operator: 无缝集成大数据与Kubernetes的世界
gitblog_00099的博客
04-16 468
探索Flink Kubernetes Operator: 无缝集成大数据与Kubernetes的世界 在当今云原生的时代，数据处理平台需要灵活、可扩展并且易于管理。 是Lyft开源的一个项目，它旨在解决这个问题，通过提供一个强大的工具，将Apache Flink流处理引擎与Kubernetes集群紧密集成，使得大数据处理更加自动化和智能化。 项目简介 Flink Kubernetes Operat...
【flink on k8s】部署flink-operator
echo245的博客
07-22 2463
1.准备各个配置文件 crd.yaml apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: flinkapplications.flink.k8s.io spec: group: flink.k8s.io names: kind: FlinkApplication listKind: FlinkApplicationList plural: flin
flink-on-k8s-operator部署安装及alink集成
u010318804的博客
06-28 1989
flink-on-k8s-operator、Alink集成部署安装 [[Google官方参考文档]]: (Google_README.md) 1. 获取源码 ## 下载源码 git clone https://github.com/leihongyang/flink-on-k8s-operator.git git checkout pinnet 2. 准备镜像 从海外构建的镜像有： FROM gcr.io/flink-operator/flink-operator:latest ## 和 FROM gcr
Flink on Kubernetes (flink-operator) 部署Flink
javaMylife的博客
03-27 1782
部署cluster完成，配置svcType 后即可访问，flink web ui，此时jobManager是启动着的 taskmanager随着flink jar进行启动和停止。3、使用initContainers和 containers使用相同的挂载路径，然后使用远程文件下载放到挂载路径中，containers就能获取到该jar包。此处jarURL只得是docker内部路径，且不支持远程路径（http/s3/hdfs），因此需要将jar包放到docker内部。2、可以使用pvc挂载进去。
Apache Flink Kubernetes Operator 指南
gitblog_01162的博客
08-07 835
Apache Flink Kubernetes Operator 指南 目录结构及介绍 在深入探讨如何安装和运行Apache Flink Kubernetes Operator之前，我们先来看一下项目的根目录结构： 根目录结构 . ├── charts # Helm图表，用于Kubernetes上的部署。 │ ├── flink-k8s # 包含Flin...
Apache Flink Kubernetes Operator 教程
gitblog_00281的博客
08-07 823
Apache Flink Kubernetes Operator 教程 1. 项目介绍 Apache Flink Kubernetes Operator 是一个用于管理 Apache Flink 应用在 Kubernetes 上生命周期的工具。它以 Java 实现，允许用户通过 Kubernetes 的原生工具如 kubectl 来部署、监控、升级和删除 Flink 应用。主要特性包括： 部署和...
YuniKorn优化Flink-on-K8s调度：现状、挑战与未来
"1-FFA-YUNIKORN对Flink-on-K8s的调度优化-Final_compressed1" 本文主要探讨了YuniKorn如何优化Flink在Kubernetes(K8s)上的运行效率，以及Flink在K8s环境中的现状、挑战与未来的发展方向。 Flink on K8s现状： ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值