Flink kubernetes operator
文章平均质量分 87
Flink Kubernetes Operator 是一个基于 Kubernetes 的 Apache Flink 集群管理工具,它可以帮助用户在Kubernetes 上轻松部署和管理 Flink 集群。
往事随风ing
感恩 · 自信 · 宽容 · 耐心
展开
-
【Flink on k8s】 -- flink kubernetes operator 1.7.0 发布
Flink 官方博客于 2023-11-22 发布了 flink kubernetes operator 1.7.0 发布的消息。这个版本对自动缩放进行了大量的改进,包括与 Kubernetes 的完全分离,以便在未来支持更多的 Flink 环境。原创 2023-12-12 19:37:33 · 498 阅读 · 0 评论 -
【Flink on k8s】- 15 - 将 flink on yarn 迁移到 flink on k8s
维护 3 个 HDP 集群使用某云实时计算 Flink。原创 2023-12-12 19:08:05 · 685 阅读 · 0 评论 -
【Flink on k8s】- 14 - Flink kubernetes operator 使用经验分享
PS:由于我们提交的是 flink batch 作业,而不是 streaming 的作业,所以可以看到 job 是 finished 状态。PS:初次构建时,会比较慢!因为没有缓存,需要下载许多依赖包。原创 2023-12-14 16:18:10 · 599 阅读 · 0 评论 -
【Flink on k8s】- 13 - Flink kubernetes operator 版本升级
2、停止生产上正在运行的 flink job说明:由于在生产上,我们已经有作业正在运行,所以在升级 flink kubernetes operator 之前,需要停止正在运行的 flink job。如下举例删除 basic-example 作业:(1)删除 deployment 和 pod(1)查询是否正常下线3、升级 CRD3.1 切换项目空间到 ns-flink-operator 下3.2 执行升级命令,即可升级 CRD。原创 2023-09-13 18:23:45 · 587 阅读 · 2 评论 -
【Flink on k8s】- 12 - Flink kubernetes operator 的高级特性
注意:一般情况下,我们优先选择 savepoint!原创 2023-12-07 15:22:00 · 425 阅读 · 2 评论 -
【Flink on k8s】- 11 - 使用 Flink kubernetes operator 运行 Flink 作业
【代码】【Flink on k8s】- 11 - 使用 Flink kubernetes operator 运行 Flink 作业。原创 2023-12-06 16:51:07 · 359 阅读 · 0 评论 -
【Flink on k8s】- 10 - Flink kubernetes operator 常用的命令
示例:$ $ kubectl -n flink-job get pod basic-example-85568899d9-m8wgx -o yaml >> job-status.json。示例:$ kubectl -n flink-job get pod basic-example-85568899d9-m8wgx -w。示例:$ kubectl -n flink-job logs basic-example-85568899d9-m8wgx -f。(6)暂停和恢复应用程序。原创 2023-08-28 09:48:44 · 693 阅读 · 0 评论 -
【Flink on k8s】- 9 - 本地部署 Flink kubernetes operator
flink kubernetes operator 版本: 1.4.0helm 版本: 3.1.0flink kubernetes operator 支持的 Flink 版本:v1.13, v1.14, v1.15, v1.16。原创 2023-08-11 10:30:41 · 876 阅读 · 0 评论 -
【Flink on k8s】- 8 - Flink kubernetes operator 的架构和设计
Operator Namespace:用户可自定义名称(如 ns-flink-operator)原创 2023-12-06 16:34:54 · 345 阅读 · 0 评论 -
【Flink on k8s】- 7 - 在本地运行第一个 flink wordcount job
【代码】【Flink on k8s】- 7 - 在本地运行第一个 flink wordcount job。原创 2023-12-06 14:15:55 · 522 阅读 · 0 评论 -
【Flink on k8s】- 6 - Flink 核心特性
PS:自 Flink 1.15 开始,只有 Application Mode 和 Session Mode ,不再支持 Per-Job Mode。原创 2023-12-06 14:00:33 · 500 阅读 · 0 评论 -
【Flink on k8s】- 5 - 简要介绍 Flink
以上 logo 来源:https://flink.apache.org/powered-by/本页图片来源:https://flink.apache.org/use-cases/本页图片来源:https://flink.apache.org/use-cases/本页图片来源:https://flink.apache.org/use-cases/模式识别或复杂事件处理。原创 2023-12-06 11:33:19 · 358 阅读 · 0 评论 -
【Flink on k8s】- 4 - 在 Kubernetes 上运行容器
【代码】【Flink on k8s】4 - 在 Kubernetes 上运行容器。原创 2023-12-06 11:00:02 · 501 阅读 · 0 评论 -
【Flink on k8s】- 3 - Kubernetes 中的关键概念
在生产环境中,为了保障集群的高可用,通常会部署多个 Master。原创 2023-12-06 10:37:09 · 702 阅读 · 0 评论 -
【Flink on k8s】- 2 - 简要介绍 Kubernetes
2019 年 3 月,Kubernetes 项目发布了 1.14 版本,引入了 Pod Topology Spread 和 Pod Overhead 等新特性。2017 年 12 月,Kubernetes 项目发布了 1.9 版本,引入了 StatefulSet 和 Workload API 等新特性。2016 年 3 月,Kubernetes 项目发布了 1.2 版本,引入了许多新特性,包括自动扩展、服务发现和负载均衡等功能。原创 2023-12-05 14:45:30 · 503 阅读 · 0 评论 -
【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023
Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成,可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性,以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群,而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离,以避免资源争用和干扰。原创 2023-03-22 17:24:04 · 819 阅读 · 4 评论 -
【Flink on k8s】- 0 - Flink kubernetes operator 快速入门与实战
1、课程目录2、课程链接。原创 2023-11-30 14:24:08 · 508 阅读 · 0 评论