Flink On Kubernetes（一）

已于 2023-12-22 14:47:53 修改
阅读量427 收藏 8
点赞数 9
分类专栏： Flink On Kubernetes 文章标签： flink 大数据
于 2023-11-24 16:31:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jwandbj/article/details/134601652
版权

一、Flink的运行模式：

Flink有多种运行模式，可以运行在一台机器上，称为本地（单机）模式；也可以使用YARN作为底层资源调度系统以分布式的方式在集群中运行，称为Flink On YARN模式；还可以使用Flink自带的资源调度系统，不依赖其他系统，称为Flink Standalone模式。还有将Flink部署到Kubernetes的模式，称为Flink On Kubernetes模式。

后面都是基于Flink On Kubernetes模式来讲，如果是研发环境可以试用standalone模式。

standalone模式有有一个缺点就是只有4个槽，一次只能跑两个Flink任务，一个Flink任务占2个槽；

jwandbj
关注
  • 9
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink on Kubernetes 生产实践.pdf
03-21
Flink on Kubernetes 生产实践
Flink on Kubernetes产品方案介绍.pptx
10-11
Flink on Kubernetes产品方案介绍.pptx
Flink on Kubernetes技术概述.pdf
10-11
Flink on Kubernetes技术概述.pdf
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
适用于Apache Flink的Kubernetes运算符 这不是官方支持的Google产品。 用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态 贝塔 操作员正在积极开发中，对于Beta版本，不能保证API的向后兼容性。 先决条件 Kubernetes的版本> = 1.15 版本> = 1.15的kubectl（带有kustomize） Apache Flink的版本> = 1.7 概述 Apache Flink的Kubernetes运算符使用自定义资源定义了Kubernetes语言的词汇表（例如Pod，Service等），并运行Pod来监视自定义资源。 一旦FlinkCluster自定义资源被控制器创建并检测到，控制器便会基于该自定义资源的规范创建基础的Kube
藏经阁-阿里巴巴大数据产品最新特性介绍—实时计算 Flink on Kubernetes.pdf
09-04
藏经阁-阿里巴巴大数据产品最新特性介绍—实时计算 Flink on Kubernetes.pdf
Flink On Kubernetes（三）Flink Kubernetes Operator安装
jwandbj的博客
11-27 1117
前面讲了Flink On Kubernetes如何进行技术的选型，这边的话目前选用的是Flink On Kubernetes Application模式，这种模式最好的是资源隔离，就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源，不会影响其他任务。Flink Operator主页： https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/API，使其具有管理和操作的能力 Flink 部署。
Flink On Kubernetes（四）Flink Kubernetes Operator Application模式
jwandbj的博客
12-22 488
如果没有设置checkpoint的存储地址，flink默认会把checkpoint的存储地址放到内存里面，这个时候就会出现一个问题，任务一开始是可以正常运行的，等运行到一定时候就会报错，从日志上看不出任务的问题。所以checkpoint也需要设置存储的地点，这里通过pvc挂载的方式来设置存储点，一、jar包要挂载可以使用华为云的obs或者阿里云的oss，或者disk磁盘来挂载都可以；设置的这些pvc名称一定要和flinkcdc-mysql-doris.yaml文件里面的名称是一致的。
Flink on Kubernetes (flink-operator) 部署Flink
javaMylief的博客
03-27 1024
部署cluster完成，配置svcType 后即可访问，flink web ui，此时jobManager是启动着的 taskmanager随着flink jar进行启动和停止。3、使用initContainers和 containers使用相同的挂载路径，然后使用远程文件下载放到挂载路径中，containers就能获取到该jar包。此处jarURL只得是docker内部路径，且不支持远程路径（http/s3/hdfs），因此需要将jar包放到docker内部。2、可以使用pvc挂载进去。
Flink on Kubernetes
12-04 3259
零、flink on k8s 示意图 https://nightlies.apache.org/flink/flink-docs-release-1.11/ops/deployment/native_kubernetes.html 一、目标 运行 flink 任务到 kubernetes，flink on kubernetes。 参考 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/resource-pr
Flink on Kubernetes 原理剖析
hhhhhhfq的博客
04-04 3726
Kubernetes 是 Google 开源的容器集群管理系统，其提供应用部署、维护、扩展机制等功能，利用Kubernetes 能方便地管理跨机器运行容器化的应用。 Kubernetes —— 基本概念 Kubernetes（k8s）中的 Master 节点，负责管理整个集群，含有一个集群的资源数据访问入口，还包含一个 Etcd 高可用键值存储服务。Master 中运行着 API Server，Controller Manager 及 Scheduler 服务。 Node 为集群的一个操作单元，是 Pod
Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
TONIYH的博客
04-29 652
Flink的checkpoint的过程依赖于异步屏障快照算法，该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来说比较简单易懂，这篇博文主要是介绍flink中checkpoint触发流程。持续分析学习~
Flink checkpoint 源码分析- Checkpoint barrier 传递源码分析
最新发布
TONIYH的博客
04-30 566
在上一篇的博客里，大致介绍了flink checkpoint中的触发的大体流程，现在介绍一下触发之后下游的算子是如何做snapshot。
7、Flink 自定义 WaterMarkGenerator 案例
猫猫爱吃小鱼粮
04-29 466
Flink 自定义 WaterMarkGenerator 案例
Maven 构建 Flink 应用程序的最佳实践（根除各种类冲突/类加载问题）
Laurence的技术博客
04-27 1419
作为开发者，在构建 Flink 应用程序时的体验真是一言难尽，想必大家都曾遇到过各种 ClassNotFoundException、NoSuchMethodError 以及 Could not find any factory for identifier kafka/jdbc/hive/hudi that implements org.apache.flink.table.factories.DynamicTableFactory in the classpath 这样的错误。坦率地说，Flink 的应用
9、Flink 用户自定义 Functions 及 累加器详解
猫猫爱吃小鱼粮
04-30 587
Flink 用户自定义 Functions 及 累加器详解
Flink on k8s 入门实战
weixin_43039757的博客
04-29 691
最近一直在学习flink on k8s，踩了不少坑，折腾了好几天，终于是达到了自己想要的效果。首先说一下，我要实现的效果是什么？
pyflink 读取excel
zhaoyangjian724的专栏
04-27 404
import sysds.print()
大数据面试题 —— Spark数据倾斜及其解决方案
hu_wei123的博客
04-27 974
有的时候，我们可能会遇到大数据计算中一个最棘手的问题 ——数据倾斜，此时 Spark 作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 Spark 作业的性能。
10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin
搞数据
04-28 1062
Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
flink on k8s 源码
08-09
Flink on Kubernetes（Flink在Kubernetes上的运行）是基于Apache Flink的一个功能扩展，用于在Kubernetes集群上运行Flink作业。它基于Flink的分布式任务调度和容错性，同时利用Kubernetes的容器编排和资源管理能力，提供了更高的弹性和可扩展性。 Flink on Kubernetes的源码位于Flink官方代码仓库中的"flink-kubernetes"目录下。在该目录中，可以找到与Kubernetes相关的几个关键组件和功能的源码实现。 首先，Flink on Kubernetes提供了一个Kubernetes集群管理器，负责与Kubernetes API进行交互，创建和管理Flink集群运行时的Kubernetes资源。这一部分的源码位于"KubernetesClusterClient"和"kubernetes"包中，其中定义了一些与Kubernetes API进行交互的类和方法。 其次，Flink on Kubernetes还实现了一个弹性扩缩容功能，可以根据作业的负载情况自动增加或减少任务管理器的数量。这个功能的源码实现在"KubernetesResourceManager"和"KubernetesPodResource"等类中，它们负责监控任务管理器的运行情况，并在需要时创建或删除相应的Kubernetes Pod资源。 此外，Flink on Kubernetes还提供了一些用于容器环境和资源管理的配置选项，这些选项允许用户根据具体需求调整Flink作业的资源分配和容器化设置。源码中的"kubernetes.config"和"KubernetesUtils"等类定义了这些配置选项，并提供了相关的解析和处理功能。 总的来说，Flink on Kubernetes的源码实现了Flink作业在Kubernetes上的任务调度、资源管理和容错机制，通过与Kubernetes API进行交互和操作，实现了更灵活、可扩展的作业部署和运行方式。对于想要理解Flink on Kubernetes的工作原理和深入探究其实现细节的用户来说，可以通过阅读源码来获得更全面的了解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值