Flink On K8S

最新推荐文章于 2024-11-19 23:34:46 发布
最新推荐文章于 2024-11-19 23:34:46 发布
阅读量329 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_31020161/article/details/119392896
版权
本文介绍了一个基于Flink on K8S构建的实时数据处理平台。该平台利用Kubernetes作为底层资源调度管理系统，实现了Flink作业的高效运行与管理。文中详细讨论了Flink版本升级、整体架构设计、CICD流程、状态存储方案等内容，并针对FlinkOnYarn存在的问题提出了改进措施。
摘要由CSDN通过智能技术生成

动力

  1. K8S基础能力有保障。
  2. Flink 版本已升级至最新版。
  3. Flink On Yarn的不足。

整体架构

  1. 实时平台
  2. CICD(镜像构建)
  3. Flink On K8s(Ingress创建 Podtemplate)
  4. K8S
  5. Logger
  6. Metrics
  7. Alerts

网络模型

  1. Kong
  2. nodePort
  3. Ingress (ingress-controller+ingress)
  4. Pod

状态存储

  1. HDFS
  2. OSS

容量规划

  1. 网络带宽
  2. 任务热点
  3. DNS解析
【Flink on k8s】- 15 - 将 flink on yarn 迁移到 flink on k8s
欢迎来到我的博客，一起探索代码里的世界！
12-12 802
维护 3 个 HDP 集群使用某云实时计算 Flink。
flink on k8s部署
weixin_51981189的博客
04-19 1168
创建 JobManager 和 TaskManager 的。
Flink on K8s 概述
tianhouquan的专栏
04-26 2132
flink on k8s
flink on k8s
小王是个弟弟
08-04 4584
基于 kubeshpere 的 flink on k8s 实践
Airbnb 的 Flink 平台演进：终点是k8s？
最新发布
jsjbrdzhh的博客
11-19 922
本文将对Airbnb （全球民宿平台）的 Flink 平台演进进行更深入的详解，拆解每个阶段的关键技术选择和背后的考量，以及 Kubernetes 架构的各个组件如何协同工作。
Flink On k8s
地球人是我哈的博客
03-06 1787
flink-1.15.1 on k8s
flink on k8s(Flink1.15.0 on Native Kubernetes)
博客
05-29 1462
实验环境 macOS x86-64 minikube 准备工作 安装minikube 下载安装 curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 sudo install minikube-darwin-amd64 /usr/local/bin/minikube minikube start --driver=hyperkit 或 minikube start mini
Flink on K8s 企业生产化实践
pop_xiaohao的专栏
02-22 2019
背景 为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学家、数据工程师、机器学习工程师做算法模型的数据测试、训练、推理及其他数据应用
Flink On K8s实战课程2023
04-25
由于给定文件的内容部分并未包含实际的教学内容，只是提供了下载资源的网络地址和提取码，因此无法从这些信息中直接提取出关于"Flink On K8s实战课程2023"的知识点。但基于标题和描述，我可以为您详细解说"Flink On ...
基于K8S搭建Flink集群，轻松上手玩集群
wqs229342的博客
03-31 8267
K8S搭建及Flink集群部署
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
适用于Apache Flink的Kubernetes运算符 这不是官方支持的Google产品。 用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态 贝塔 操作员正在积极开发中，对于Beta版本，不能保证API的向后兼容性。 先决条件 Kubernetes的版本> = 1.15 版本> = 1.15的kubectl（带有kustomize） Apache Flink的版本> = 1.7 概述 Apache Flink的Kubernetes运算符使用自定义资源定义了Kubernetes语言的词汇表（例如Pod，Service等），并运行Pod来监视自定义资源。 一旦FlinkCluster自定义资源被控制器创建并检测到，控制器便会基于该自定义资源的规范创建基础的Kube
flink-k8s-toolbox:Flink Kubernetes Toolbox是瑞士军刀，用于在Kubernetes上部署和管理Apache Flink
05-27
Flink Kubernetes工具箱 Flink Kubernetes Toolbox是瑞士军刀，用于在Kubernetes上部署和管理Apache Flink。 工具箱提供了本机命令flinkctl，可以在Linux机器或Docker容器上执行。 该命令同时实现了客户端和服务器组件，它们共同代表了在Kubernetes上运行Apache Flink的完整解决方案。 该命令基于Kubernetes运算符模式，它实现了自定义控制器，并且可以使用自定义资源。 特征 这是在工具箱中实现的主要功能的列表： 自动管理JobManager和TaskManager 自动管理集群中的作业 自动从临时故障中恢复 修改资源时自动重启集群或作业 停止作业前自动创建保存点（可选） 重新启动作业时自动从最新的保存点恢复 支持部署，集群和作业资源 支持批处理和流式作业 支持无作业的群集（裸群集） 支持具有一
Flink on K8s安装与使用
lbship的博客
05-19 1341
1.安装K8S 2.安装Helm Helm可以帮忙管理k8s的应用。 curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 chmod 700 get_helm.sh ./get_helm.sh
Flink On K8s
m0_50670853的博客
04-28 2514
一. 环境 1. 可用的k8s集群 2. 宿主机有flink 在这里插入图片描述 3. 创建k8s命名空间 # 创建namespace kubectl create namespace flink-session-test # 新建一个serviceaccount, 提交flink kubectl create serviceaccount flink -n flink-session-test # 绑定 kubectl create clusterrolebinding flink-role-bin
k8s flink搭建
qq_36567420的博客
09-06 682
设置hadoop配置#minio的秘钥，也可以使用iam身份令牌，官方更推荐令牌# 这些架包需要提前下载，下载方式可以百度#s3a建议flink-s3-fs-hadoop，s3p建议flink-s3-fs-presto 区别百度<property><property><value></value><property><property><property><property><property><property>
【Flink】flink on k8s 部署方案
u013202518的博客
03-23 9396
Flink平台部署方案 持续保持更新 有些部署yaml借鉴的文章忘记哪里搬过来了额，但是经过自己测试过可行 再次表谢感谢 1. HDFS部署 (k8s) 可以单独create -f 部署，也可以基于helm统一部署 1.1 hdfs-conf.yaml apiVersion: v1 kind: ConfigMap metadata: namespace: dev-flink-plat name: kube-hadoop-conf data: HDFS_MASTER_SERVICE: hado
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值