Flink Session Cluster on K8S

最新推荐文章于 2024-04-29 18:32:05 发布

runzhliu

最新推荐文章于 2024-04-29 18:32:05 发布

阅读量1.2k

点赞数 1

分类专栏： Flink Kubernetes 文章标签： Flink

本文链接：https://blog.csdn.net/oscarun/article/details/96482624

版权

88 篇文章 5 订阅

订阅专栏

4 篇文章 0 订阅

订阅专栏

1 Overview

本文是根据官方文档略加编辑整理出来的。

Mac 环境推荐 Docker for Mac，一键部署。

image_1dg3t0s3gmp31roe1qs3133s11gi9.png-70kB

实验过程中，应该注意你的 K8S 的版本等信息。

image_1dg3t28b6ftuu6sa0h1vkdg09m.png-13.4kB

Flink session cluster 是作为 K8S 的 Deployment，Flink 的作业会被提交到 session cluster。至于什么是 Deployment，不清楚的同学可以看Deployment。Flink session cluster 会包含以下组件:

请按照官网的 Appendix将几个文件拷贝到本地。

image_1dg3v3oj1hhgnkq1lbqtn013nr13.png-8.8kB

然后就是部署，按照以下命令。

kubectl create -f jobmanager-service.yaml
kubectl create -f jobmanager-deployment.yaml
kubectl create -f taskmanager-deployment.yaml

部署成功的样子。成功部署了一个 JobManager 的 Pod 和两个 TaskManager 的 Pod。

image_1dg3v5grtt8186p1elc1c4l5uf20.png-29.6kB

部署成功后，通过以下方法来查看 Flink UI。

image_1dg4i94j0jec1di8nm41i6cadq9.png-22.6kB

访问 Flink UI 的地址。

http://localhost:8001/api/v1/namespaces/default/services/flink-jobmanager:ui/proxy/#/overview

image_1dg4ia50o11jtf4bs9817un1nfhm.png-114.9kB

停止 Flink session cluster 的方法也很简单，请执行以下命令。

kubectl delete -f jobmanager-deployment.yaml
kubectl delete -f taskmanager-deployment.yaml
kubectl delete -f jobmanager-service.yaml

本文主要介绍了如何在 K8S 上部署一个 Flink session cluster，部署完之后可以在 Flink UI 直接提交任务。

关注