flink on k8s模式通过web UI界面查看任务运行情况

本文档介绍了如何在Kubernetes上部署Flink并访问其Web UI以监控任务运行。通过kubectl port-forward映射端口和设置ingress进行访问。针对多jobmanager的情况,建议使用基于路径的路由策略。
摘要由CSDN通过智能技术生成

我们之前已经成功部署了flink on k8s

flink on k8s部署方案实践–详细步骤

单纯看pod的log,是无法查看和排查所有情况的。 有时候需要查看job的运行情况。

一般我们在运行flink任务时,需要查看它的job运行情况。

比较常用的方式就是在flink的UI界面上查看。

一般的flink 因为jobmanager 所在的node是固定的,ip也就是固定的,所以能够通过ip或者域名映射后即可很方便的进行访问。

flink on k8s比较特别的是jobmanager 是一个在k8s集群中临时启动的pod,它一般没有外部ip,只有k8s的内部ip,同时这个内部ip 每次jobmanager 启动后 可能是不一样的。

本篇文章记录 如下访问flink on k8s的 web UI查看任务运行情况。

启动一个flink集群提交任务

详细步骤参考之前的文章

成功启动job提交任务后 查看pod的log 输出如下:

zhangxiaofans-MacBook-Pro:Downloads joe$ kubectl logs my-flink-job-s3-job-submitter-j5cg5
--------
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
***s 上的部署方式有两种:Standalone 方式和 Native 方式。 1. Standalone 方式 Standalone 方式是 FlinkK8s 上最简单的部署方式,不需要对 Flink 做任何改动,同时 FlinkK8s 集群是无感知的,通过外部手段即可让 Flink 运行起来。具体操作可以参考 Standalone Session On K8s。 2. Native 方式 Native 方式是相对于 Flink 而言的,它可以借助 Flink 的命令就可以达到自治的一个状态,不需要引入外部工具就可以通过 Flink 完成任务K8s 上的运行。具体操作如下: - 资源申请方式:Flink 的 Client 内置了一个 K8s Client,可以借助 K8s Client 去创建 JobManager,当 Job 提交之后,如果对资源有需求,JobManager 会向 Flink 自己的 ResourceManager 去申请资源。这个时候 Flink 的 ResourceManager 会直接跟 K8s 的 API Server 通信,将这些请求资源直接下发给 K8s Cluster,告诉它需要多少个 TaskManger,每个 TaskManager 多大。当任务运行完之后,它也会告诉 K8s Cluster 释放没有使用的资源。 - 具体操作:可以使用 Flink 提供的 kubernetes-session.sh 脚本来启动一个 Flink Session Cluster。例如: ```shell ./bin/kubernetes-session.sh \ -Dkubernetes.cluster-id=my-first-flink-cluster \ -Dkubernetes.container.image=flink:1.11.2 \ -Dkubernetes.jobmanager.cpu=1 \ -Dkubernetes.taskmanager.cpu=1 \ -Dkubernetes.rest-service.exposed.type=NodePort \ start ``` 以上命令会启动一个名为 my-first-flink-cluster 的 Flink Session Cluster,使用的镜像为 flink:1.11.2,JobManager 和 TaskManager 的 CPU 都为 1,同时将 Flink 的 REST API 暴露在 NodePort 上。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张小凡vip

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值