【Flink实战系列】Flink web UI 的使用介绍

最近也是由于电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,我们先提交一个job上去(我的集群是on yarn的),命令如下:

flink run  -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/bigdata/jar/flink-1.0-SNAPSHOT.jar -d

提交后稍微等一会儿,因为Flink的UI反应还是有点慢,首页如下,可以看到整个UI界面还是比较简陋的,当然了后面阿里会有优化.

先看左边的菜单栏,我们一个一个介绍

1,概述,可以看到中间显示了我们这个job申请的tm个数,task slots个数,和可用的task slots数,右边显示了总共的job,正在运行的job,以及完成的,取消的,和失败的job的个数,下面是正在运行的job的列表,和完成的job的列表

2,然后我们点击正在运行的job进去,就可以看到我们刚才提交的job的详细信息,如下图所示.

可以看到上面是job的DAG图,下面是子任务,任务监控,水印,累加器,检查点,被压,里面具体的就不详细说了,大家可以自己点进去都看一下.可以看到我们设置的任务并发度,接受数据的个数,等信息.

3,已经完成的job,这个是需要配置history-server的,并启动,然后才可以看到,这里不详细说,后面会有介绍.

4,tm我们直接点进去看一下,如下图所示

  • 4
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
Flink 可以在 Apache Hadoop YARN 上运行,利用 YARN 的资源管理和调度功能来管理 Flink 应用程序在集群上的执行。 要在 YARN 上运行 Flink,需要进行以下步骤: 1. 安装和配置 Hadoop:首先,需要安装和配置 Hadoop 集群。确保 Hadoop 集群正常运行,并且 YARN ResourceManager 和 NodeManager 正在运行。 2. 下载和配置 Flink:从 Flink 官方网站下载 Flink 的二进制包,并解压到你的机器上。在 `conf/flink-conf.yaml` 配置文件中设置以下参数: ``` # 设置执行模式为 YARN execution.mode: yarn-session # 设置 YARN 的 Application Master 内存 yarn.application-master.memory: 1024m # 设置任务管理器的数量和内存 taskmanager.memory.process.size: 1024m taskmanager.numberOfTaskSlots: 1 # 设置 YARN 的队列名称(可选) yarn.application-master.queue: default ``` 还可以根据需要进行其他配置,例如并行度、检查点设置等。 3. 启动 Flink 集群:使用以下命令启动 Flink 集群: ``` ./bin/yarn-session.sh -n <num_taskmanagers> -tm <taskmanager_memory> ``` 其中 `<num_taskmanagers>` 是任务管理器的数量,`<taskmanager_memory>` 是每个任务管理器的内存大小。例如,`./bin/yarn-session.sh -n 2 -tm 1024m` 启动了两个任务管理器,每个任务管理器的内存大小为 1024MB。 Flink 集群会与 YARN ResourceManager 进行通信,并为应用程序分配资源。 4. 提交应用程序:一旦 Flink 集群启动,你可以使用 Flink 提供的命令行工具或 API 来提交应用程序。例如,使用 `./bin/flink run <program_jar_or_class>` 来提交一个 Java/Scala 程序。 Flink 应用程序将在集群中的任务管理器上执行,并利用由 YARN 分配的资源。 5. 监控和管理:可以使用 FlinkWeb UI 或 Hadoop YARN 的相关工具来监控和管理正在运行的 Flink 应用程序和集群资源。 通过以上步骤,你可以在 YARN 上运行 Flink 应用程序,利用 YARN 的资源管理和调度功能来实现分布式的数据处理。请注意,具体的配置和操作步骤可能会因不同的版本和环境而有所不同,建议参考 Flink 的官方文档或相关教程来进行详细的配置和操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值