Flink 系例 之 Dashboard 安装与界面操作

前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例,本文讲解如何安装 Apache Flink Dashboard 平台与界面基本操作。

Apache Flink Dashboard 是 Flink 的客户端管理控制平台,也是 JOB 运行时任务跟踪与管理的显示平台。撑握基本的应用是学习 Flink 必备的,通过管理控制台界面的操作,我们能够知晓:

  • Task JOB 的运行健康状态;

  • 上传打包的客户端应用程序;

  • 运行 Task JOB 如何分配可用资源;

  • 启停 Task JOB 任务、查看 Task JOB 执行能力;

  • 查看 Task JOB 监控维度指标;

安装 Flink 服务

参见另一文章: linux 安装 flink 1.11.1

Dashboard 基本操作

参考上述 “安装 Flink 服务” 后,访问:http://localhost:8081

主页

默认进入的是客户端主页,在主页中显示 Available Task Slots(翻译过来叫可用的任务槽),是 Flink 根据 flink-1.11.1/conf/flink-conf.yaml 配置文件中的 taskmanager.numberOfTaskSlots 值显示,按照网上有一个 Flink Task Slots 计算公式:

Flink Available Task Slots = Total Task Slots - 每个任务中的最大并行数(Parallelism)

但我个人的理解,即当前 TaskJOB 中所有算子并行度合计的最大可用数,即为 Flink Available Task Slots 的剩余数;

这个我没有认真去求证,但有一篇博文件可以作为参考来理解 slot https://blog.csdn.net/kzw11/article/details/104016868

所以实际生产使用,需要评估 job 客户端运用量,以免无法最大化发挥与利用平台有效资源;

  • 左上为集群数量;

  • 右上为正在运行任务数量;

  • 中间为运行任务作业列表;

  • 下方为已完成的任务作业列表;

完成的工作

Completed Jobs 列表中显示 Job 名称,起动进间,用时时长,结束时间,任务个数(起始个数,已完成个数,失败任务,未运行任务),Status: 显示完成状态(falied:失败,finished: 已完成)

任务总览

从运行列表中点击 JOB 名称,进入 JOB 作业的详细监控界面

  • 上方显示任务名,此次执行任务的标识 ID,开始时间,结束时间,执行时长;

  • 中间为执行流程,请示数据流的输入,算子运行模型,数据流的输出;

  • 下方列表分别为:数据源,计算方式,已计算的字节大小,并行度,起动时间,用时进长结束时间等,任务个数等;

Job 作业管理

用于显示当前作业的服务信息与运行时的服务日志、客户端打印日志等;

  • Configuration:显示当前 jobManager 的所在主机的基本信息(jobManager 在 master 服务上运行),如:服务地址,端口,内存池大小,CPU 总进程数,数据缓存临时目录,ssh 端口等;

  • Logs:为 jobManager 运行时的服务日志

  • Stdout:为运行客户端时向控制台输出的日志信息

  • Log List:flink 平台所有日志清单,有多种类型的输出日志文件,点击对应的日志文件名,可实时查看当前 Job 作业的打印日志,一般在此列表中排查 job 作业的运行故障日志;

提交新工作

1.Add New:新建客户端,点击按钮弹出窗口,添加与选择本地目录下的客户端 jar 包,将客户端上传 Job 列表;

2. 点击列表中 JobName,则显示参数与配置项,输入相关配置,点击 Submit 提交与运行 Job 任务;

3. 任务提交后,则可以 “任务总览” 界面查看 Task JOB 运行过程与运行状态;

说明:

  • 事件执行类 Entry Class: com.flink.demo.FlinkWordCount

  • 执行参数 Program Arguments:/opt/flink-1.11.1/temp/2.txt

  • 并行度数量 Parallelism:1(可改)

Apache Flink Dashboard 界面总体功能不多,但简捷实用,对于后续监控、跟踪、管理 Task JOB 有不可缺的作用,尽可能多熟悉操作界面的功能与指标。

Flink安装和配置可以按照以下步骤进行: 1. 首先,你需要下载Flink安装包。你可以从Flink的官方网站(https://flink.apache.org/downloads.html)上找到最新的稳定版本,并选择适合你操作系统的版本。 2. 下载完成后,解压缩安装包到你选择的目录。你可以使用以下命令进行解压缩: ``` tar -xzf flink-<version>.tgz ``` 其中,`<version>`是你下载的Flink版本号。 3. 进入解压缩后的目录: ``` cd flink-<version> ``` 4. 配置Flink的环境变量。在终端中执行以下命令: ``` export FLINK_HOME=/path/to/flink-<version> export PATH=$PATH:$FLINK_HOME/bin ``` 将上述命令中的`/path/to/flink-<version>`替换为你的Flink安装路径。 5. 配置Flink的配置文件。进入Flink安装目录下的`conf`文件夹,并复制一份`flink-conf.yaml.template`文件并重命名为`flink-conf.yaml`。 ``` cd conf cp flink-conf.yaml.template flink-conf.yaml ``` 6. 打开`flink-conf.yaml`文件,并根据需要进行配置。在这个文件中,你可以设置Flink的各种参数,如任务管理器的内存大小、并行度等。根据需求进行修改后保存。 7. 配置完成后,你可以启动Flink集群。在终端中执行以下命令: ``` ./bin/start-cluster.sh ``` 这将启动Flink的任务管理器和资源管理器。 8. 要验证Flink是否正常运行,你可以在浏览器中访问`http://localhost:8081`,这是Flink的Web界面。如果能够成功访问并显示Flink的状态信息,则表示安装和配置成功。 以上就是Flink安装与配置过程。希望能对你有所帮助!如果还有其他问题,请继续提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值