Flink的job提交全流程及web ui提交任务方式

最新推荐文章于 2024-06-16 09:31:45 发布
最新推荐文章于 2024-06-16 09:31:45 发布
阅读量3.1k 收藏 1
点赞数 1
分类专栏： 大数据 # Flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mynameiswangyi/article/details/126420571
版权

文章目录

背景

其实本来觉得这篇文章不需要写的，但是在网上搜了一下，有的提交的时候参数写的不全，还有的居然是收费文章！！那我就分享下个人使用经验吧~

flink的job提交流程

flink调用env.execute会有四个图：
StreamGraph、JobGraph、 ExecutionGraph、物理执行图
Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。
在这里插入图片描述
在这里插入图片描述

web提交

开启支持web界面提交

vi flink-conf.yaml

web.submit.enable: true

打开web界面

http://ip:8081/#/overview
注意传入的参数在虚拟机上面的路径是 flink的bin目录下的etc，需要把文件传入对应目录，然后提交
在这里插入图片描述

随后左边的就可以看见tm和jm的状态了

王一1995
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink实战系列】Flink web UI 的使用介绍
JasonLee实时计算
04-01 3万+
最近也是由于电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,我们先提交一个job上去(我的集群是on yarn的),命令如下: flink run -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/b...
flink on k8s模式通过web UI界面查看任务运行情况
直到世界的尽头
03-08 4387
我们之前已经成功部署了flink on k8s flink on k8s部署方案实践–详细步骤 单纯看pod的log，是无法查看和排查所有情况的。 有时候需要查看job的运行情况。 一般我们在运行flink任务时，需要查看它的job运行情况。 比较常用的方式就是在flink的UI界面上查看。 一般的flink 因为jobmanager 所在的node是固定的，ip也就是固定的，所以能够通过ip或者域名映射后即可很方便的进行访问。 flink on k8s比较特别的是jobmanager 是一个在k8s集群中
探索Apache Flink的门户：flink-web项目解析与应用推荐
最新发布
gitblog_00075的博客
06-16 773
探索Apache Flink的门户：flink-web项目解析与应用推荐 项目地址:https://gitcode.com/apachearrow-nanoarrow/flink-web Apache Flink，作为大数据处理领域的明星级框架，以其强大的流处理和批处理能力闻名遐迩。而支撑这一强大框架在线品牌形象的幕后英雄，正是我们今天要深入探索的开源项目——flink-web。这个项目不仅承载着...
在Web UI上提交Flink作业
2301_77257988的博客
02-27 882
1）任务打包完成后，我们打开Flink的WEB UI页面，在右侧导航栏点击“Submit New Job”，然后点击按钮“+ Add New”，选择要上传运行的JAR包。，任务运行所需的配置参数和保存点路径等，如下图所示，配置完成后，即可点击按钮“Submit”，将任务提交到集群运行。（3）任务提交成功之后，可点击左侧导航栏的“Running Jobs”查看程序运行列表情况。（2）点击该JAR包，出现任务配置页面，进行相应配置。JAR包上传完成，如下图所示。程序入口主类的全类名。
解决flink run 提交任务成功，flink web ui 提交报错的问题
Mo_if_peace的专栏
04-08 210
flink web ui 提交报错
flink webui提交job进行测试的完整流程
学亮编程手记
08-31 56
jar路径： 配置参数
FLINK提交任务的两种方式
yang灬仔
03-17 9266
FLINK提交任务的两种方式 1、命令行提交 bin/flink run -m hadoop:8081 -c cn.test.day01.StreamWordCount -p 4 /test/flink-java-1.0.jar -m 指定jobmanager的位置 -c 程序的全类名 -p 指定并行度 更多参数参考：Flink 命令行提交参数 2、web页面提交 这里上传jar包实际上是传到了JobManager所在的节点 ...
Web端提交Flink任务
GX_0824的博客
10-02 232
浏览器打开 master:8081。粘贴上面复制的reference。停止任务 cancel job。submit 提交任务。查看当前正在运行的任务。
Flink作业提交流程
m0_37689903的博客
06-11 1332
本文主要是介绍Flink的作业提交流程。在正式介绍作业提交流程之前，先介绍了2个主要角色，作业管理器（JobManager）和任务管理器（TaskManager），然后介绍了作业运行时几个核心概念，包括并行度，算子链，任务槽，任务槽和并行度的关系。最后介绍了Flink的作业提交流程，包括standalone会话模式作业提交流程和yarn应用模式作业提交流程，注意两者之间的区别，希望对大家有所帮助
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 5051
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **Web UI**：Flink提供了一个Web界面，用于查看任务状态、日志和监控性能指标。 - **REST API**：允许通过HTTP接口与Flink Job Manager交互，实现自动化部署和监控。 7. **Flink与Spark对比** - **事件时间...
linux_flink-1.13.0.rar
11-17
启动成功后，你可以在YARN的Web UI中查看Flink的ApplicationMaster，通过Flink的命令行工具提交作业。例如： ``` ./bin/flink run -m yarn-cluster -c <main_class> <job_jar_path> ``` `<main_class>`是你的作业的...
flink-1.9.0-bin-scala_2.12.tgz安装包
01-31
在启动集群后，访问`http://localhost:8081`即可看到JobManager的Web UI，这里可以提交任务、查看任务状态、监控性能指标等。 七、Flink SQL 1.9.0版本加强了对SQL的支持，你可以使用Flink SQL API编写处理作业。...
flink-1.10.0-bin-scala_2.11.tgz
05-05
9. **监控与调试**：Flink提供了一套全面的监控工具，包括Web UI、JMX指标和Prometheus/Grafana集成，帮助用户监控作业运行情况，定位和解决问题。 10. **社区与生态**：Flink拥有活跃的开发者社区，不断推动着新...
flink-setup.zip
02-24
7. **监控与调试**：Flink提供Web UI，用户可以通过浏览器查看作业状态、监控性能指标，并进行故障排查。 8. **资源调度**：Flink可以运行在独立模式、YARN模式、Mesos模式或Kubernetes模式下，用户需要根据实际...
systemctl-service服务添加环境变量及模板
MyNameIsWangYi的博客
07-11 8941
systemd.exec 中文手册 ：http://www.jinbuguo.com/systemd/systemd.exec.html#%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F设置进程的环境变量， 接受一个空格分隔的 VAR=VALUE 列表。 可以多次使用此选项以增加新的变量或者修改已有的变量(同一个变量以最后一次设置为准)。 设为空表示清空先前所有已设置的变量。 注意： (1)不会在字符串内部进行变量展开(也就是"$“没有特殊含义)； (2)如果值中包含空格或者等号，那
[SQL]hive sql数据中间的缺少的值进行填充数据
MyNameIsWangYi的博客
01-12 4314
目录1.问题2.建表、添加数据，因为给的表有两张，所以建了两张表3.两张表 union all，得到一张全量表，最终处理逻辑只用这张表4.主要逻辑4.1 使用窗口函数进行排序，主要目的是每行都复制为1；利用toA是否为 '' 进行标记并复制0或1（flag），然后累加flag标记，和值sumValue会是1,2，3...4.2 可见sumValue是顺序的1，2,3... 这样将最开始的test0112表中的值提出来标记成sumFlag，单独排序4.3 其实就这一条sql是主要的：将 4.1 和 4.2的结
[Contens7]实操Python2到python3的升级详细过程
MyNameIsWangYi的博客
03-13 4003
1、切换工作目录至/usr/local 在Linux系统下，路径/usr/local相当于C:/Progrem Files/，通常安装软件时便安装到此目录下。 cd /usr/local 2、下载目标python版本压缩包 wget http://npm.taobao.org/mirrors/python/3.8.0/Python-3.8.0.tgz 3、解压压缩包 tar -xzf Python-3.8.0.tgz 4、在当前目录下创建文件夹–python3 mkdir python3 5、编译与
Flink如何提交任务到集群上
06-03
在Flink中，我们可以使用多种方式提交任务到集群上，以下是其中常用的两种方式： 1. 使用Flink Web UI提交任务：Flink提供了一个Web UI，我们可以通过该界面方便地提交任务到集群上。具体步骤如下： 1. 打开Flink Web UI，地址为 `http://<flink-master>:8081`，其中 `<flink-master>` 是Flink集群的Master节点的IP地址或主机名。 2. 点击页面右上角的 "Submit new Job" 按钮，进入任务提交界面。 3. 在任务提交界面中，选择要提交的任务Jar包，填写任务相关参数（例如并行度、任务名称等），然后点击 "Submit" 按钮即可。 2. 使用Flink命令行工具提交任务：Flink还提供了一个命令行工具 `flink run`，我们可以通过该工具在命令行中提交任务到集群上。具体步骤如下： 1. 在Flink集群的任意节点上打开终端，输入以下命令进入Flink安装目录： ``` cd <flink-install-dir> ``` 其中 `<flink-install-dir>` 是Flink的安装目录。 2. 使用以下命令提交任务： ``` ./bin/flink run -c <job-class> <job-jar> [options] ``` 其中： - `<job-class>` 是Flink应用程序的主类名。 - `<job-jar>` 是Flink应用程序的Jar包路径。 - `[options]` 是可选参数，可以指定任务相关的参数，例如并行度、任务名称等。 例如，如果我们要提交一个名为 `WordCount` 的Flink应用程序，其主类为 `com.example.WordCount`，Jar包路径为 `/path/to/WordCount.jar`，并行度为4，可以使用以下命令提交任务： ``` ./bin/flink run -c com.example.WordCount -p 4 /path/to/WordCount.jar ``` 以上是两种常用的提交Flink任务到集群的方式，可以根据实际需求选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值