Flink的job提交全流程及web ui提交任务方式

最新推荐文章于 2024-09-20 12:26:33 发布
最新推荐文章于 2024-09-20 12:26:33 发布
阅读量3.4k 收藏 2
点赞数 1
分类专栏： 大数据 # Flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MyNameIsWangYi/article/details/126420571
版权
本文详细介绍了Apache Flink的作业提交流程，从用户代码生成StreamGraph，经优化形成JobGraph，再到JobManager处理生成ExecutionGraph。同时，讲解了如何开启Web界面提交Flink作业，并提供了配置方法和Web界面访问地址，便于用户通过Web界面监控Job状态。
摘要由CSDN通过智能技术生成

文章目录

背景

其实本来觉得这篇文章不需要写的，但是在网上搜了一下，有的提交的时候参数写的不全，还有的居然是收费文章！！那我就分享下个人使用经验吧~

flink的job提交流程

flink调用env.execute会有四个图：
StreamGraph、JobGraph、 ExecutionGraph、物理执行图
Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理，JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。
在这里插入图片描述
在这里插入图片描述

web提交

开启支持web界面提交

vi flink-conf.yaml

web.submit.enable: true

打开web界面

http://ip:8081/#/overview
注意传入的参数在虚拟机上面的路径是 flink的bin目录下的etc，需要把文件传入对应目录，然后提交
在这里插入图片描述

随后左边的就可以看见tm和jm的状态了

王一1995
关注
专栏目录
Flink Web UI 是使用和调试保姆级教程（持续更新)
大模型大数据攻城狮的专栏
10-17 990
Running Jobs（运行中的作业）：显示正在运行的所有 Flink 作业的列表。每个作业都有一个独特的 Job ID，可以点击进入查看作业的详细信息。Completed Jobs（已完成的作业）：显示已经完成或取消的作业列表。：显示当前集群中所有 TaskManager 的健康状态，包括 CPU 使用率、内存使用情况、Slot 数量等。Job Manager Configuration（JobManager 配置）：显示 JobManager 的一些配置参数，帮助调试和优化 Flink 集群。
flink on k8s模式通过web UI界面查看任务运行情况
直到世界的尽头
03-08 4519
我们之前已经成功部署了flink on k8s flink on k8s部署方案实践–详细步骤 单纯看pod的log，是无法查看和排查所有情况的。 有时候需要查看job的运行情况。 一般我们在运行flink任务时，需要查看它的job运行情况。 比较常用的方式就是在flink的UI界面上查看。 一般的flink 因为jobmanager 所在的node是固定的，ip也就是固定的，所以能够通过ip或者域名映射后即可很方便的进行访问。 flink on k8s比较特别的是jobmanager 是一个在k8s集群中
向Flink集群提交作业——WebUI端和命令行
雷神乐乐的博客
02-19 1550
向Flink集群提交作业——WebUI端和命令行
在Web UI上提交Flink作业
2301_77257988的博客
02-27 1168
1）任务打包完成后，我们打开Flink的WEB UI页面，在右侧导航栏点击“Submit New Job”，然后点击按钮“+ Add New”，选择要上传运行的JAR包。，任务运行所需的配置参数和保存点路径等，如下图所示，配置完成后，即可点击按钮“Submit”，将任务提交到集群运行。（3）任务提交成功之后，可点击左侧导航栏的“Running Jobs”查看程序运行列表情况。（2）点击该JAR包，出现任务配置页面，进行相应配置。JAR包上传完成，如下图所示。程序入口主类的全类名。
flink 启动Job加载外部jar都有哪些方法
最新发布
longxibo的博客
09-20 1115
flink job 装入外部jar
Flink-提交job
qq_70085330的博客
08-21 2367
Flink-提交job方法
Flink Web UI 介绍
热门推荐
magic_kid_2010的专栏
07-24 2万+
一、提交flink任务到yarn。 ./flink run -m yarn-cluster -yn 1 -p 2 -yjm 1024 -ytm 1024 -ynm FlinkOnYarnSession-MemberLogInfoProducer -d -c com.igg.flink.tool.member.rabbitmq.producer.MqMemberProducer /home/te...
Flink任务提交模式
believe2017slwx的博客
04-12 8573
local模式本地运行，不需要集群环境IDE开发时，local模式方便本地测试standalone需要搭建flink集群提交命令flink run -m artemis-02:6123 -c com.test.WordCount2 ./Flink.jar hdfs://artemis-02:9000/tmp/lvxw/tmp/logs/words hdfs://artemis-02:9000/t...
flink提交job
dian张
10-10 499
yarn提交 ./bin/flink run -m yarn-cluster -yn 2 -c com.flink.kafka.KafkaProducer /usr/local/flinkLearn/target/demo-0.0.1-SNAPSHOT.jar standlone提交 ./bin/flink run -c com.flink.kafka.KafkaConsumer /usr/loc...
flink-Job提交和参数配置
互联网知识分享
05-18 638
可以看到默认的配置文件中taskmanager.numberOfTaskSlots:1 每个TaskManager的slots的个数为1，其实整个设置要根据电脑的cpu核素，如果是2核就可以设置为2(电脑的几核决定了可以同时做几件事情，4核就可以同时做4事情，也就是平行度为4)。（1）fink设置语法env.setParallelism(2)//设置并行度，如果设置的是1，那么在控制台就不会显示，如果设置的是>=1，就会显示。，jar包进行正在远行时 spark或flink集群的webUI是才会启动。
flink系列：使用dashboard的Web UI页面监测任务状态
NIO4444
04-23 3225
Overview选项卡 可以看到： Running Jobs：任务执行数量 Status：执行状态 Duration：运行时间 Total Task Slots：系统总Slots数量 Total Task Managers：系统总Task Managers数量 Available Task Slots：当前还剩Slots数量 DAG选项卡 点击任务所在行，进入DAG页面，该页面可以看到 （上部分）DAG中每个Task的执行并行度、执行顺序（每个SubTa...
Flink在yarn模式下任务提交流程
机器之心
09-11 174
集群生命周期：Flink应用程序集群是一个专用的Flink集群，仅执行来自一个Flink应用程序的作业，而main()方法在集群上运行而不是客户端上运行。一旦作业完成，Flink作业集群将被关闭。JobManager具有与协调Flink应用程序的分布式执行相关的多项职责：它决定何时安排下一个任务（或一组任务），对已完成的任务或执行失败作出反应，协调检查点，并在故障时协调恢复，等等。Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用的Flink作业集群（已弃用）或Flink应用程序集群。
Flink 部署和提交job
xiaoleilei666的博客
07-31 691
主要用于flink流处理wordcount计算；
【Flink】本地访问webUI
一杯咖啡半杯糖的博客
12-06 3360
1、加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>1.12.2</version> </dependency> 2、用下面方式创建 flink环境 StreamExecutionEnvironme
Flink WebUI解析（待更新）
weixin_37172178的博客
05-26 1239
对于flink webUI的查看，首先还是根据先整体观看一下Task的划分，然后根据Exception去寻找对应的TaskManager相关信息，然后双向确定是什么原因造成的；作为metrics，虽然看起来花里胡哨，本质上对flink底层实现机制的基本逻辑弄懂，应该还是比较容易看的；注：由大佬有这块比较好的分享，跪求评论区共享一下；
flink本地运行及访问webui
盛源的博客
03-29 5229
1 webui的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</version> <scope>${scope.type}</scope> </depend
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 5182
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
「Flink」配置使用Flink调试WebUI
yscoder的博客
12-06 3408
很多时候，我们在IDE中编写Flink代码，我们希望能够查看到Web UI，从而来了解Flink程序的运行情况。按照以下步骤操作即可，亲测有效。 1、添加Maven依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>1.9.0&...
十三、Flink使用local模式执行任务 并开启Flink的webUI
猫猫爱吃小鱼粮
08-12 4286
Flink使用local模式执行任务并开启Flink的webUI
Flink如何提交任务到集群上
06-03
在Flink中，我们可以使用多种方式提交任务到集群上，以下是其中常用的两种方式： 1. 使用Flink Web UI提交任务：Flink提供了一个Web UI，我们可以通过该界面方便地提交任务到集群上。具体步骤如下： 1. 打开Flink Web UI，地址为 `http://<flink-master>:8081`，其中 `<flink-master>` 是Flink集群的Master节点的IP地址或主机名。 2. 点击页面右上角的 "Submit new Job" 按钮，进入任务提交界面。 3. 在任务提交界面中，选择要提交的任务Jar包，填写任务相关参数（例如并行度、任务名称等），然后点击 "Submit" 按钮即可。 2. 使用Flink命令行工具提交任务：Flink还提供了一个命令行工具 `flink run`，我们可以通过该工具在命令行中提交任务到集群上。具体步骤如下： 1. 在Flink集群的任意节点上打开终端，输入以下命令进入Flink安装目录： ``` cd <flink-install-dir> ``` 其中 `<flink-install-dir>` 是Flink的安装目录。 2. 使用以下命令提交任务： ``` ./bin/flink run -c <job-class> <job-jar> [options] ``` 其中： - `<job-class>` 是Flink应用程序的主类名。 - `<job-jar>` 是Flink应用程序的Jar包路径。 - `[options]` 是可选参数，可以指定任务相关的参数，例如并行度、任务名称等。 例如，如果我们要提交一个名为 `WordCount` 的Flink应用程序，其主类为 `com.example.WordCount`，Jar包路径为 `/path/to/WordCount.jar`，并行度为4，可以使用以下命令提交任务： ``` ./bin/flink run -c com.example.WordCount -p 4 /path/to/WordCount.jar ``` 以上是两种常用的提交Flink任务到集群的方式，可以根据实际需求选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值