二百八十四、Flink——Flink提交任务两种方式（亲测、附截图）

于 2025-01-16 14:03:28 发布
阅读量1k 收藏 4
点赞数 1
分类专栏： Flink 文章标签： flink github 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiantang2renjian/article/details/145177490
版权

一、目的

在IDEA中开发好项目后，如何在Flink上提交打包的jar包，有两种方式，分别是WEB UI 界面提交和通过命令行来提交

二、WEB UI 界面提交方式

1 在Submit New Job，点击右侧的+Add New，上传打包好的jar包

2 点击刚才上传的jar包，输入全类名和分区数

注意：由于我是单机环境，因为分区只能为1，否则会报错。这是一坑

          如果是集群，那分区数不超过集群数即可

3.点击Submit提交后，可以看到运行状态

最低0.47元/天 解锁文章
Flink程序部署与提交
SunnyRivers
08-16 535
我们看门见山，生产环境一般用的是在YARN上面采用应用模式进行部署flink程序。实际生产中一般需要和资源管理平台（如YARN）结合起来，选择特定的模式来分配资源、部署应用。
Flink 提交任务的两种方式
扛麻袋的少年的博客
01-21 1万+
Flink学习笔记(三)：向 Flink 集群提交任务，共有以下两种方式： 使用Web页面Submit New Job方式提交 使用命令行方式提交 示例 Flink 安装包，自带有一些示例程序，我们只需要将 Flink 安装包解压即可。解压缩后，我们会在 examples 目录下面，看到一些示例程序。 接下来，我们使用 streami...
03 打包构建Flink的部署包
codemosi的专栏，点击我可以跳到目录一栏
11-10 3879
Build Flink 你需要先下载源代码才能 build Flink, 可以直接下载个release版本或者去github上拉下来. 还有Maven 3， Flink 至少需要Java 7.我们推荐使用Java 8。 运行下面这行拉源代码: git clone https://github.com/apache/flink 最简单的building Fli
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 5486
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
Flink之提交任务
qq_41924766的博客
05-14 2063
s(–slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个。taskmanager 的 slot 的个数为 1，有时可以多一些 taskmanager，做冗余。-nm：yarn 的 appName(现在 yarn 的 ui 上的名字)。进入flink Web页面：http://hostname:8081/-tm：每个 taskmanager 的内存（单位 MB)。由于并行度设置的是2，3台机器只有2台是有数据的，如下图。查看集群上运行的job。
flink的常见的任务提交方式
zhizhi120的博客
01-26 2792
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
Flink的多种提交方式
热门推荐
Widsom的博客
10-31 2万+
Flink的多种提交/运行方式 Flink具有多种提交方式，比如：常用的local模式，stantalone模式，yarn模式，k8s等。 这里主要对比local，stantalone，yarn三种提交方式。 一、本地（local）模式，仅开发使用 1.1 纯粹的local模式运行 这就是直接运行项目中的代码的方式提交： public class TestLocal { public st...
flink提交任务的两种方式
weixin_43648241的博客
10-09 1110
1、命令行提交 [root@doitedu01 flink-1.11.1]# bin/flink run -m doitedu01:8081 -c cn.mydoit.day01.StreamWordCount -p 4 /doit16/flink-java-1.0.jar [root@doitedu01 flink-1.11.1]# bin/flink run -m doitedu01:8081 -c cn.mydoit.day01.StreamWordCount -p 4 /doit16/flink-
Flink 环境的搭建、独立集群、Flink on Yarn、访问Flink web界面、Flink提交任务的三种方式、Flink读取HDFS上的数据Flink 运行方式
qq_41946216的博客
02-18 2241
Flink：框架和（分布式）引擎，对（有界和无界）数据流进行有状态（即存储中间结果）计算。有定义的开始，没有结束，必须持续处理，即摄取到数据立即处理有定义的开始，也有结束，摄取到所有数据后再计算，可以被排序，即无需有序摄取，通常称为批处理。内存：速度快，可靠性差分布式系统：速度慢，可靠性强DataStream 批流统一处理DataStream 批流统一处理，数据流的统一处理接口。批处理，是将其数据当作有界(有定义开始，有定义结束)流处理，例如文本文件数据。
flink入门到企业开发——无代码（仅供参考）.zip
08-08
03.flink-两种执行模型.mp4 04.flink-特点.mp4 05.flink-特点2.mp4 06.flink-流计算模型-有界数据集处理.mp4 07.flink-从下到上的架构层次说明.mp4 08.flink-datasource-flink-datasink结构.mp4 09.flink-总结.mp4 ...
Flink——基本概念
Siobhan_Mxin的博客
12-20 1054
Flink简介
Flink作业提交流程
WHY的博客
02-07 2181
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
Flink-任务提交流程
qq_38304392的博客
05-30 553
运行时架构 各组件的交互： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同(例如 YARN，Mesos，Kubernetes，standalone 等)，其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程： Flink 任 务 提 交 后 ， Clien...
flink yarn模式3种提交任务方式
最新发布
core815的专栏
12-10 2132
Yarn模式3种提交任务方式
在Web UI上提交Flink作业
2301_77257988的博客
02-27 1602
1）任务打包完成后，我们打开Flink的WEB UI页面，在右侧导航栏点击“Submit New Job”，然后点击按钮“+ Add New”，选择要上传运行的JAR包。，任务运行所需的配置参数和保存点路径等，如下图所示，配置完成后，即可点击按钮“Submit”，将任务提交到集群运行。（3）任务提交成功之后，可点击左侧导航栏的“Running Jobs”查看程序运行列表情况。（2）点击该JAR包，出现任务配置页面，进行相应配置。JAR包上传完成，如下图所示。程序入口主类的全类名。
工作实践篇 Flink（一：flink提交jar）
weixin_43446246的博客
12-22 1829
flink 模式 – standalone。
【Flink】详解Flink任务提交流程
pcx171的博客
07-18 1838
本文主要介绍Flink的任务提交流程，从源码入手分析Flink如何解析命令行、提取验证有效参数、环境配置参数、程序和用户指定参数如何打包、依赖路径如何获取、客户端模式如何确定以及最后程序的主入口是哪一个
Flink学习笔记之提交任务
weixin_45524021的博客
01-09 1274
提交任务的形式有多种 一、Web页面提交方式 在集群启动之后, 在localhost:8081 可以很清楚的查看到 集群的运行状态, TaskManager、JobManager等等。 打包处理的时候还会涉及并行度的问题,我们可以根据情况自行设置。并行度问题：env 可以设置环境的并行度,每一步操作都可以设置 setParallelism 并行度。并行度优先级: 代码 -》全局 -》提交JobWeb-》集群配置文件默认并行度。 show plan 查看执行的 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天地风雷水火山泽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值