FLINK提交任务的两种方式

最新推荐文章于 2024-12-10 09:50:19 发布
最新推荐文章于 2024-12-10 09:50:19 发布
阅读量9.4k 收藏 10
点赞数 2
分类专栏： Flink 文章标签： flink 提交方式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/young_0609/article/details/123543170
版权
本文介绍了Apache Flink中提交任务的两种主要方法：通过命令行和Web界面。在命令行提交时，使用`bin/flink run`命令，并指定JobManager地址、程序全类名及并行度等参数。而在Web页面提交时，用户可以直接上传Jar包到JobManager所在节点进行任务提交。这两种方式为开发者提供了灵活的任务部署选择。
摘要由CSDN通过智能技术生成

FLINK提交任务的两种方式

1、命令行提交

bin/flink run -m hadoop:8081 -c cn.test.day01.StreamWordCount -p 4 /test/flink-java-1.0.jar

  • -m  指定jobmanager的位置
  • -c  程序的全类名
  • -p  指定并行度

更多参数参考：Flink 命令行提交参数

2、web页面提交


这里上传jar包实际上是传到了JobManager所在的节点

Flink 提交任务的两种方式
扛麻袋的少年的博客
01-21 1万+
Flink学习笔记(三)：向 Flink 集群提交任务，共有以下两种方式： 使用Web页面Submit New Job方式提交 使用命令行方式提交 示例 Flink 安装包，自带有一些示例程序，我们只需要将 Flink 安装包解压即可。解压缩后，我们会在 examples 目录下面，看到一些示例程序。 接下来，我们使用 streami...
flink on yarn提交任务的两种方式
阿尼古
03-22 1万+
flink on yarn提交任务的两种方式 flink on yarn 有两种提交方式： (1)、启动一个YARN session(Start a long-running Flink cluster on YARN)； (2)、直接在YARN上提交运行Flink作业(Run a Flink job on YARN)。 简单bb两句，其实很好理解，一种是yarn-cl...
Flink之提交任务
qq_41924766的博客
05-14 2016
s(–slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个。taskmanager 的 slot 的个数为 1，有时可以多一些 taskmanager，做冗余。-nm：yarn 的 appName(现在 yarn 的 ui 上的名字)。进入flink Web页面：http://hostname:8081/-tm：每个 taskmanager 的内存（单位 MB)。由于并行度设置的是2，3台机器只有2台是有数据的，如下图。查看集群上运行的job。
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 5261
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
flink yarn模式3种提交任务方式
最新发布
core815的专栏
12-10 1702
Yarn模式3种提交任务方式
flink命令行提交jar包任务
qq_43699958的博客
09-12 1646
关于如何安装flink，这个写的非常详细，https://blog.csdn.net/qq_43699958/article/details/132826440在flink的bin目录启动flink cluster。
Flink作业提交流程
WHY的博客
02-07 2091
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
Flink三种提交方式
GavinKai
10-30 8056
第一种方式：YARN session 操作步骤 说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.
大数据学习之Flink环境搭建+提交任务方式
y_wang_的博客
08-03 2410
Flink环境搭建与任务提交详解
Flink提交任务至yarn
热门推荐
asfjgvajfghaklsbf的博客
09-29 2万+
在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session     每次提交都会创建一个新的flink集群，任务之间互相独立，互不影...
flink的常见的任务提交方式
zhizhi120的博客
01-26 2568
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
Flink任务提交流程和运行模式
XuXuemin的专栏
08-08 1587
Flink的任务提交流程过程说明，Flink集群的运行模式及其下的任务部署模式
【Flink】详解Flink任务提交流程
pcx171的博客
07-18 1658
本文主要介绍Flink的任务提交流程，从源码入手分析Flink如何解析命令行、提取验证有效参数、环境配置参数、程序和用户指定参数如何打包、依赖路径如何获取、客户端模式如何确定以及最后程序的主入口是哪一个
Apache Flink 任务提交模式
0102的博客
07-21 1036
Application 模式与Per-job类似，只是不需要客户端，每个Application提交之后都启动一个JobManager，也就是创建一个集群，这个JobManager只为执行这一个Flink Application而存在，Application中的多个Job都会共用该集群， Application执行结束之后JobManager也就关闭了。缺点：每个作业都在客户端享集群JobManager提交，如果一个时间点大量提交Flink作业会造成客户端占有大量网络带宽，会加重客户端所在节点的资源消耗。
Flink-任务提交流程
qq_38304392的博客
05-30 531
运行时架构 各组件的交互： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同(例如 YARN，Mesos，Kubernetes，standalone 等)，其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程： Flink 任 务 提 交 后 ， Clien...
Flink任务提交流程
sijiwang95的博客
04-11 966
Flink任务提交流程
flink提交有几种模式
08-05
flink提交有两种模式：本地模式和集群模式。 1. 本地模式：在本地模式下，Flink应用程序可以直接在开发者的本地机器上运行。在本地模式下，应用程序不需要连接到Flink集群，并且所有的任务都在本地地机器上执行。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值