Flink 提交任务的两种方式

最新推荐文章于 2024-08-20 08:51:20 发布
最新推荐文章于 2024-08-20 08:51:20 发布
阅读量1.1w 收藏 8
点赞数 6
分类专栏： # Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzb348110175/article/details/104061474
版权
Flink 专栏收录该内容
34 篇文章 90 订阅 ¥39.90 ¥99.00
订阅专栏
本文介绍了Flink任务提交的两种方式：Web界面和命令行。在Web界面中，通过Submit New Job提交任务，并启动Socket服务进行实时数据输入。而在命令行，通过指定JobManager的REST端口、并行度、类名等参数来提交任务。
摘要由CSDN通过智能技术生成

本文开头附：Flink 学习路线系列 ^ _ ^

向 Flink 集群提交任务，共有以下两种方式：

  • 使用Web页面Submit New Job方式提交
  • 使用命令行方式提交

示例

       Flink 安装包，自带有一些示例程序，我们只需要将 Flink 安装包解压即可。解压缩后，我们会在 examples 目录下面，看到一些示例程序。
在这里插入图片描述
接下来，我们使用 streaming 文件夹中的 SocketWindowWordCount.jar （从Socket端口读数据,执行WordCount）来演示如何提交任务。

了解本专栏 订阅专栏 解锁全文
扛麻袋的少年
关注
专栏目录
订阅专栏
Flink多种模式任务提交
L
05-20 1696
目录 界面方式 命令方式 测试代码如下： package wordcount import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ /** * Created by leboop on 2020/5/19. */ object StreamWordCount { def main(args: Array[String]): Unit = {
在Web UI上提交Flink作业
2301_77257988的博客
02-27 1088
1）任务打包完成后，我们打开Flink的WEB UI页面，在右侧导航栏点击“Submit New Job”，然后点击按钮“+ Add New”，选择要上传运行的JAR包。，任务运行所需的配置参数和保存点路径等，如下图所示，配置完成后，即可点击按钮“Submit”，将任务提交到集群运行。（3）任务提交成功之后，可点击左侧导航栏的“Running Jobs”查看程序运行列表情况。（2）点击该JAR包，出现任务配置页面，进行相应配置。JAR包上传完成，如下图所示。程序入口主类的全类名。
Flink SQL Submit 快速入门与实践
最新发布
gitblog_00774的博客
08-20 374
Flink SQL Submit 快速入门与实践 flink-sql-submitA simple project used to submit a Flink SQL script项目地址:https://gitcode.com/gh_mirrors/fl/flink-sql-submit 项目介绍 ???? Flink SQL Submit 是一个简化版的Apache Flink SQL脚本提交...
Flink的多种提交方式
热门推荐
Widsom的博客
10-31 2万+
Flink的多种提交/运行方式 Flink具有多种提交方式，比如：常用的local模式，stantalone模式，yarn模式，k8s等。 这里主要对比local，stantalone，yarn三种提交方式。 一、本地（local）模式，仅开发使用 1.1 纯粹的local模式运行 这就是直接运行项目中的代码的方式提交： public class TestLocal { public st...
flink的常见的任务提交方式
zhizhi120的博客
01-26 2080
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 5157
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
Flink三种提交方式
GavinKai
10-30 7960
第一种方式：YARN session 操作步骤 说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.
flink on yarn提交任务的两种方式
阿尼古
03-22 1万+
flink on yarn提交任务的两种方式 flink on yarn 有两种提交方式： (1)、启动一个YARN session(Start a long-running Flink cluster on YARN)； (2)、直接在YARN上提交运行Flink作业(Run a Flink job on YARN)。 简单bb两句，其实很好理解，一种是yarn-cl...
Flink提交任务至yarn
asfjgvajfghaklsbf的博客
09-29 2万+
在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session     每次提交都会创建一个新的flink集群，任务之间互相独立，互不影...
Flink各种提交作业方式的区别
要记得输出！
03-28 2807
文章目录前言一、Flink Session 集群二、Flink Job 集群三、Flink Application 集群 前言 Flink 应用程序的作业可以被提交到长期运行的 Flink Session 集群、专用的 Flink Job 集群 或 Flink Application 集群。这些选项之间的差异主要与集群的生命周期和资源隔离保证有关。 一、Flink Session 集群 集群生命周期：在 Flink Session 集群中，客户端连接到一个预先存在的、长期运行的集群，该集群可以接受多个
Flink – submitJob
weixin_34381687的博客
02-10 390
Jobmanager的submitJob逻辑， /** * Submits a job to the job manager. The job is registered at the libraryCacheManager which * creates the job's class loader. The job graph is appended to the co...
Flink学习笔记之提交任务
weixin_45524021的博客
01-09 1220
提交任务的形式有多种 一、Web页面提交方式 在集群启动之后, 在localhost:8081 可以很清楚的查看到 集群的运行状态, TaskManager、JobManager等等。 打包处理的时候还会涉及并行度的问题,我们可以根据情况自行设置。并行度问题：env 可以设置环境的并行度,每一步操作都可以设置 setParallelism 并行度。并行度优先级: 代码 -》全局 -》提交JobWeb-》集群配置文件默认并行度。 show plan 查看执行的 ...
Flink-任务提交流程
qq_38304392的博客
05-30 504
运行时架构 各组件的交互： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同(例如 YARN，Mesos，Kubernetes，standalone 等)，其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程： Flink 任 务 提 交 后 ， Clien...
大数据培训：Flink的提交模式
weixin_45695430的博客
02-28 1174
前言 这篇文章应先以了解flink组件为开始，再以简单模式Local 和 Standlone 正式进入正题。本篇主要是以Yarn 方式下三种模式展开细讲，当然还有Kubernetes方式（本篇不细说）。 组件 在了解提交模式之前，先了解一下Flink组件与组件之间的协作关系。 资源管理器（Resource Manager) （1）主要负责管理任务管理器TaskManager的插槽slot。 （2） 当作业管理器JM申请插槽资源时， RM会将有空闲插槽的TM分配给JM。如果 RM没有.
对比Flink作业提交的几种方式
litlit023的专栏
01-02 1385
1. Session Mode 1.1 流程 （1）session mode会预分配资源，根据指定资源实现创建一个flink集群常驻与Yarn中，并启动一个JobManager和若干TaskManager。 （2）这时可以直接提交作业，节省了申请和分配资源的开销 1.2 优缺点总结 （1）该模式下所有job共享这些固定的资源，而且作业之间不能隔离，会出现资源竞争的情况。 （2）当一个TM发生故障，那么所有在这个节点上的job都会失败。 （3）当提交的作业越来越多时，JM的负载会越来越高。 1
Flink运行时之客户端提交作业图-下
VinoYang的专栏
04-02 7644
submitJob方法分析JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job，JobManager接收到消息对象之后，构建一个JobInfo对象以封装Job的基本信息
flink提交任务的两种方式
weixin_43648241的博客
10-09 1062
1、命令行提交 [root@doitedu01 flink-1.11.1]# bin/flink run -m doitedu01:8081 -c cn.mydoit.day01.StreamWordCount -p 4 /doit16/flink-java-1.0.jar [root@doitedu01 flink-1.11.1]# bin/flink run -m doitedu01:8081 -c cn.mydoit.day01.StreamWordCount -p 4 /doit16/flink-
详解Flink作业提交流程
slivelight的博客
03-27 5256
一、提交流程 Flink 作业在开发完毕之后，需要提交到 Flink 集群执行。ClientFronted 是入口，触发用户开发的 Flink 应用 Jar 文件中的 main 方法，然后交给 PipelineExecutor（流水线执行器，在 FlinkClient 升成 JobGraph 之后，将作业提交给集群的重要环节。）#execue 方法，最终会选择一个触发一个具体的 PiplineExecutor 执行。 提交模式又可分为： Detached：Flink Client 创建完集
flink提交有几种模式
08-05
### 回答1： 在 Apache Flink 中，有两种提交模式： 1. 本地模式：在本地运行 Flink 程序，通常用于开发和测试。 2. 集群模式：将 Flink 程序提交到远程 Flink 集群中运行。 在集群模式下，还有两种提交方式： - 交互式提交：通过 Flink 自带的 web 界面，手动提交 Flink 程序。 - 非交互式提交：通过命令行工具或者脚本自动提交 Flink 程序，通常用于生产环境。 ### 回答2： flink提交有两种模式：本地模式和集群模式。 1. 本地模式：在本地模式下，Flink应用程序可以直接在开发者的本地机器上运行。在本地模式下，应用程序不需要连接到Flink集群，并且所有的任务都在本地地机器上执行。这种模式适用于开发和测试Flink应用程序，它可以提供快速的开发和调试过程。 2. 集群模式：在集群模式下，Flink应用程序需要连接到一个Flink集群，这个集群由一组相互连接的Flink任务管理器（TaskManager）组成。在集群模式下，应用程序将提交给Flink集群，由集群来分配和管理任务的执行。这种模式适用于生产环境中的实际应用程序部署，可以实现高可用性和高并发的计算。 无论是本地模式还是集群模式，都需要使用Flink自带的命令行工具或者使用Fink的API来提交应用程序。在本地模式下，可以直接使用命令`./bin/flink run`来提交应用程序。在集群模式下，首先需要在集群上启动Flink，然后使用命令`./bin/flink run -m <jobmanager-address> <path-to-jar-file>`来提交应用程序。 ### 回答3： flink提交有两种模式。 第一种是本地模式，也称为“单机模式”或“本地集群模式”。在这种模式下，flink作业是在本地计算机上运行的，不涉及到远程连接。这种模式适用于小规模的数据处理和开发测试，通过本地计算资源即可完成计算。在本地模式下，flink启动一个MiniCluster来模拟分布式集群环境，能够同时运行多个任务。本地模式对于快速迭代和调试有很大的帮助。 第二种是集群模式，也称为“分布式模式”。在这种模式下，flink作业是通过将任务提交到远程flink集群上执行的。远程flink集群由多台计算机组成，可以有效地处理大规模的数据。集群模式可以通过命令行或Web UI进行任务提交，flink会将作业分配给可用资源，然后进行计算。集群模式可以根据实际需求进行扩展，提高计算的并行度和整体处理能力。 总结来说，flink提交有两种模式：本地模式和集群模式。本地模式适用于小规模的数据处理和开发测试，而集群模式适用于大规模数据的分布式计算。不论采用哪种模式，flink都能够提供高效、可靠的数据处理和分析能力。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

扛麻袋的少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值