Flink学习笔记之提交任务

最新推荐文章于 2024-06-12 08:15:51 发布
最新推荐文章于 2024-06-12 08:15:51 发布
阅读量1.1k 收藏 3
点赞数 1
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45524021/article/details/112348338
版权

提交任务的形式有多种

一、Web页面提交方式

在集群启动之后, 在localhost:8081 可以很清楚的查看到 集群的运行状态, TaskManager、JobManager等等。
打包处理的时候还会涉及并行度的问题,我们可以根据情况自行设置。
并行度问题：env 可以设置环境的并行度,每一步操作都可以设置 setParallelism 并行度。
并行度优先级:  代码 -》全局 -》提交JobWeb -》集群配置文件默认并行度。
 

show plan 查看执行的

二、命令行提交方式

取消正在运行的Job, 在命令行中首先显示出来所有的 Job相关信息

./bin/flink list

然后执行取消命令

./bin/flink cannel +JobID

查看被取消的任务

./bin/flink li
最低0.47元/天 解锁文章
Khalil Fang@1010
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink之提交任务
qq_41924766的博客
05-14 1769
s(–slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个。taskmanager 的 slot 的个数为 1，有时可以多一些 taskmanager，做冗余。-nm：yarn 的 appName(现在 yarn 的 ui 上的名字)。进入flink Web页面：http://hostname:8081/-tm：每个 taskmanager 的内存（单位 MB)。由于并行度设置的是2，3台机器只有2台是有数据的，如下图。查看集群上运行的job。
Flink三种提交方式
GavinKai
10-30 7875
第一种方式：YARN session 操作步骤 说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.
Flink的多种提交方式
热门推荐
Widsom的博客
10-31 2万+
Flink的多种提交/运行方式 Flink具有多种提交方式，比如：常用的local模式，stantalone模式，yarn模式，k8s等。 这里主要对比local，stantalone，yarn三种提交方式。 一、本地（local）模式，仅开发使用 1.1 纯粹的local模式运行 这就是直接运行项目中的代码的方式提交： public class TestLocal { public st...
Flink 命令行提交、展示和取消作业
最新发布
mqiqe的专栏
06-12 642
这些命令应在 Flink 安装目录的命令行终端中执行。每个命令的具体参数和用法可以通过在命令后添加 --help 来查看详细的帮助信息，例如：./bin/flink run --help。以上命令假设你在Flink的命令行工具目录下执行，并且你有正确的权限和配置。如果你的Flink集群部署在远程服务器上，你可能需要通过SSH或其他方式连接到远程服务器，然后执行上述命令。这里，run是提交作业的命令，-c后面跟着的是主类的全路径，接着是jar文件的路径和可选的作业参数。
flink常用参数说明
暮紫的笔记本
03-03 1万+
一、flink run参数： flink run命令执行模板：flink run [option] -c,–class : 需要指定的main方法的类 -C,–classpath : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://） -d,–detached : 在后台运行 -p,–parallelism : job需要指定env的并行度，这个一般都需要设置。 -q,–sysoutLogging : 禁止logging输出作为
flink的常见的任务提交方式
zhizhi120的博客
01-26 1594
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
Flink Cluster On YARN部署
shirukai
09-23 2060
Flink Cluster On YARN部署 Flink版本：1.8.2 Hadoop: 3.0.3 参考文章： 文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/ Flink在YARN上部署有两种模式，一种是Session模式，另一种是Pe
我的flink学习笔记
07-28
flink学习笔记flink学习笔记
flink学习详细笔记
10-28
【标题】：“Flink学习详细笔记” 【描述】：这篇笔记涵盖了Flink的基础概念，包括数据源读取、数据处理算子，特别是时间窗口和CEP算子的讲解，旨在帮助初学者从零开始踏入数据分析领域。 【标签】：“cep 算子” ...
flink学习教程，flink学习案例
05-15
标题"flink学习教程，flink学习案例"表明这是一个关于Apache Flink的学习资源集合，可能包含教程文档和实践案例，旨在帮助用户深入理解并掌握Flink这一大数据处理框架。 描述同样强调了是"flink学习教程"和"flink...
Flink集群之Flink Yarn Cluster部署
渐宽阁读书小弟
03-31 1554
文章目录前言准备环境 前言 flink应用提交到Yarn上目前支持两种模式： （1）Yarn Session Model：Flink会向hadoop Yarn 申请足够多的资源，并在Yarn上启动长时间运行的Flink Session集群，用户可以通过RestAPI或Web页面将Flink任务提交到Flink Session集群上运行。 （2）Single Job Model：每个Flink任务单...
Flink学习笔记（三）：任务提交详细流程
gentlewei的博客
02-05 4510
文章目录1.Flink多种提交方式对比1.1 local模式1.1.1 纯粹的local模式运行1.1.2 local使用remote的方式运行1.1.3 本地提交到remote集群1.2 standalone模式1.3 yarn模式1.3.1 yarn-session1.3.2 yarn-cluster2.flink命令参数详解3.flink on yarn作业提交详细流程 1.Flink多种提...
Flink run 方式提交（生产环境在yarn集群上直接提交的方式）
xuehuagongzi000的博客
12-04 4622
1、案例 #!/bin/bash ######################## . /etc/profile . ~/.bash_profile ######################## SCRIPT_NAME=$(readlink -f "$0") hostname=`hostname` dir=`dirname ${SCRIPT_NAME}` cd $dir nohup ...
flink 三种提交模式
yicomiss的博客
01-29 283
flink三种提交方式
flink的yarn集群方式（2）
吃素的哈士奇de博客
07-08 242
找到地址 启动语句 yarn的简单命令
Flink03: 集群安装部署
anglemanyi的博客
02-19 985
Flink支持多种安装部署方式这些安装方式我们主要讲一下standalone和on yarn。如果是一个独立环境的话，可能会用到standalone集群模式。在生产环境下一般还是用on yarn 这种模式比较多，因为这样可以综合利用集群资源。和我们之前讲的spark on yarn是一样的效果，这个时候我们的Hadoop集群上面既可以运行MapReduce任务，Spark任务，还可以运行Flink任务，一举三得。
Flink on Yarn环境搭建
dafsq的博客
06-14 394
Flink on Yarn环境搭建
Flink任务提交流程
06-02
Flink任务提交的流程如下： 1. 首先，用户在客户端上编写Flink任务代码，并打包成JAR文件。 2. 用户通过Flink的Client API连接到Flink集群的JobManager。 3. 客户端向JobManager提交任务，包括JAR文件、任务配置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值