Flink学习四：提交Flink运行job

最新推荐文章于 2024-04-11 14:51:05 发布
最新推荐文章于 2024-04-11 14:51:05 发布
阅读量2.5k 收藏 2
点赞数 2
分类专栏： Flink学习 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q18729096963/article/details/107522627
版权
  1. restUI页面提交
1.1 添加上传jar包

在这里插入图片描述

1.2 提交任务job

在这里插入图片描述

1.3 查看提交的任务

在这里插入图片描述
2. 命令行提交

./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar

在这里插入图片描述
3. 命令行查看正在运行的job

./flink-1.9.3/bin/flink list

在这里插入图片描述
4. 命令行查看所有job

./flink-1.9.3/bin/flink list --all

在这里插入图片描述
5. 命令行取消job

./flink-1.9.3/bin/flink cancel 8e657bcc19c6c1a8db884f0e4cd7fbc2

在这里插入图片描述
6. flink_on_yarn提交job(未测试)
在这里插入图片描述
在这里插入图片描述

码上中年
关注
专栏目录
Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用
howard2005的专栏
04-20 1312
搭建Flink on Yarn集群，几种方式运行Flink应用
Flink学习笔记04：将项目打包提交到Flink集群上运行（Scala版）
howard2005的专栏
03-26 1721
创建项目、打包项目、提交到Flink集群运行
一文搞定 Flink Job 的运行过程
shengjk1的博客
04-22 797
背景 我们经常通过 Flink Shell 提交代码，如 flink run -p 2 -m yarn-cluster -ynm test -c test ./test-1.0-SNAPSHOT.jar "file" "./test.properties"& 正文 总结
Flink命令行启动Job任务
最新发布
平凡的运维之路的博客
04-11 570
Flink非交互式运行Job任务。Flink命令行启动Job任务。Flink查看当前运行Job。Flink查看当前运行Job。
Flink Job 执行流程
程序猿进阶
12-27 5154
模式【1】；生成，然后转化为JobGraph；【2】依次启动三者都服从分布式协同一致的策略；将JobGraph转化为，然后转化为物理执行任务Execution，然后进行deploydeploy过程会向请求slot，如果有直接deploy到对应的的slot里面，没有则向Yarn的申请，带container启动以后deploy。【3】负责接收subTask，并运行。整个任务运行代码调用流程如下图subTask在执行时是怎么运行的？调用StreamTask的invoke【1】即operator的；
Flink学习(二) job 执行流程
leileibest_437147623的专栏
11-02 1125
Flink SourceFunction 学习记录SourceFunction 简单使用和描述SourceContext 详解合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML ...
michael-flink:Flink学习资料：Flink相关演示，源码分析样例和相关文档
03-23
《Flink学习之旅：深入解析与实践》 Apache Flink是一个强大的开源流处理框架，它在实时数据处理领域中占据着重要地位。本资源包"michael-flink"提供了丰富的Flink学习资料，包括Flink的相关演示、源码分析以及样例...
FlinkSQL实战：HBase的结合应用
02-23
可以实时写HBase，也可以利用buckload一把把离线Job生成HFileLoad到HBase表中。而当下FlinkSQL的火热程度不用多说，FlinkSQL也为HBase提供了connector，因此HBase与FlinkSQL的结合非常有必要实践实践。当然，本文...
【Flink】Flink 本地 per-job 模式提交flink报错 Connection refused: localhost/127.0.0.1:8081
九师兄
08-30 1414
本文章是我在做这个的时候遇见的：Flink The file LOG does not exist on the TaskExecutor提交任务命令如下 然后报错 有博客说 但是 per-job 模式 本来就不需要启动。最后验证使用如下命令就可以 好像换个位置就可以，比较奇怪。.........
定时执行任务例子 绝对好用
08-13
Timer schedule JAVA J2EE WEB 指定每一天某时某分执行某项任务的功能。 读取目录下配置文件的内容。 开发环境jdk1.5.0_22、MyEclipse6.5中文版。 定时任务管理器，定时执行，定时任务，run 绝对能用
flink任务调度器
06-20
很牛逼的任务器，可以管理flink的任务
flink job 提交模式
qq_27242695的博客
04-20 2482
文章目录flink job 提交模式1 maven 依赖引用2 提交模式2.1 Standalone 模式2.1.1 页面手动提交2.1.2 指令提交2.1.3 指令取消job2.2 yarn-会话模式(推荐)2.2.1 准备 flink job 提交模式 flink版本：1.13.1 scala版本：2.12 1 maven 依赖引用 <properties> <flink.version>1.13.1</flink.version>
Flink程序 Timer实现定时操作
热门推荐
胖虎儿的博客
08-15 1万+
Flink程序中 Timer实现定时操作
Flink进阶（一）-- Flink整体架构以及 Job 的基本执行流程
xcvbxv01的博客
11-19 1100
视频地址：https://www.bilibili.com/video/av52394455 文档地址：http://note.youdao.com/noteshare?id=40b733ab556e73d1a62f6c5787c68c08&sub=239E0053AEB9462387419D600035BEDC 一、Flink 的整体架构如图 1 所示。Flink 是可以运行在...
Flink上线运行job应该考虑的事情
Baron_ND的博客
09-14 434
本文阐述了使 Flink 应用达到生产就绪状态所需要的一些配置步骤。在以下部分中，我们概述了重要的配置参数，这些参数是技术领导、DevOps、工程师们在将 Flink 应用程序上线生产之前都需要仔细考虑的。Apache Flink 为大多数配置都提供了开箱即用的默认选项，在许多情况下，它们是POC阶段（概念验证）或探索 Flink 不同 API 和抽象的很好的起点。 然而，将 Flink 应用程序投入生产还需要额外的配置，这些配置可以高效地调整应用的规模，使其达到生产就绪状态，并能与不同系统之间保持兼容，
flink 批处理定时执行_Flink 提交任务 0474
weixin_34637293的博客
12-27 4696
Flink的源码体系比较庞大，一头扎进去，很容易一头雾水，不知道从哪部分代码看起。但是如果结合我们的业务开发，有针对性地去跟进源码去发现问题，理解源码里的执行细节，效果会更好。笔者在近期的Flink开发过程中，因为产品的原因，只允许部署Flink standalone模式，出于性能考虑，很有必要对其性能做下测试。Flink的standalone模式的部署方式很简单。只需要设定下基本的全局配置参数就...
深入理解 Flink（六）Flink Job 提交和 Flink Graph 详解
weixin_44512041的博客
01-11 1279
本章节重点介绍了 Flink Job 提交过程，包含了 StreamGraph 到 JobGraph 在客户端的转换和优化，并给出了源码级剖析。虽然是以 per-job 模式下的提交过程为例，但在 session、application 模式下核心代码并无二致，均可作为研究参照。
linux 如何定时执行flink脚本
信徒博客
03-27 624
可以在vi /var/spool/mail/root 查询运行的日志，有无报错！最后一行，根据你自身情况更改！1、在/root/sh文件夹下面，创建一个脚本文件。输入crontab -e 进入定时任务编辑。这个是每天的11点52分，执行刚才写的脚本。每天凌晨的时候执行一次flink脚本。这个脚本不是长时间运行的。然后保存退出就可以了！到点执行以后，会出现。
Flink Job启动及执行流程分析
淡定一生2333的博客
06-27 4216
之前写过一篇文章分析过Flink的基本架构，当时大概了解了JobManager、TaskManager、Slot等概念，本文主要是想了解下Flink中Job的执行流程，老是把Job执行当成一个黑盒总感觉难受。 之前说过FlinkJob Client负责讲任务提交给JobManager执行，Client可以和JobManager通信获取作业的执行状态。JobManager负责接收Flink作业、资源管理(Slot)、task调度、Checkpoint发起等等，TaskManager负责真正...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值