flink提交流程[shell到user class]

呵呵小短腿

已于 2023-06-29 19:11:01 修改

阅读量100

点赞数

文章标签： flink java

于 2023-06-05 16:00:02 首次发布

本文链接：https://blog.csdn.net/weixin_37519367/article/details/131008519

版权

flink 提交流程一

提交命令

bin/flink run -m yarn-cluster ......

执行脚本

目录 flink-dist/src/main/flink-bin/bin/flink

核心代码

exec "${JAVA_RUN}" $JVM_ARGS $FLINK_ENV_JAVA_OPTS "${log_setting[@]}" -classpath "`manglePathList "$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS"`" org.apache.flink.client.cli.CliFrontend "$@"

CliFrontend.java

方法调用流程

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

呵呵小短腿

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
flink提交流程[shell到user class]

然后调用 ClientUtils.executeProgram方法。在run方法内会做一系列的运行的前置动作。通过反射最终去执行用户代码。
复制链接

扫一扫

Java调用Shell脚本（内含FlinkShell提交取消FlinkJob示例）

whiteBearClimb的博客

01-22

975

先从需求说起：有一个数据管理平台客户端，数据处理流是FlinkJob的算子链完成的，但是要让客户端后端的SpringBoot项目直接控制FlinkJob的任务执行，包括提交，下线等等。一开始找了下现成的集成包，客户端，但是好像没有。后来仔细看了开源的DolphinSchedule，发现它针对Flink的操作全是Shell，于是自己也想着模仿它来弄一套。（1）本地写一个.sh脚本从这个shell看出，接受了一些入参。并且对百度发起了get请求。（2）通过Java来调用 public static v

Flink的作业提交

shufangreal的博客

03-01

911

Flink作业提交 Flink作为一个分布式的计算引擎，类似于Spark，Flink有多重部署模式：standalone、k8s、yarn、mesos Standalone模式安装步骤： 1.下载安装包，并分发配置好的 2.配置flink-conf.yml & slave 3.启动Flink集群 4.确认Flink启动情况：http://localhost:8081/ 进程1 -Stan...

1 条评论您还未登录，请先登录后发表或查看评论

Flink Shell On Yarn

吟啸徐行

04-16

1132

Flink Shell On Yarn 启动 start-scala-shell.sh yarn 一直报错： Exception in thread "main" java.lang.UnsupportedOperationException: Could not resume a Yarn cluster. at org.apache.flink.yarn.cli.FlinkYar

Flink源码解析（四）Flink应用程序的提交

Yuan_CSDF的博客

08-11

1306

这里包含Graph的处理，最终生成物理执行图，以及Slot到发布Task到TaskExecutor上运行。如下所示： Flink编程套路总结 Flink提交执行脚本分析 Flink CliFronted提交应用程序源码剖析 ExecutionEnvironment源码解析 Job提交流程源码分析 StreamGraph构建和提交源码解析 JobGragh构建和提交源码解析 ExecutionGragh构建和提交源码解析 Slot管理（申请）源码解析 Task提交到Task...

Flink提交作业的两种方式

热门推荐

吟啸徐行

06-06

1万+

抛砖引玉：在Spark集群提交作业时候可以使用--deploy参数指定client或者cluster方式提交作业到集群，前者是客户端模式，后者是集群模式，两者主要区别就是Driver的运行位置，在客户端模式下，Driver运行在提交作业的客户端机器上负责与集群进行资源申请调度等工作。而集群模式下Driver运行在集群中的某一个节点上负责资源申请以及调度。一般的，客户端模式适合程序的调试，这

Flink1.11 脚本提交任务yarn以及java代码提交任务到yarn执行实践

qq_31866793的博客

09-10

4761

1,我们先看官网，一起从官网看起 https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/deployment/yarn_setup.html 2，看到上图，我就忽略第一个模式了，在正式生产环境我们一般推崇第二种模式，或者第三种模式 3，查看执行参数命令 ./bin/flink run --help Action "run" compiles and runs a program. Syn...

flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群

04-13

Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...

Flink采集流程.bmpr

10-28

Flink采集流程.bmpr

Apache-flink 未授权访问任意jar包上传反弹shell.MD

04-12

Apache-flink 未授权访问任意jar包上传反弹shell

Flink同步Hdfs数据到doris

10-19

Flink同步Hdfs数据到doris

flink消费kafka到greenplum

05-06

flink消费kafka到greenplum，以及flink datastream,dataset 使用等，实时数据库读取，存储到greenplum，应用窗口等实战例子

FLINK提交任务的两种方式

yang灬仔

03-17

9212

FLINK提交任务的两种方式 1、命令行提交 bin/flink run -m hadoop:8081 -c cn.test.day01.StreamWordCount -p 4 /test/flink-java-1.0.jar -m 指定jobmanager的位置 -c 程序的全类名 -p 指定并行度更多参数参考：Flink 命令行提交参数 2、web页面提交这里上传jar包实际上是传到了JobManager所在的节点 ...

Flink的简单学习二

weixin_65909965的博客

06-03

841

flink的核心组件，集群搭建以及使用，并行度，事件时间，以及窗口

flink 状态

最新发布

mqiqe的专栏

06-04

516

使用Flink的Stateful Functions API（如KeyedProcessFunction、ProcessFunction等）来定义和访问状态。通过getRuntimeContext().getState(…)或特定的状态描述符（如ValueStateDescriptor）来获取状态。Broadcast State用于保持所有子任务状态相同，确保当数据被广播到所有下游并行任务时，这些任务可以访问相同的状态数据。在这些任务中广播状态用于保持所有子任务状态相同。

46、Flink 的异步 I/O 算子详解

猫猫爱吃小鱼粮

06-03

1619

Flink 的异步 I/O 算子详解

37、Flink 的 WindowAssigner之会话窗口示例

猫猫爱吃小鱼粮

06-04

206

Flink 的 WindowAssigner之会话窗口示例

CDH6.3.2集成Flink1.12.2

子凡的专栏

05-31

1169

将flink-1.12.2-bin-scala_2.11.tar解压到/var/www/html。# 创建flink-on-cdh的本地仓库，确保createrepo工具已经安装。CM页面—>主机—> parcel —> 配置，添加上传的parcel的位置。安装完成后，登录部署flink-yarn服务的后台上传。配置参数，kerberos的配置默认值清除掉，不填。重启集群的CM-Server及CM-agent。添加上传的parcel的位置。添加Flink-yarn服务。启动服务后，需要重启cm后端。

PieCloudDB Database Flink Connector：让数据流动起来

OpenPie的博客

05-31

840

PieCloudDB Flink Connector 是拓数派团队自研的一款 Flink 连接器，可用于将来自 Flink 系统中的数据高效地写入 PieCloudDB，配合 Flink 的 checkpoint 机制来保证数据导入结果的精准一次语义。本文将详细介绍 PieCloudDB Flink Connector 的功能和原理，并结合实例进行演示。

Flink任务提交流程

06-02

Flink任务提交的流程如下： 1. 首先，用户在客户端上编写Flink任务代码，并打包成JAR文件。 2. 用户通过Flink的Client API连接到Flink集群的JobManager。 3. 客户端向JobManager提交任务，包括JAR文件、任务配置...

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交