95-090-020-源码-bin脚本-CLI提交Job

最新推荐文章于 2024-04-17 15:49:35 发布

九师兄

最新推荐文章于 2024-04-17 15:49:35 发布

阅读量390

点赞数

分类专栏：大数据-flink

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/105415014

版权

大数据-flink 专栏收录该内容

854 篇文章 856 订阅 ¥99.90 ¥299.90

订阅专栏

本文详细解析了Flink命令行接口（CLI）的工作原理，包括加载配置、构造`CliFrontend`、执行Job的主要步骤。重点讨论了Yarn模式和默认模式的命令行加载、安全机制的安装以及Job执行过程。

摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

2. 概述

Flink提供了一个命令行接口，来运行并控制打包后的jar文件中的程序。其是Flink安装的一部分，在本地以及分布式模式下都可以使用。CLI命令接口位于:

$flink_home/bin/flink

当提交Job后，其默认会连接到Flink的JobManager。

提交Flink的Job有一个前提，即JobManager必须处于运行中，Flink有3种运行运行模式：

本地模式：$flink_home/bin/start-local.sh

集群模式：$flink_home/bin/start-cluster.sh

Yarn或Mesos环境

3.使用语法

具体的语法参见࿱

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

95-090-024-源码-bin脚本-CLI提交Job-Run详解

九师兄

07-03

394

1.视界 2. 概述请在先阅读：源码-bin脚本-CLI提交Job 内容回顾 Flink客户端通过命令行的形式提交任务时，即执行./flink run xxxx.jar时，真正执行的run逻辑如下： /** * Executions the run action. * * @param args Command line arguments for the run action. ...

95-090-022-源码-bin脚本-CLI提交Job的时候加载插件

九师兄

07-03

396

1.视界 2. 概述 org.apache.flink.client.CliFrontend中的CliFrontend的main方法,是一个提交Job的入口，提交的时候，会加载相关的插件。此类是所有Job的入口，通过读取flink的环境、配置信息，并根据用户提供的jar包和入口类，进行最终的Job提交。 /** * Submits the job based on the argument...

参与评论您还未登录，请先登录后发表或查看评论

Flink源码--CLI提交Job

wppwpp1的专栏

11-08

197

Spark spark-submit提交Job流程解读

u010374412的博客

11-29

2345

Spark-spark-submit提交Job流程解读spark-submitspark-classload-spark-env.shorg.apache.spark.launcher.MainSparkSubmitCommandBuilder构造方法buildCommandOptionParser 本篇博文详细讲讲spark-submit提交Job流程。 spark-submit spark...

Flink内核源码（一）任务提交流程

小朱小朱绝不认输的博客

07-12

2656

Flink内核源码学习，对于Yarn-per-job模式的任务提交过程，通过源码深入了解执行过程。

RuoYi-Cloud部署实战（手动部署）

冰可乐味儿的深哥哥、

04-17

2717

1.若依源码和架构 2.准备工作 3.本地部署步骤 4.上云部署步骤（手动）

Flink源码学习一客户端提交yarn-job任务源码处理 1.17分支

weixin_47019045的博客

09-30

983

flink -h调用的shell脚本位于flink bin目录下的flink脚本执行。去到脚本最后一行，可以看到实际是启用了一个java程序可以看到shell脚本实际调用的是org.apache.flink.client.cli.CliFrontend这个类的main方式执行程序。

Flink源码分析(1)Flink Per-Job启动流程分析

道可道非常道

03-09

522

通过深入源码，你将更好地理解Flink的执行模型、任务调度策略和容错机制。此外，学习Flink提交流程的源码还有助于扩展Flink，定制化特定功能，以满足个性化需求。根据shell脚本内容可知，紧接着调用了org.apache.flink.client.cli.CliFrontend.main执行flink任务，同时将shell参数原样传递给Flink程序;这里主要通过反射方式调用执行用户代码程序，这个方法调用成功后就进入到了我们自己编写程序的main方法，即WordCount.main()方法。

Flink 1.9 实战 SQL-- 实践补充

qq_31866793的博客

09-04

3382

这个代码云邪分享的，已经实践，这里只是补充一点注意事项： 1，在文中的jar要下载了，直接复制地址，然后放入flink lib目录下，最后一定一定要重启Flink集群（不重启的后果就是报错找不到kafka，或者找不到mysql jdbc） 2，第二点是mysql的表，要自己去设置主键，要不然每次结果都是新增 3，还有你的环境可能是在window开发 linux运行，可以自己封装一下执行脚本，...

flink on yarn-per job源码解析、flink on k8s介绍

weixin_51981189的博客

03-28

1126

YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。

多台三相逆变器并联（本模型为三台并联，市面上多为两台并联）matlab simulink仿真功能：实现并联系统中各逆变器输出

最新发布

10-09

多台三相逆变器并联（本模型为三台并联，市面上多为两台并联）matlab simulink仿真。功能：实现并联系统中各逆变器输出功率均分。（有能力的话还可以研究下垂特性、功率指令以及静态功工作点三者之间的联系）控制策略：VSG控制策略（同步机控制）逆变器主电路：三相逆变器，LCL滤波电路，VSG控制模块。 VSG控制模块：定、转子方程，dq变，电压电流双闭环，预同步，pwm发生器。

Ringtones波点音乐-《Lightning Moment》.mp3

10-09

Ringtones波点音乐-《Lightning Moment》.mp3

onnx2onnx-0.3.1.tar.gz

10-09

onnx2onnx-0.3.1.tar

网页商城系统 SSM毕业设计源码+数据库+论文（JAVA+SpringBoot+Vue.JS）.zip

10-09

网页商城系统 SSM毕业设计源码+数据库+论文（JAVA+SpringBoot+Vue.JS）启动教程：https://www.bilibili.com/video/BV1GK1iYyE2B

实现卡尔曼滤波器,扩展卡尔曼滤波器,双卡尔曼滤波器和平方根卡尔曼滤波器Matlab代码.rar

10-09

1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

RATIONALYST：预训练过程监督改进推理机制

10-09

内容概要：RATIONALYST 是一种预训练推理模型，旨在改进大型语言模型（LLMs）在处理数学、常识、科学和逻辑推理等多种任务时的表现。通过对来自大规模未标注数据集中提取的隐含推理论据进行训练，解决了传统模型在模拟日常沟通中的逻辑跳跃而带来的推理由不足的问题。相较于现有的同类系统，如GPT-4及其他相同大小或更大的验证模型，RATIONALYST 在七个典型的基准测试上表现得更好。适合人群：自然语言处理研究员与高级工程师。使用场景及目标：研究者可以利用 RATIONALYST 提高对复杂语言和逻辑的理解能力，从而在不同的应用场景下提升系统的准确度和稳定性。其他说明：本论文还附带发布了 GitHub 上该项目的所有代码，可供下载用于继续探索或者作为教学材料帮助相关人员更好地理解这一新的方法和技术路径。

STM32F1 HAL库定时器输入捕获代码

10-09

STM32F1 HAL库定时器输入捕获代码