95-090-024-源码-bin脚本-CLI提交Job-Run详解

最新推荐文章于 2022-04-27 16:31:56 发布

九师兄

最新推荐文章于 2022-04-27 16:31:56 发布

阅读量394

点赞数

分类专栏：大数据-flink

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/105415084

版权

大数据-flink 专栏收录该内容

854 篇文章 856 订阅 ¥99.90 ¥299.90

订阅专栏

本文深入探讨Flink客户端通过命令行提交任务时的内部逻辑，尤其是`buildProgram`和`PackagedProgram`的创建过程。主要内容包括：从jar包中获取主类名称、提取任务依赖JAR包以及如何加载执行入口类。建议在提交任务时指定执行入口类以确保程序正确运行。

摘要由CSDN通过智能技术生成

1.视界

2. 概述

请在先阅读：源码-bin脚本-CLI提交Job

内容回顾

Flink客户端通过命令行的形式提交任务时，即执行./flink run xxxx.jar时，真正执行的run逻辑如下：

/**
	 * Executions the run action.
	 *
	 * @param args Command line arguments for the run action.
	 */
	protected void run(String[] args)

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

【FLink源码】 1.13 3 种命令客户端 Generic CLI 、 yarn-cluster、DefaultCLI使用

一杯咖啡半杯糖的博客

11-21

940

综上所述，对于三种Cli，Generic CLI mode、yarn-cluster mode、default mode，无法同时使用，源码使用顺序为Generic CLI mode优先判断，接着是 yarn-cluster mode ，最后是default mode，所以对于三种Cli的参数，不能混用，否则会出现命令不生效的情况，例如下面的参数。Flink在执行命令行提交flink的时候会用到 flink安装目录bin目录下的flink脚本，输入flink -h 可以看到flink如何提交格式。

Flink源码--CLI提交Job

lmalds的专栏

04-14

7956

Flink

参与评论您还未登录，请先登录后发表或查看评论

Spark spark-submit提交Job流程解读

u010374412的博客

11-29

2345

Spark-spark-submit提交Job流程解读spark-submitspark-classload-spark-env.shorg.apache.spark.launcher.MainSparkSubmitCommandBuilder构造方法buildCommandOptionParser 本篇博文详细讲讲spark-submit提交Job流程。 spark-submit spark...

Flink源码解析(从CliFrontend提交开始)-第一期

Airy的博客

04-27

3205

序言经过一段时间对于flink学习且画了一些源码流程相关的图，决定开一个flink源码分析的专栏，该专栏以flink on yarn的 Per-job模式为基础，基于flink1.12.0，以官方SocketWindowWordCount例子来分析一个任务从提交到运行的流程源码分析。那么话不多，直接开始吧。首先我们正常情况下，在该模式下的提交flink任务的脚本入下： flink run -t yarn-per-job -c org.apache.flink.streaming.example.

Flink源码篇 No.1-任务提交之入口及参数解析（per-job on yarn）

pezynd的专栏

10-07

1119

第1章简介本篇文章以一次任务提交为主线，介绍Flink源码中，任务是如何提交的。以下内容基于yarn以per-job模式为例。源码版本Apache Flink 1.12。第2章详细步骤 2.1 flink run 提交作业我们已flink命令提交job为入口，开始了解源码。通常我们使用flink提交作业时，在命令行输入如下命令： bin/flink run -t yarn-per-job /.../***.jar ... 查看flink脚本文件，此脚本文件最后exec就是作业提交

flink源码分析-flink-yarn-session job独立部署模式的任务提交流程

Share With You

05-03

1980

flink（版本1.9.0）源码分析，从源码的角度来分析flink per job on yarn的job提交流程，品读源码的原滋原味

flink教程-详解flink 1.11中的新部署模式-Application模式

公众号[大数据技术与应用实战]，分享大数据实战案例

07-22

7015

目前对于flink来说，生产环境一般有两个部署模式，一个是 session模式，一个是per job模式。session模式共享资源，如果一个任务出现了问题，会影响其他的任务，per job模式需要有大量的jar和资源拷贝，并且生成JobGraph都是在本地做的，如果任务多的话，会给服务器造成很大的压力，所以flink引入了application模式。Yarn Application 模式会在客户端将运行任务需要的依赖都上传到 Flink Master，然后在 Master 端进行任务的提交

【Hive-源码】HQL是如何转换为MR任务的，源码流程解读

一个写湿的程序猿

12-24

1666

这一、Hive的核心组成介绍二、HQL转换为MR任务流程说明三、HQL的读取与参数解析2.1 程序入口 — CliDriver2.2 找到“CliDriver”这个类的“main”方法2.3 主类的run方法2.4 executeDriver方法2.5 processLine方法2.6 processCmd方法2.7 processLocalCmd方法2.8 qp.run(cmd)方法2.9 runInternal方法四、HQL生成AST（抽象语法树）4. compileInternal方法2.4.2 co

saltstack--自动化运维管理

Thorne_lu的博客

06-13

1146

文章目录saltstack简介saltstack通信机制安装与配置远程执行shell命令编写远程执行模块配置管理YAML语法grains与pillar详解grains信息查询自定义grains项编写grains模块grains匹配应用pillar声明pillar自定义pillar数据匹配Jinja模板简介使用方式引用变量Job管理简介管理salt-ssh和salt-syndicsalt-sshsalt-syndicsalt-api配置简介配置使用 saltstack简介 saltstack是一个配置管理系

Flink v1.11 - 官网 - 部署与运维

MiaoSO的博客

09-08

2500

Flink v1.11 - 官网 - 部署与运维 Flink v1.11 - 官网 - 部署与运维一、集群与部署 1.1 概览 1.1.1 部署方式 1.1.2 部署目标 1.1.3 Application Mode 1.2 Local Cluster - 本地集群 1.3 Flink Downloads 1.4 Hadoop Integration - Hadoop 集成 1.5 Standalone Cluster - 独立集群 1.6 YARN 1.6.1 Quickstart 1.6

多台三相逆变器并联（本模型为三台并联，市面上多为两台并联）matlab simulink仿真功能：实现并联系统中各逆变器输出

最新发布

10-09

多台三相逆变器并联（本模型为三台并联，市面上多为两台并联）matlab simulink仿真。功能：实现并联系统中各逆变器输出功率均分。（有能力的话还可以研究下垂特性、功率指令以及静态功工作点三者之间的联系）控制策略：VSG控制策略（同步机控制）逆变器主电路：三相逆变器，LCL滤波电路，VSG控制模块。 VSG控制模块：定、转子方程，dq变，电压电流双闭环，预同步，pwm发生器。

Ringtones波点音乐-《Lightning Moment》.mp3

10-09

Ringtones波点音乐-《Lightning Moment》.mp3

onnx2onnx-0.3.1.tar.gz

10-09

onnx2onnx-0.3.1.tar

网页商城系统 SSM毕业设计源码+数据库+论文（JAVA+SpringBoot+Vue.JS）.zip

10-09

网页商城系统 SSM毕业设计源码+数据库+论文（JAVA+SpringBoot+Vue.JS）启动教程：https://www.bilibili.com/video/BV1GK1iYyE2B

实现卡尔曼滤波器,扩展卡尔曼滤波器,双卡尔曼滤波器和平方根卡尔曼滤波器Matlab代码.rar

10-09

1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

RATIONALYST：预训练过程监督改进推理机制

10-09

内容概要：RATIONALYST 是一种预训练推理模型，旨在改进大型语言模型（LLMs）在处理数学、常识、科学和逻辑推理等多种任务时的表现。通过对来自大规模未标注数据集中提取的隐含推理论据进行训练，解决了传统模型在模拟日常沟通中的逻辑跳跃而带来的推理由不足的问题。相较于现有的同类系统，如GPT-4及其他相同大小或更大的验证模型，RATIONALYST 在七个典型的基准测试上表现得更好。适合人群：自然语言处理研究员与高级工程师。使用场景及目标：研究者可以利用 RATIONALYST 提高对复杂语言和逻辑的理解能力，从而在不同的应用场景下提升系统的准确度和稳定性。其他说明：本论文还附带发布了 GitHub 上该项目的所有代码，可供下载用于继续探索或者作为教学材料帮助相关人员更好地理解这一新的方法和技术路径。

STM32F1 HAL库定时器输入捕获代码

10-09

STM32F1 HAL库定时器输入捕获代码

可持续发展数据库的决策边界可视化(LUsvm-3.23)matlab代码.rar

10-09