flink启动job_Flink源码第一篇：Flink之Job启动流程

最新推荐文章于 2024-05-07 15:49:02 发布

迦勒底搞事先锋

最新推荐文章于 2024-05-07 15:49:02 发布

阅读量708

点赞数

文章标签： flink启动job

本文链接：https://blog.csdn.net/weixin_34175388/article/details/113451583

版权

本文详细介绍了Flink Job的启动过程，从`./bin/flink run`命令开始，探讨了配置初始化及CliFrontend在调度中的作用，揭示了Flink内部的执行流程。

摘要由CSDN通过智能技术生成

Flink启动Job

$ ./bin/flink run examples/streaming/SocketWindowWordCount.jar

先看一下flink脚本内部调度流程

cat flink

大家可以看到flink内部执行流程

初始化config
调用CliFrontend

CliFrontend

类目录：package org.apache.flink.client.cli;打开这个类大家可以看到熟悉的命令

然后观察main函数：

parseParameters执行了什么？

run(params)内部时如何调用的？最后调用了runProgram(customCommandLine, commandLine, runOptions, program);

runProgram()执行流程

private <T> void runProgram(

CustomCommandLine<T> customCommandLine,

CommandLine commandLine,

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

迦勒底搞事先锋

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Flink源码第一篇：Flink之Job启动流程

huzechen的博客

11-06

1304

Flink启动Job $ ./bin/flink run examples/streaming/SocketWindowWordCount.jar 先看一下flink脚本内部调度流程 cat flink 大家可以看到flink内部执行流程初始化config 调用CliFrontend CliFrontend 类目录：package or...

flink实战--flink的job_listener使用解析

阿华田的博客

02-04

721

自定义listener，只需要实现对应的接口。并将您的逻辑写入重写的函数中。Flink JobListener 接口有两种方法，一种是提交，一种是完成。接口的定义如下。两种方法都有两个参数。一个常见的参数是 Throwable。Throwable 参数是进程抛出的错误（如果有）。让我们分别看看这两种方法。Flink JobListener接口：onJobSubmitted顾名思义，只要提交作业以供执行，就会调用此函数内的代码，并调用该方法。

参与评论您还未登录，请先登录后发表或查看评论

Flink命令行启动Job任务

平凡的运维之路的博客

04-11

774

Flink非交互式运行Job任务。Flink命令行启动Job任务。Flink查看当前运行Job。Flink查看当前运行Job。

flink分析使用之四Job的启动

fpcc的专栏

05-19

2714

flink分析使用之四Job的启动一、介绍在老的flink版本中，工作是由Jobmanager（低版本）和JobMaster来管理的，Flink通过JobManager实现Client和TaskManager交互协作，Client将JobGraph提交给JobManager，利用JobGraph实现ExecutionGraph，然后分发到TaskManager上执行。从 flip-6起，开始通...

flink指定jobid

路过君的博客

05-31

2496

版本 flink 1.14.4 方法 Configuration configuration = new Configuration(); configuration.setString(PipelineOptionsInternal.PIPELINE_FIXED_JOB_ID, "xxx"); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(configuration); 源码分析 o

flink启动命令参数_Flink命令行提交job (源码分析)

weixin_39631445的博客

12-24

1881

这篇文章主要介绍从命令行到任务在Driver端运行的过程通过flink run 命令提交jar包运行程序以yarn 模式提交任务命令类似于： flink run -m yarn-cluster XXX.jar先来看一下脚本中的调用类在flink.sh脚本中可以看到提交的命令走到了这样一个外观类上，用于提交job解析用户命令行参数在其main方法中先会解析对应需要的flink参数包括flink-co...

Flink源码解析（1）job启动，从JM到TM过程详解

weixin_51981189的博客

03-15

1239

注：ActorRef就是actor的引用，封装好了actor下面是jm和tm在通讯上的概念图：RpcGateway关注其5个实现类：Dispatcher、ResourceManager、JobMaster、MetricQueryService、TaskExecutor。

Flink源码剖析：flink-metrics-core

foureyes

04-09

1593

文章目录1. flink-metrics-core2. 指标 Reporters2.1 flink-metrics-dropwizard2.2 flink-metrics-graphite2.2.1 配置2.3 flink-metrics-influxdb2.3.1 influxdb基本概念2.3.2 Reporter实现2.3.3 配置2.4 flink-metrics-prometheus2....

flink启动命令参数_flink启动命令参数_基于Flink的实时数据仓库实践分享

weixin_31758621的博客

02-06

932

作者：沈午飞目前就职于科技开发部创新中心 java和python编程技术方向主要服务于数据中台。金融行业作为典型的流式计算应用领域，涵盖了包括用户行为分析、实时营销、个性化推荐、实时风控、实时反欺诈等多个计算场景。以实时金融风控场景为例，需要流式计算系统实时分析海量的用户行为数据，根据既定的规则计算出相应的指标，并与风险模型进行匹配，第一时间判断风险等级、发现异常事件，并作出相应的风险控制措施...

Apache Flink 进阶（六）：Flink 作业执行深度解析

Ververica的博客

10-31

595

本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程，文章将从两个方面进行分享：一是如何从 Program 到物理执行计划，二是生成物理执行计划后该如何调度和执行。Flink 四层转化流程Flink 有四层转换流程，第一层为 Program 到 S...

Flink 部署模式

最新发布

大头皮鞋的博客

05-07

2380

Flink 是一个多功能框架，以混合搭配的方式支持许多不同的部署场景。

flink.4 Deployment Modes (调度模式)

笔生花的博客

08-05

729

这几天查了很多调度模式,大多说的不全面,趁着学习,正好记录一下. .这篇文章着重讲解flink 程序的调度模式,关于jobmanager,taskmanager扽分其他知识,请读者自行查询,也许我后面的文章会讲解,但是这里只讲解flink的三种部署(调度)模式. clent的概念下图显示了Flink集群的构建块。flink程序的运行始于clien也就是你提交程序的代码。client获取Flink应用程序的代码，将其转换为JobGraph并提交给JobManager。 JobManager将工作分发到tas

Flink job cluster on Kubernetes

runzhliu大数据/容器日记

07-20

910

文章目录1 Overview2 Creating the job-specific image3 Deploy Flink job cluster on Kubernetes4 Summary 1 Overview 之前文章介绍了 Flink session cluster on Kubernetes，需要注意，这种部署方式，可以在同一个 Cluster 上多次提交 Flink Job，而本文介绍...

Flink任务提交源码阅读（三）：Job提交 run()

TRX的博客

11-19

1949

接着上面两篇文章： Flink1.9.0任务提交源码阅读（一）：flink脚本 Flink1.9.0任务提交源码阅读（二）：入口类CliFrontend 今天继续阅读Flink1.9.0任务提交源码的run()方法，这个方法是flink任务提交的核心逻辑。 run()的执行逻辑代码： /** * 执行run操作 * * @param args 运行操作的命令行参数。 */ pro...

flink 怎么根据 jobName获取 jobId

初楚凌的专栏

01-28

6745

本文为原创，转载请注明出处！这是一个看起来很简单的事，但是在网上查了好久都没有答案。觉得好奇怪。这个看似简单的问题，官方竟然没有对应的方法？兜兜转转，后来转念想，没有直接的方法的话，那我可以获取到所有的job信息吗？这样一查之后，就有结果了。 flink官方提供了一套监控系统的rest API，可以查到job的所有信息。还是那句话，要好好看官方文档啊！ http://127.0...

一文搞定 Flink Job 的运行过程

shengjk1的博客

04-22

831

背景我们经常通过 Flink Shell 提交代码，如 flink run -p 2 -m yarn-cluster -ynm test -c test ./test-1.0-SNAPSHOT.jar "file" "./test.properties"& 正文总结

flink-Job提交和参数配置

互联网知识分享

05-18

697

可以看到默认的配置文件中taskmanager.numberOfTaskSlots:1 每个TaskManager的slots的个数为1，其实整个设置要根据电脑的cpu核素，如果是2核就可以设置为2(电脑的几核决定了可以同时做几件事情，4核就可以同时做4事情，也就是平行度为4)。（1）fink设置语法env.setParallelism(2)//设置并行度，如果设置的是1，那么在控制台就不会显示，如果设置的是>=1，就会显示。，jar包进行正在远行时 spark或flink集群的webUI是才会启动。

Flink Job启动及执行流程分析

淡定一生2333的博客

06-27

4306

之前写过一篇文章分析过Flink的基本架构，当时大概了解了JobManager、TaskManager、Slot等概念，本文主要是想了解下Flink中Job的执行流程，老是把Job执行当成一个黑盒总感觉难受。之前说过FlinkJob Client负责讲任务提交给JobManager执行，Client可以和JobManager通信获取作业的执行状态。JobManager负责接收Flink作业、资源管理(Slot)、task调度、Checkpoint发起等等，TaskManager负责真正...

Flink 1.12.2 源码浅析 : JobGraph

张伯毅的专栏

04-19

821

.一 .前言二 .数据结构2.1. JobVertex2.2. JobEdge2.3. 数据实例三 .代码浅析3.1. 入口3.2. StreamingJobGraphGenerator 属性3.3. StreamingJobGraphGenerator#createJobGraph3.3. StreamingJobGraphGenerator#setChaining 一 .前言 StreamGraph 转变成 JobGraph 也是在 Client 完成，主要作了四件事： ⚫ StreamNode 转成

深入解析Flink核心执行流程：从源码角度看Job提交

"这篇文档是关于深入理解Apache Flink核心执行流程的，通过源码解析的方式探讨了Flink从启动到执行任务的整个过程。文章首先介绍了从简单的WordCount示例开始，逐步讲解Flink执行环境、算子注册以及执行方法。接着，...