flink启动job_Flink源码第一篇：Flink之Job启动流程

最新推荐文章于 2024-03-28 10:57:21 发布
最新推荐文章于 2024-03-28 10:57:21 发布
阅读量685 收藏
点赞数
文章标签： flink启动job
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34175388/article/details/113451583
版权
本文详细介绍了Flink Job的启动过程，从`./bin/flink run`命令开始，探讨了配置初始化及CliFrontend在调度中的作用，揭示了Flink内部的执行流程。
摘要由CSDN通过智能技术生成

Flink启动Job

$ ./bin/flink run examples/streaming/SocketWindowWordCount.jar

先看一下flink脚本内部调度流程

cat flink

4acd81b301b1c2706a06b761a1c3a207.png

大家可以看到flink内部执行流程

  • 初始化config

  • 调用CliFrontend

ef671f1b24e49b2df3ca43d929963b43.png

CliFrontend

类目录：package org.apache.flink.client.cli;打开这个类大家可以看到熟悉的命令

0c7607c704cbcf7d8d067c7cc07ec2ac.png

然后观察main函数：

a67068651a071b5b7fd9147103beee10.png

parseParameters执行了什么？

e08e7ea049609403e89572c46d720ae6.png

run(params)内部时如何调用的？最后调用了runProgram(customCommandLine, commandLine, runOptions, program);

f877296108b71c7de68889a81ad7c7f9.png

runProgram()执行流程

private <T> void runProgram(

CustomCommandLine<T> customCommandLine,

CommandLine commandLine,

最低0.47元/天 解锁文章
迦勒底搞事先锋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink源码第一篇：Flink之Job启动流程
huzechen的博客
11-06 1271
Flink启动Job $ ./bin/flink run examples/streaming/SocketWindowWordCount.jar 先看一下flink脚本内部调度流程 cat flink 大家可以看到flink内部执行流程 初始化config 调用CliFrontend CliFrontend 类目录：package or...
flink分析使用之四Job的启动
fpcc的专栏
05-19 2616
flink分析使用之四Job的启动 一、介绍 在老的flink版本中，工作是由Jobmanager（低版本）和JobMaster来管理的，Flink通过JobManager实现Client和TaskManager交互协作，Client将JobGraph提交给JobManager，利用JobGraph实现ExecutionGraph，然后分发到TaskManager上执行。从 flip-6起，开始通...
flink指定jobid
路过君的博客
05-31 2361
版本 flink 1.14.4 方法 Configuration configuration = new Configuration(); configuration.setString(PipelineOptionsInternal.PIPELINE_FIXED_JOB_ID, "xxx"); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(configuration); 源码分析 o
flink启动命令参数_Flink命令行提交job (源码分析)
weixin_39631445的博客
12-24 1857
这篇文章主要介绍从命令行到任务在Driver端运行的过程通过flink run 命令提交jar包运行程序以yarn 模式提交任务命令类似于： flink run -m yarn-cluster XXX.jar先来看一下脚本中的调用类在flink.sh脚本中可以看到提交的命令走到了这样一个外观类上，用于提交job解析用户命令行参数在其main方法中先会解析对应需要的flink参数包括flink-co...
Apache Flink 进阶（六）：Flink 作业执行深度解析
Ververica的博客
10-31 580
本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程，文章将从两个方面进行分享：一是如何从 Program 到物理执行计划，二是生成物理执行计划后该如何调度和执行。Flink 四层转化流程Flink 有四层转换流程，第一层为 Program 到 S...
flink.4 Deployment Modes (调度模式)
笔生花的博客
08-05 667
这几天查了很多调度模式,大多说的不全面,趁着学习,正好记录一下. .这篇文章着重讲解flink 程序的调度模式,关于jobmanager,taskmanager扽分其他知识,请读者自行查询,也许我后面的文章会讲解,但是这里只讲解flink的三种部署(调度)模式. clent的概念 下图显示了Flink集群的构建块。flink程序的运行始于clien也就是你提交程序的代码。client获取Flink应用程序的代码，将其转换为JobGraph并提交给JobManager。 JobManager将工作分发到tas
Flink源码解析（1）job启动，从JM到TM过程详解
weixin_51981189的博客
03-15 1132
注：ActorRef就是actor的引用，封装好了actor下面是jm和tm在通讯上的概念图：RpcGateway关注其5个实现类：Dispatcher、ResourceManager、JobMaster、MetricQueryService、TaskExecutor。
Flink源码剖析：flink-metrics-core
foureyes
04-09 1540
文章目录1. flink-metrics-core2. 指标 Reporters2.1 flink-metrics-dropwizard2.2 flink-metrics-graphite2.2.1 配置2.3 flink-metrics-influxdb2.3.1 influxdb基本概念2.3.2 Reporter实现2.3.3 配置2.4 flink-metrics-prometheus2....
flink启动命令参数_flink启动命令参数_基于Flink的实时数据仓库实践分享
weixin_31758621的博客
02-06 890
作者：沈午飞 目前就职于科技开发部创新中心 java和python编程技术方向 主要服务于数据中台。金融行业作为典型的流式计算应用领域，涵盖了包括用户行为分析、实时营销、个性化推荐、实时风控、实时反欺诈等多个计算场景。以实时金融风控场景为例，需要流式计算系统实时分析海量的用户行为数据，根据既定的规则计算出相应的指标，并与风险模型进行匹配，第一时间判断风险等级、发现异常事件，并作出相应的风险控制措施...
flink on yarn-per job源码解析、flink on k8s介绍
最新发布
weixin_51981189的博客
03-28 1092
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
Flink job cluster on Kubernetes
runzhliu大数据/容器日记
07-20 884
文章目录1 Overview2 Creating the job-specific image3 Deploy Flink job cluster on Kubernetes4 Summary 1 Overview 之前文章介绍了 Flink session cluster on Kubernetes，需要注意，这种部署方式，可以在同一个 Cluster 上多次提交 Flink Job，而本文介绍...
Flink任务提交源码阅读（三）：Job提交 run()
TRX的博客
11-19 1910
接着上面两篇文章： Flink1.9.0任务提交源码阅读（一）：flink脚本 Flink1.9.0任务提交源码阅读（二）：入口类CliFrontend 今天继续阅读Flink1.9.0任务提交源码的run()方法，这个方法是flink任务提交的核心逻辑。 run()的执行逻辑 代码： /** * 执行run操作 * * @param args 运行操作的命令行参数。 */ pro...
flink 怎么根据 jobName获取 jobId
初楚凌的专栏
01-28 6572
本文为原创，转载请注明出处！ 这是一个看起来很简单的事，但是在网上查了好久都没有答案。觉得好奇怪。这个看似简单的问题，官方竟然没有对应的方法？ 兜兜转转，后来转念想，没有直接的方法的话，那我可以获取到所有的job信息吗？ 这样一查之后，就有结果了。 flink官方提供了一套监控系统的rest API，可以查到job的所有信息。 还是那句话，要好好看官方文档啊！ http://127.0...
一文搞定 Flink Job 的运行过程
shengjk1的博客
04-22 792
背景 我们经常通过 Flink Shell 提交代码，如 flink run -p 2 -m yarn-cluster -ynm test -c test ./test-1.0-SNAPSHOT.jar "file" "./test.properties"& 正文 总结
flink-Job提交和参数配置
互联网知识分享
05-18 576
可以看到默认的配置文件中taskmanager.numberOfTaskSlots:1 每个TaskManager的slots的个数为1，其实整个设置要根据电脑的cpu核素，如果是2核就可以设置为2(电脑的几核决定了可以同时做几件事情，4核就可以同时做4事情，也就是平行度为4)。（1）fink设置语法env.setParallelism(2)//设置并行度，如果设置的是1，那么在控制台就不会显示，如果设置的是>=1，就会显示。，jar包进行正在远行时 spark或flink集群的webUI是才会启动。
FlinkJob提交和参数配置
互联网知识分享
08-02 2125
提交和参数配置的理论解释、标题序号分点说明以及完整的代码案例。的参数配置主要包括并行度、时间特性、重启策略等。的重启策略为固定延迟重启策略，最大重启次数为。在实际运行时，可以通过命令行工具。的调度中心，负责接收和处理。图进行任务的调度和执行。网络缓冲区的大小，默认为。网络缓冲区的大小，默认为。可用的任务槽数量，默认为。的地址和端口号，以便与。进程的内存大小，默认为。的堆外内存大小，默认为。的堆外内存大小，默认为。进程的内存大小，默认为。的堆外内存大小，默认为。的堆外内存大小，默认为。
第四章 Flink基础理论之运行模式及任务提交模式
qq_27924553的博客
09-29 2735
Flink部署 & 运行模式 & 任务提交模式
Flink 1.12.2 源码浅析 : JobGraph
张伯毅的专栏
04-19 778
.一 .前言二 .数据结构2.1. JobVertex2.2. JobEdge2.3. 数据实例三 .代码浅析3.1. 入口3.2. StreamingJobGraphGenerator 属性3.3. StreamingJobGraphGenerator#createJobGraph3.3. StreamingJobGraphGenerator#setChaining 一 .前言 StreamGraph 转变成 JobGraph 也是在 Client 完成，主要作了四件事： ⚫ StreamNode 转成
flink常用参数说明
热门推荐
暮紫的笔记本
03-03 1万+
一、flink run参数： flink run命令执行模板：flink run [option] -c,–class : 需要指定的main方法的类 -C,–classpath : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://） -d,–detached : 在后台运行 -p,–parallelism : job需要指定env的并行度，这个一般都需要设置。 -q,–sysoutLogging : 禁止logging输出作为
深入解析Flink核心执行流程：从源码角度看Job提交
"这篇文档是关于深入理解Apache Flink核心执行流程的，通过源码解析的方式探讨了Flink从启动到执行任务的整个过程。文章首先介绍了从简单的WordCount示例开始，逐步讲解Flink执行环境、算子注册以及执行方法。接着，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值