Flink入门（8）-Flink作业提交流程

最新推荐文章于 2023-08-25 11:09:37 发布
VIP文章 最新推荐文章于 2023-08-25 11:09:37 发布
阅读量580 收藏 3
点赞数 13
分类专栏： flink入门 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38813363/article/details/114385488
版权

Flink作业提交流程

概述

1.在Flink Client中，通过反射启动jar中的main函数，生成FlinkStreamGraph和JobGraph，将JobGraph提交给Flink集群
2.Flink集群收到JobGraph（JobManager收到）后，将JobGraph翻译成ExecutionGraph,然后开始调度，启动成功之后开始消费数据。

在这里插入图片描述
在这里插入图片描述
pipelineExecutor有多种实现，
session模式下：AbstractSessionClusterExecutor
per-job模式下：AbstractJobCl

最低0.47元/天 解锁文章
颜渊月和F
关注
  • 13
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flink三种提交方式
GavinKai
10-30 7807
第一种方式：YARN session 操作步骤 说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.
Flink on yarn 的restful api 简单备份实践
qq_31866793的博客
01-15 2533
业务需求： 通过yarn的restful api简单的对提交到yarn的flink任务进行运行状态预警监控。 官方文档地址： Apache Hadoop 3.2.2 – ResourceManager REST APIs. yarn的restful api： 1， 2， 3， 4， 5， 6， ...
flink-shaded-hadoop-3下载
05-19
flink-shaded-hadoop-3下载
Flink 任务提交流程（一图流）
weixin_46416699的博客
12-10 1202
flink提交任务的四个流图的转变
最新发布
lijian972的博客
08-25 172
flink流图的转换
flink源码分析-flink-yarn-session共享模式下job提交流程分析
Share With You
05-05 1678
前言 之前的文章中已对flink-yarn-session的独立模式下job的提交流程进行了分析，今天在此基础上，对flink-yarn-session的共享模式下job提交流程进行分析。 flink-yarn-seesion共享模式job提交流程分析 前面文章中已经介绍了flink-yarn-session的独立模式与共享模式出现的分支节点在org.apache.flink.client....
Flink源码解析（四）Flink应用程序的提交
Yuan_CSDF的博客
08-11 1298
这里包含Graph的处理，最终生成物理执行图，以及Slot到发布Task到TaskExecutor上运行。如下所示： Flink编程套路总结 Flink提交执行脚本分析 Flink CliFronted提交应用程序源码剖析 ExecutionEnvironment源码解析 Job提交流程源码分析 StreamGraph构建和提交源码解析 JobGragh构建和提交源码解析 ExecutionGragh构建和提交源码解析 Slot管理（申请）源码解析 Task提交到Task...
flink任务提交,查询,停止工具
czladamling的博客
11-21 2002
因项目，需要在spring boot后台项目中集成flink任务提交，查询之类的功能，所有有了这个项目这个项目，可以通过java api的形式，帮助你提交，查询，暂停flink任务，也可以构建和关闭flink yarn session集群。主要通过restful接口和构建jobGraph实现。
源码分析 | ClickHouse和他的朋友们（4）Pipeline处理器和调度器
dbkernel 的博客
07-10 383
本文首发于 2020-06-12 20:57:10最后更新: 2020-08-15本文谈下 ClickHouse 核心科技：处理器 Processor 和有向无环调度器 DAG Scheduler。这些概念并不是 ClickHouse 首创，感兴趣的同学可以关注下 materialize 的 timely-dataflow，虎哥用 golang 也写过一个原型。拼的是实现细节，正是这些模块的精良设计，才有了 ClickHous e整体的高性能。在传统数据库系统中，一个 Query 处理流程大体是:其中在 P
flink-table-planner-blink-2.11-1.12.7-API文档-中文版.zip
07-07
赠送jar包：flink-table-planner-blink_2.11-1.12.7.jar； 赠送原API文档：flink-table-planner-blink_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-planner-blink_2.11-1.12.7-sources.jar； 赠送Maven依赖...
flink-connector-clickhouse_2.12-1.13.6
09-21
flink-connector-clickhouse_2.12-1.13.6 flink版本1.13.6 ClickHouse：20.9.2.20 scala:2.12
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）
05-07
Apache Flink（flink-1.15.0-bin-scala_2.12.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行...
flink-1.14.0-bin-scala_2.11.tgz
07-18
flink-1.14.0-bin-scala_2.11.tgz
详解Flink作业提交流程
slivelight的博客
03-27 4988
一、提交流程 Flink 作业在开发完毕之后，需要提交到 Flink 集群执行。ClientFronted 是入口，触发用户开发的 Flink 应用 Jar 文件中的 main 方法，然后交给 PipelineExecutor（流水线执行器，在 FlinkClient 升成 JobGraph 之后，将作业提交给集群的重要环节。）#execue 方法，最终会选择一个触发一个具体的 PiplineExecutor 执行。 提交模式又可分为： Detached：Flink Client 创建完集
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 4909
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
【Flink Rest-ful API 】
追赶者的博客
03-31 1338
Flink 有了一些查询job状态指标的API,这些监控API is a REST-ful API 接受 HTTP 请求并返回JSON data ；这些监控API以jobManager中web server 为基础，默认其监听端口为8081，当然你可以在flink-conf.yaml配置中通过rest.port 自定义其端口，下面我们就对其REST-ful API 进行尝试。 一：Flink 上传jar包REST-ful API PO...
Flink 作业提交
qq_24186017的博客
09-19 310
.Flink作业是如何提交到集群的？
Flink restful API demo
文报的博客
10-14 4451
主要解决用flink的restful API 来启动和停止yarn上的flink任务github地址:https://github.com/wenbaoup/flink-restful-demo package com.wenbao.flink.restful.flink; import com.alibaba.fastjson.JSONObject; import org.apache.h...
clickhouse 连接外部数据源（Mysql Kafka）
weixin_38813363的博客
02-19 2533
clickhouse连接mysql数据源 在linux123上建立好测试的数据库和表并插入数据 create database bigdataClickHouse; use bigdataClickHouse; create table student( id int, name varchar(40), age int); insert into student values(3,'jack',12); insert into student values(4,'jac
flink通过flink-connector-tidb-cdc使用streamapi方式连接tidb
04-04
Flink通过Flink-connector-tidb-cdc连接TiDB的过程如下： 1. 准备工作 在开始使用Flink-connector-tidb-cdc之前，需要准备以下内容： - TiDB实例 - TiCDC组件 - Flink-connector-tidb-cdc依赖的jar包 2. 创建...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值