Flink内核原理学习（一）任务提交流程

最新推荐文章于 2023-02-07 17:29:00 发布
VIP文章 最新推荐文章于 2023-02-07 17:29:00 发布
阅读量1.4k 收藏 6
点赞数 1
分类专栏： 大数据相关 面试 文章标签： flink hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38836273/article/details/116430131
版权

Flink内核原理学习之任务提交流程

文章目录

Java、大数据开发学习要点（持续更新中…）

  首先要知道的是，Flink作业提交是由PipelineExecutor(流水线执行器)在Flink Client生成JobGraph后将作业提交给集群的重要环节。PipelineExecutor按照集群作业执行模式主要分为Session、Per-Job、Local模式，其中Local是本地调试时使用的所以不参与后续讨论。

一、Flink任务提交流程(yarn-per-job模式)

  Per-Job模式中每个任务都会在YARN上重新启动集群。根据官方文档说法&#

最低0.47元/天 解锁文章
oahaijgnahz
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink技术原理
05-10
华为教程，内容由浅入深，适合各个层次学习，欢迎大家讨论
熬了一宿，为大家整理出来Flink on Yarn的三种部署方式，详细介绍，不仅仅皮毛哦
Chad_it的博客
10-22 1673
Flink on Yarn的三种部署方式，Session模式，Per-Job模式，application模式，他们为何会诞生，我们要用哪种模式来部署
yarn原理_Flink on Yarn–Per Job 与 Yarn–Session原理及区别
weixin_39592789的博客
12-13 1538
导读：Flink集群部署的方式有多种，如Flink Standalone、Flink on Yarn、Flink on Kubernetes等。其中Flink on Yarn又分为Yarn–Per Job模式与Yarn–Session模式。本文主要讨论关于Flink on Yarn–Per Job 与 Yarn–Session原理及区别，目录如下：yarn 架构原理-总览yarn 架构原理-组件y...
Flink的Yarn-Per-Job提交指令
mp9105的博客
05-18 9529
Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务 主要描述该部分的提交流程 1.提交任务 提交任务主要是通过./bin/flink run -t yarn-per-job完成 常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -
Flink三种提交方式
GavinKai
10-30 7777
第一种方式：YARN session 操作步骤 说明 1 yarn-session.sh(开辟资源)+flink run(提交任务) 这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.
flink提交作业到yarn
chanyue123的博客
12-01 7554
讲解flink如何提交到yarn
易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）
m0_58046550的博客
11-29 2084
易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）Flink on Yarn模式:一般企业使用，资源管理交由Yarn来管理，做一个简单的单词计算
Flink1.11 任务提交方式笔记
欲望以提升热忱 毅力以磨平高山
11-11 2410
环境： CDH : 6.2.0 Hadoop: Hadoop 3.0.0-cdh6.2.0 Flink:Version: 1.11.2, Commit ID: fe36135 Flink Session模式 # 启动yarn session 用以提交任务 bin/yarn-session.sh -d -qu root.zm_yarn_pool.production -jm 1024 -tm 2048 -s 4 -nm flink-cluster-pro # wordcount测试用例..
Flink实战案例（五十二）: flink 作业提交（二）yarn 提交模式（一） Flink on YARN Session模式
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1622
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1. Flink on YARN两种方式 　　Flink on YARN 有两种模式：Session模式和Per-Job模式。在Session模式中多个 JobManager 共享 Dispatcher 和 YarnResourceManager。在这种模式下，需要先向 YARN 申请资源，初始化一个常驻服务在 YARN 上，后续提交的Job都将运行在这个Session上： ..
flink per-job模式启动命令参数详解
m0_58820420的博客
04-19 3438
注意 如果进行了换行 \ 符号要带上
Flink基本工作原理
02-24
Flink是新的stream计算引擎，用java实现。...主要工作原理如下图用户首先提交Flink程序到JobClient，经过JobClient的处理、解析、优化提交到JobManager，最后由TaskManager运行task。JobClient是Flink程序和
Flink架构、原理与部署测试
01-27
ApacheFlink能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不...
flink学习教程，flink学习案例
05-15
flink学习教程，flink学习案例
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
3.Flink-On-Yarn开发使用\原理\Session会话模式\Per-Job模式
涂作权的博客
07-06 1672
本文来自：Flink1.12-2021黑马程序员贺岁视频3.Flink-On-Yarn开发使用 3.1.原理 3.2.两种模式 3.2.1.Session会话模式 3.2.2.Per-Job模式 3.3.操作 3.4.测试 3.4.1.Session会话模式 3.4.2.PerJob模式为什么使用flink on yarn ? 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：具体步骤： 准备Flink程序jar和配置 0：提交 1：上传任务/依赖jar,配置到hdf
Flink作业提交流程
WHY的博客
02-07 1605
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
flink部署模式（二）- yarn三种部署模式
weixin_38251332的博客
06-20 1421
基于flink1.15.0开启flink yarn-session集群 提交任务进入客户端交互界面强制杀掉任务NOTE： 启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager启动perjob集群 查看集群上运行的job ./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1652928425471_0252 取消某个job**NOTE：**在per
Flink 1.12.2 源码浅析 : yarn-per-job模式解析 [一]
张伯毅的专栏
03-12 2194
.一 .前言二 .启动程序入口2.1. 启动数据服务端2.2. 提交Flink 任务.三 .flink命令入口3.1. 提交命令3.2. DEBUG环境准备3.3. 构建测试入口类: CliFrontendTest四 . CliFrontend4.1. CliFrontend#main4.2. CliFrontend#parseAndRun(args)4.3. CliFrontend#run4.4. CliFrontend#executeProgram4.5. ClientUtils#executeProg
Flink实时数据处理实践经验(Flink去重、维表关联、定时器、双流join)
weixin_38836273的博客
04-17 6158
Flink实时数据处理实践经验 文章目录Flink实时数据处理实践经验1. 数据输入与预处理2. 实时数据处理3. 实时数仓架构4. 优化方案 Java、大数据开发学习要点（持续更新中…） 首先需要知道的一些知识： Flink中所说的UDF在官方文档中定义为用户自己通过继承类或实现接口的自定义类、已有方法中传入匿名内部类、在已有函数中用Lambda表达式。 Flink实现结果实时展示(一些简单的分组聚合逻辑)可以直接在流中分组聚合写入Redis/MySQL，而需要在线实时多维分析需要将数据存入Cl
Flink任务提交流程
最新发布
06-02
Flink任务提交的流程如下： 1. 首先，用户在客户端上编写Flink任务代码，并打包成JAR文件。 2. 用户通过Flink的Client API连接到Flink集群的JobManager。 3. 客户端向JobManager提交任务，包括JAR文件、任务配置参数等信息。 4. JobManager接收到任务提交请求后，会进行任务的检查和解析，包括检查JAR文件是否存在、解析任务配置参数等。 5. 如果任务检查和解析通过，JobManager会为该任务生成一个唯一的JobID，并将任务相关的数据（如JAR文件、任务配置参数等）上传到Flink集群的分布式文件系统中。 6. 然后，JobManager会将任务的执行计划提交到Flink集群的ResourceManager，请求资源以执行任务。 7. ResourceManager根据集群资源情况，为该任务分配所需的资源。 8. 任务开始执行，由JobManager负责协调和监控任务的执行过程。 9. 任务执行完成后，JobManager会将任务的执行结果返回给客户端。 10. 客户端可以通过Flink的REST API或Web UI等方式查看任务的状态和结果。 需要注意的是，Flink任务提交的流程可能因版本或使用方式的不同而略有差异。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值