【Flink】FLink 是如何与Yarn交互请求Container的

已于 2023-12-30 14:00:46 修改
阅读量201 收藏 1
点赞数 2
分类专栏： 大数据-flink 大数据-hadoop 文章标签： flink jvm java
于 2023-07-11 21:12:30 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126294118
版权
大数据-flink 同时被 2 个专栏收录
839 篇文章 853 订阅 ¥99.90 ¥299.90
订阅专栏
大数据-hadoop
128 篇文章 480 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细介绍了Flink如何在YARN上请求Container来启动ApplicationMaster。从YarnJobClusterEntrypoint的main方法开始，经过一系列步骤，包括创建ResourceManager和ActiveResourceManager，最终通过Yarn客户端申请资源，深入理解Flink on YARN的资源申请过程。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

上一篇文章：【Flink】YARN Container 启动上下文

最近在学习yarn，所以想看看flink on yarn 是在哪里请求container的。

这里后续发现有更好的流程，请看文档：Hadoop YARN权威指南.pdf 第10章Apache Hadoop YARN应用程序范例。这个讲解的比较清楚。

2.ApplicationMaster

我们先看看yarn的ApplicationMaster在哪里启动，首先看 org.apache.flink.yarn.YarnClusterDescriptor#startAppMaster

这里我们看本次文章重要的点setupApplicationMasterContainer

  // todo: 九师兄
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
flink on yarn的实现及交互过程
penriver的博客
09-10 962
1 yarn 基本架构 yarn是一个资源管理与调度平台，不仅hadoop跑在上面，flink也可以直接向yarn申请资源并运行上去。 yarn使用cgroup隔离资源，实现了container。 Resource Manager组件管理集群资源。 Node Manager组件管理1台机器，在上面运行Container。 Container是一个具体容器，分配一定的CPU、内存、磁盘资源，在上面运行具体的任务 2 向yarn提交应用 向yarn提交应用的交互过程，大体如下 3 Flink on Yar
Flink_Flink On Yarn_flink资源slots 与 Yarn中container, 以及 cores 之间的关系
迎难而上
05-26 4364
Based on Flink 1.10.1 本文主要讲解下 flink 中 flink-conf.yaml 中有关 slots 的 配置，与 Yarn 中 container 以及 cores 的相应关系。 主要涉及以下两个参数 # The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline. taskmanager.numberOfTaskSlots: 2...
概谈Flink基础理论
weixin_44389063的博客
07-20 477
Flink概述 Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。 DataStream API，对数据流进行流处理操作，将流式
Flink 1.10 Container 环境实战
Ververica的博客
05-27 601
整理 | 张壮壮（Flink 社区志愿者）摘要：本文根据 Apache Flink 系列直播整理而成，由阿里巴巴高级开发工程师唐云（茶干）分享。主要内容如下：容器管理系统的演变Flink...
Flink container exit 143 问题排查
最新发布
shengjk1的博客
05-08 658
文章主要介绍了作者在开发一个基于状态计算各种汇总数据的Flink作业时遇到的问题排查过程。作者一开始遇到报错后尝试调大Flink参数解决问题，但仍出现FullGC严重的情况。经过查看数据量、增大内存和排查后发现是由于Metadata内存分配失败导致的FullGC，最终调大JVM metadata阈值解决了问题。
Flink部署
weixin_45650737的博客
01-31 229
1.Standalone模式 下载链接：https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.12.tgz https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar #flink-conf jobma
【Flink】flink提交到yarn时 自定义container的提交命令
九师兄
07-03 275
在【Flink】FLink 是如何与Yarn交互请求Container的文章中，我们知道了Flink是如何启动ApplicationMaster的，以及如何申请Container的，然后在里面我们看到一个配置* 2022/8/11 下午10:19 lcc 九师兄* todo: 【Flink】flink提交到yarn时 自定义container的提交命令然后使用的代码如下。
Flink On Yarn
weixin_45520075的博客
07-23 757
Yarn模式 Yarn是一个分布式集群资源管理框架，在Yarn集群上可以部署运行各种分布式式应用程序。例如：Mapreduce，Spark。Yarn框架为这些分布式应用程序运行提供了可靠的支持。 因为在生产开发环境中很少使用Standalone模式，Flink On Yarn模式用的稍微多一点，今天我们就来讲讲Flink On Yarn 第一种方式 在Yarn集群中初始化一个Flink集群，该Flink集群占用着指定的资源，以后提交 ...
Flink 异常 - 11.单台 Container 内存异常增加导致 Container 被 kill 排查
BITDDD小栈
10-24 1855
Flink running beyond physical memory limits Container 被 kill 问题分析与排查。
flink on yarn模式下的，flink中的slot，taskmanage，parallelism，以及yarn中的container，vcore，memory它们之间的关系
qq_21451945的博客
09-24 4397
第一点 yarn集群上同时能跑多少任务是有限定的，这个限定就是yarn上的vcore和memory这两个参数。但是它是可以根据你的配置文件可以调的，修改yarn-site.xml文件中的（这个是yarn默认的，就算不配置也是这样） <property> <name>yarn.nodemanager.resource.cpu-vcores</n...
Flink学习笔记：2、Flink介绍
程裕强的专栏
11-29 3718
2、Flink介绍Some of you might have been already using Apache Spark in your day-to-day life and might have been wondering if I have Spark why I need to use Flink? The question is quite expected and the com
Flink On Yarn container频繁被Kill
淡定一生2333的博客
08-09 2339
Q3经验案例 将Flink Job提交到Yarn上运行，命令行中指定：-p 3 –yts 1，那么便会启动一个拥有3个TaskManager的Flink集群，在Yarn中对应的就是3个container。 但是运行一段时间后发现其中某个Container会反复重新启动，如下图所示，Container的编号都到49了： 从TaskManager的Flink WebUi界面点击进去，查询到对应的Container的日志文件位置，在文件中找到了如下内容，发现Container被Kil...
Flink 集群/任务容器化
runzhliu大数据/容器日记
07-20 983
文章目录1 Overview2 Docker Compose3 Example4 Summary 1 Overview /path/to/flink/flink-container/docker ├── Dockerfile ├── README.md ├── build.sh ├── docker-compose.yml ├── docker-entrypoint.sh └── test-job...
阿龙学堂-Flink简介
热门推荐
CD
03-29 8万+
1.Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。 在国外一些社区，有很多人将大数据的计算引擎分...
Flink技术原理
曹世宏的博客
06-02 1万+
Flink简介 Flink概述： Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并发化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink与Storm类似，属于事件驱动型实时流系统。 Flink特点： Streaming-first、流处理引擎。 Fault-tolerant，容错，可靠性，checkpoint...
flink 相关container异常导致作业重启
wppwpp1的专栏
02-01 428
1、错误信息如下： 2021-02-01 13:44:47 org.apache.flink.util.FlinkException: The assigned slot container_e01_1598716932073_7076_01_000036_0 was removed. at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlot(SlotManager.java:1195) at org
flink提交到yarn时, 自定义container的提交命令
jeseva的博客
03-11 422
在flink提交命令到yarn时,有时需要添加自定义的命令或者参数, 那么可以使用 -yD yarn.container-start-command-template 来实现. -yD yarn.container-start-command-template="%java% %jvmmem% %jvmopts% %logging% -Dkafka.servers=xx.xx.xx.xx:9092,xx.xx.xx.xx:9092,xx.xx.xx.xx:9092 -Dflink.job.yarn.
Flink：Container is running beyond virtual memory limits
moewifj的博客
04-11 1893
问题描述： 以Yarn模式启动Flink时提示：The Flink Yarn cluster has failed. 详细错误信息为：Container [] is running beyond virtual memory limits. Current Usage: 200MB of 1GB physical memory used; 2.6GB of 2.1GB virtual memo...
Flink集群部署：Standalone与Yarn模式
在Standalone模式中，我们主要关注如何配置和启动Flink集群，而在Yarn模式下，Flink任务与Hadoop的集成成为重点。" 在【Flink篇02】中，我们首先讨论了Flink Standalone模式的部署步骤： 1. **修改配置文件**：在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值