【Yarn】Yarn App 启动源码

于 2023-04-25 21:30:59 发布
阅读量320 收藏
点赞数
分类专栏： 大数据-hadoop 文章标签： java 网络 服务器
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125963181
版权
大数据-hadoop 专栏收录该内容
128 篇文章 480 订阅 ¥29.90 ¥99.00
订阅专栏
本文深入探讨了YARN框架中的ResourceManager和NodeManager的设计与功能，详细介绍了它们的内部组成、事件处理机制以及在YARN中提交任务的流程。ResourceManager作为集群资源管理者，与NodeManager通过RPC进行通信，而NodeManager负责管理单个节点的Container。此外，文章还阐述了应用提交到YARN集群的标准执行流程。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

上一篇文章：【Yarn】Yarn 状态机 运行体系

在YARN中，ResourceManager 负责集群中所有资源的统一管理和分配， 它接收来自各个节点(NodeManager) 的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationMaster)。

ResourceManager

YARN的ResourceManager是集群主节点，内部运行非常重要的三个RPC服务端，分别为Client, ApplicationMaster, NodeManager 提供服务。

在这里插入图片描述

  • ResourceTracker: NodeManager 通过该RPC协议向ResourceManager

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Spark On YARN启动流程源码分析
METON的博客
04-04 1290
1、spark-submit入口介绍 一般的spark作业都是通过命令行spark-submit相关的指令来进行提交，使用--master yarn来指定提交到对应的yarn集群上，如下： ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory
《YARN源码分析二》RM处理client 提交任务阶段
最新发布
zhangxiping
07-02 772
ResourceManager 处理client提交任务阶段
Hadoop之Yarn源码解析（四）
prefect_start的博客
12-19 1264
5、Yarn源码解析 工作机制 源码解析启动流程 5.1、 Yarn客户端向RM提交作业 1）在wordcount程序的驱动类中点击 Job.java boolean result = job.waitForCompletion(true); public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException,
源码学习：yarn application 状态机
PeersLee的博客
05-15 736
目录 RMApp 是 ResourceManager 中用于维护一个 Application 生命周期的数据结构，由 RMAppImpl 实现，该类维护了一个 Application 状态机，记录了一个 Application 可能存在的各个状态 RMAppState 以及导致状态间转换的事件 RMAppEvent。 状态迁移图 RMAppState public enum RMAppState { // 初始状态 NEW, // RM 接受到 client 的 app sub.
Yarn源码剖析（三）--- ApplicationMaster的启动
weixin_42642341的博客
08-28 7149
前言 在上文Yarn源码剖析（二） --- spark-submit，我们介绍了spark任务通过spark-submit提交任务至yarn申请资源至启动的全流程，本篇将介绍启动过程中ApplicationMaster（后文简称AM）是如何启动。 AM的启动与Container的申请 1. 在Yarn源码剖析（二）中yarnClient最终调用submitApplication方法提交任务，...
flink on yarn 启动源码分析
weixin_39545874的博客
03-14 727
flink on yarn 启动问题   有两个月没发文了，这次在沉寂了两个月后带来的是我们在日常启动flink时大都会遇到的一个问题，不过也困扰了我断断续续有两天时间，后来在拨云见日之后发现豁然开朗的本质，其实，我们的解决问题时，有时候还是只浮于表面，而没有看到深藏冰面以下的那一角，所以继续努力是少不了的，那么切开问题，我们来从现象入手吧！ 1.flink启动现象   我们还在用flink on...
Yarn -- HA源码剖析
weixin_42642341的博客
10-07 649
HA简介 HA(High  Available)，高可用性集群，是保证单点故障问题（指单点故障会引起系统整体故障的问题）的有效解决方案，一般有两个或两个以上的节点，且分为活动节点（active）及备用（standby）节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务，保证集群的稳定性。 Yarn HA -- 集群的初始化 ...
Spark On Yarn 源码分析
sinat_23257429的博客
01-13 1060
首先说明下AppMaster 与Driver 的区别，每个运行在yarn上的服务都需要有一个AppMaster,而Driver是一个Spark任务特有的，Driver 会负责创建SparkContext对象【内部维护了用于任务划分以及执行的DAGScheduler以及TaskScheduler】，DAGScheduler会将任务划分为job stage 然后交给TaskScheduler调度分配给Executor执行。【注：Driver 不仅仅可以用来创建SparkContext 还可以做一些其他的需求..
Hadoop Yarn作业调度本地性源码分析
weixin_42473019的博客
10-12 554
1、Yarn的调度本地性是指将作业分配到数据所在节点，可以减少很多网络IO，对MR作业来说，只有map task有本地性需求，reduce task和failed map task都没有本地性需求 2、Yarn的调度本地性是通过延迟调度来满足的，本地性有3个级别：节点本地、机架本地和随意调度，当调度不能满足本地性时，调度器会计算错过的调度机会数量，并等待该计数达到阈值，然后将本地性约束放宽到下一个级别 3、为了调度到满足数据本地性的节点，可以错过一定数量的调度机会，这个错过机会数量的阈值由以下参数控制： F
yarn-stasher-app
03-11
为了深入了解yarn-stasher-app的具体功能和使用方法，我们需要查看项目源代码（从`yarn-stasher-app-master`这个文件名推测，这可能是项目的源码仓库）。通过阅读README文件、示例代码和测试用例，我们可以学习如何...
基于react+yarn+antD设计的博客前端展示界面源码.zip
06-04
本文将详细解析基于React、yarn和Ant Design构建的博客前端展示界面的源码，旨在帮助读者理解并掌握这些技术在实际项目中的应用。 React，全名React.js，是Facebook开发的一个用于构建用户界面的JavaScript库，尤其...
【Yarn】hadoop的yarn资源队列
热门推荐
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
【yarn】yarn 命令行查看 资源状态
九师兄
01-11 1万+
这个命令句就可以 , 查看集群的资源情况 , 包括正在使用的情况.如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存。本次是因为yarn界面现场不给开放一个任务总是说资源不足。
【hadoop】java 获取 yarn app 信息 报错 ConfiguredRMFailoverProxyProvider - Failing over to rm2
九师兄
04-07 5587
java 获取 yarn app 信息 报错 这个原因是没有配置相关的 2.场景2 本次是对方kerberos认证环境出现问题，也会报错这个 改问题最终解决，参考：【hadoop】java连接hadoop Kerberos 24小时过期问题
ogon denied for user/password. Able to find the database server and database, but the login request
九师兄
02-23 4119
背景：安装好了CDH 5.15.2集群的时候，安装Hive的时候，连接出问题，总是连接不上，使用工具可以远程连接，但是CDH页面不能连接。 报错信息 2019-02-22 22:45:37,478 INFO 1942664326@scm-web-85:com.cloudera.cmf.service.ServiceHandlerRegistry: Executing host command Hi...
hadop 查看DataNode的资源使用情况信息（web接口）
九师兄
10-18 4034
文章目录1.概述2. 配置3. 实例 1.概述 2. 配置 3. 实例 自己搭建一个hadoop本地集群后，访问 http://localhost:8088/ws/v1/cluster/metrics <?xml version="1.0" encoding="utf-8"?> <clusterMetrics> <appsSubmitted>0</...
AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs
九师兄
05-15 3043
背景 做kylin 的时候，执行了 hive的命令，是hive数据的重新分布 结果在reduce的时候阻塞了。 查看原因为 AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs 这个问题出现的背景是：商品表 txt文件 5.4G 一共1亿数据 类别表 17M 100万条数据 临时解决办法是...
【hadoop】java.io.IOException: No FileSystem for scheme: hdfs
九师兄
10-22 2847
异常 java.io.IOException: No FileSystem for scheme: hdfs 我是想用hive的sql解析方法解析sql，测试类是可以运行的，但是使用java -cp jar包运行就报这个错。 hadoop解决： conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem") ...
Spark on YARN 实现深度解析
"Spark源码解析，探讨Spark on YARN的实现细节，主要基于Spark 1.0.0版本。" Spark on YARN是Apache Spark与Hadoop YARN（资源调度器）集成的一种方式，允许Spark应用在YARN集群上运行。在Spark源码系列的第七部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值