YARN面试题

VIP文章 已于 2022-10-11 12:03:52 修改
阅读量607 收藏 1
点赞数 1
分类专栏： 面试 Hadoop 文章标签： 面试 java 经验分享
于 2022-10-11 11:31:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42322454/article/details/127260197
版权

YARN面试题

在这里插入图片描述

YARN资源调度平台三大组件

  • Resource Manager（RM） ：负责资源的分配与调度，接收客户端请求、监控NodeManager以及Application Master
  • Node Manager（NM） ：负责管理本机资源，处理Resource Manager与Application Master相关命令
  • Application Master（AM） ：运行在NodeManager节点中，负责向Resource Manager申请资源并分配给内部任务和任务监控、容错以及销毁等工作（每个Job任务都有一个对应的AppMaster）

YARN提交MR的流程

① 客户端提交任务到Yarn集群中的RM
② 然后RM随机找一台有资源的NM节点，用于启动AppMaster程序。节点启动后，AppMaster汇报给RM并建立心跳机制
③ RM准备好AppMaster申请的资源信息，等待AppMaster的拉取
④ AppMaster拉取到了相关的资源后连接对应NM节点, 让其启动MapTask和ReduceTask并占用相关的资源，同时反向注册回AppMaster
⑤ AppMaster开始任务分配工作。各个任务向AppMaster汇报自己的状态和进度，

最低0.47元/天 解锁文章
Kazi_1024
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据面试题（四）：Yarn核心高频面试题
Lansonli（蓝深李）的博客
11-25 1422
目前，Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。具体设置详见：yarn-default.xml文件1、先进先出调度器（FIFO）2、容量调度器（Capacity Scheduler）3、公平调度器（Fair Scheduler）
Hadoop面试题（四）——YARN
qq_41544550的博客
02-17 952
1、简述hadoop1与hadoop2 的架构异同   1）加入了yarn解决了资源调度的问题。   2）加入了对zookeeper的支持实现比较可靠的高可用。 2、为什么会产生 yarn,它解决了什么问题，有什么优势？   1）Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。   2）Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapre...
Yarn面试题
m0_49190756的博客
05-29 176
1.Yarn任务提交过程 1.Client向rm提交程序，申请运行时需要的资源 2.ResourceManager收到请求之后，调用ApplicationManager向NodeManager发送请求，申请一个资源（Container），并且要求Container启动ApplicationMaster. 3.ApplicationMaster启动之后，首先注册自己到ResourceManager，然后为自己的Task申请Container，ResourceManager收到请求之后，会要求NodeMa
yarn面试题汇总大全
hongmofang10的博客
03-06 2344
yarn主要作用 资源管理，任务调度 yarn的结构 yarn总体上是master/slave结构，主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件组成。 2.1 RM RM负责处理客户端请求，对各NM上的资源进行统一管理和调度，给AplicationMaster分配空闲的Container运行并监控其运行状态，主要由调度器和应用程序管理器构成。 调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配的单位是Containe
大数据面试之YARN常见题目
luoyepiaoxue2014的博客
12-11 644
大数据面试之YARN常见题目
hadoop面试题
12-04
整合网上的hadoop面试题，并结合自己面试遇到的面试题，整合到一起
大数据底层原理和基础概念面试题30道
11-08
1 、Hadoop是什么？它能做什么？ 2 、Hadoop和MapReduce的关系是什么？ 3 、Hadoop中的HDFS是什么？它有哪些优点？ 4 、HDFS的组成结构是...18、YARN中的ResourceManager和NodeManager的作用分别是什么？ 。。。。。。
大数据Spark面试题汇总
04-12
大数据Spark面试题汇总，共有79道面试题以及题目的解答 部分题目如下： 1. spark 的有几种部署模式，每种模式特点？ 2. Spark 为什么比 mapreduce 快？ 3. 简单说一下 hadoop 和 spark 的 shuffle 相同和差异？ 5. ...
Hadoop基础面试题（附答案）
08-29
Hadoop基础面试题（附答案）
【大数据面试】YARN常见问题与答案
话数Science
12-18 497
YARN常见问题与答案 介绍下YARN： YARN有几个模块 YARN工作机制 YARN有什么优势，能解决什么问题? YARN容错机制 YARN高可用 YARN调度器 YARN中Container是如何启动的? YARN的改进之处，Hadoop3.x相对于Hadoop 2.x? YARN监控
Hadoop面试题---Yarn的作用以及工作机制
qq_39872456的博客
02-13 6470
一、Yarn的作用 在大数据生态环境中，yarn主要有两个作用：资源管理和程序调度。 二、Yarn的组成 主要由ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件 构成。 三、Yarn的基础架构 （1）ResourceManager作用： 1）处理客户端请求；2）监控NodeManager，对各个NodeManager上的资源进行统一管理和调度；3）给ApplicationMaster分配空闲的Container运行并监控其运行状态；
大数据面试题：介绍下YARN
qq_41544550的博客
03-29 2931
介绍下YARN
2022年Hadoop面试题最全整理，两万字干货分享【建议收藏】
Maynor996的博客
03-17 1131
HadoopHadoop 中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。1. 请说下 HDFS 读写流程imgHDFS 写流程：1.客户端发送上传请求，并通过RPC与NameNode建立通信。NameNode检查用户是否有上传权限，上传的文件在HDFS对应的目录下是否同名。如果其中任何一个不满足，就会直接报错。如果两者都满...
大数据中hadoop中yarn的调度算法
a18379692263的博客
12-09 1678
目前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。 CDH 框架默认调度器是 Fair Scheduler。不同的设置可以在yarn-default.xml文件中查看。 1、先进先出调度器（FIFO） FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先...
3万字长文-大数据Yarn最全面试题及参考答案（持续更新）
最新发布
linweidong的专栏
05-04 101
在YARN中，Container是资源的抽象表示，它封装了一定量的系统资源，如内存、CPU、磁盘和网络带宽。资源规格：Container定义了一组资源规格，包括内存大小、CPU核心数等。执行环境：Container提供了一个执行环境，允许任务在其资源限制内运行。隔离性：不同Container之间是相互隔离的，一个Container内的应用程序不能访问另一个Container的资源。生命周期管理：Container有其生命周期，包括初始化、运行、停止和释放资源。任务封装。
Yarn面试题：Yarn作业执行流程
谦卑t
11-28 2440
1.用户向 YARN 中提交应用程序，其中包括 MRAppMaster 程序，启动 MRAppMaster 的命令，用户程序等。 2.ResourceManager 为该程序分配第一个 Container，并与对应的 NodeManager 通讯，要求它在这个 Container 中启动应用程序 MRAppMaster。 3.MRAppMaster 首先向 ResourceManager 注册...
面试在即，整理了一些关于Hadoop Yarn的面试题
小蜜蜂博客
03-29 1325
目录 问：什么是Yarn？ 问：Yarn有什么特点？ 问：为什么要使用Yarn。 问：说一说Yarn的基本架构吧。 问：Yarn内部是由什么组成的？ 问：请简单说明一下Yarn的运行流程是怎样的。 问：Yarn在运行过程中负责给应用分配资源的是什么。 问：Yarn有几种调度方式，分别是什么？ 问：什么是Yarn？ 答：是一种新的 Hadoop 资源管理器，它是一个通用资源管...
谈一谈你对yarn 的理解？（大数据面试题系列！！！）
03-04 2280
YARN 是hadoop 的集群资源管理器。Yarn 在Hadoop2 中被引入，是为了要改善MapReduce1 的实现，但它具有足够的通用性，同样也支持其他的分布式计算模式。 MapReduce1 的实现机制 MapReduce 包括几个高级组件。主进程JobTracker是所有MapReduce 作业的信息交流中心。每个节点都有一个TaskTracker进程，管理相应节点的任务。TaskTr...
HIVE 面试题 理论
08-16
- *1* *3* [Hive面试题汇总大全](https://blog.csdn.net/hongmofang10/article/details/114447239)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值