Hadoop资源管理框架YARN

最新推荐文章于 2024-07-10 18:18:15 发布
最新推荐文章于 2024-07-10 18:18:15 发布
阅读量252 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuyunyang210/article/details/93889966
版权
本文详细介绍了Hadoop的YARN资源管理框架，包括ResourceManager的资源分配、调度器的工作机制（FIFO、Capacity、Fair调度器）、NodeManager的节点管理、ApplicationMaster的角色与任务、资源模型和Container的概念，以及应用程序依赖文件的管理。YARN通过ApplicationMaster与NodeManager交互，实现资源的精细化管理和高效利用。
摘要由CSDN通过智能技术生成

YARN框架示意图如下：

https://i-blog.csdnimg.cn/blog_migrate/bd4cbaa66fecbb6db7bb32c69edad336.png

1、 ResourceManager

　　为系统中所有应用分配资源。

有一个可插拔的调度器Scheduler，负责为运行中的各种应用分配资源，使用一个叫Container的抽象概念，其中包括多种资源维度，如CPU、内存、磁盘、网络。

Scheduler中有三种调度器

　　FIFO调度器：简单粗暴，先入先出

　　Capacity调度器：管理员使用总槽位或者处理器容量预设多个队列，保证每个队列的最小资源量。当不需要最小容量时，可以提供给饥饿队列。每个队列内使用层次化的FIFO调度多个应用程序。由ACL（访问控制列表）控制用户可以向哪些队列提交作业

　　Fair调度器：资源公平分配给所有应用，使得所有应用在平均时间下得到相等的份额。每个应用都属于某一个队列。Container每次分配都选择使用了最少资源队列中使用最少资源的应用程序。Fair调度器支持层次化队列࿰

最低0.47元/天 解锁文章
至秦墨
关注
专栏目录
【Yarn】分布式资源管理框架Yarn
pengpengsays
08-18 356
分布式资源管理框架Yarn 诞生背景 在Hadoop 1.x中，是没有Yarn这个分布式资源管理框架的，它在Hadoop 2.x中首次推出。它诞生的原因其实很简单，就是Hadoop 1.x中的架构存在一些问题。 Hadoop 1.x中包括HDFS和MapReduce。其中MapReduce身兼两职，它既是计算框架，又是资源管理框架。 它的架构是主从架构，其中Job Tracker为主节点，Task Tracker为从节点。 但Job Tracker既做资源管理，又做任务调度，负载太大。Client（客户端
Hadoop 资源管理框架 YARN : ResourceManager
AI天才研究院
09-14 9415
ResourceManager 核心功能 集群资源统一管理和调度 NodeManager(管理)：接受资源汇报信息 ApplicationMaster(管理)：分配资源 客户端(响应)：处理请求 通信 (三个角色通信) 1. 与NodeManager通信(ResourceTracker ) 注册、心跳(汇报节点健康状况)、Container运行状态 领取执行指令(启动/清理/删除Cont...
Yarn资源管理框架
crazy_scott的博客
11-04 525
简单介绍Yarn。 背景介绍 MapReduce v1 JobTracker Manage Cluster Resources & Job Scheduling TaskTracker Per-node agent Manage Task 其中，JobTracker承担了太多的任务 作业管理 状态监控，信息汇总 任务管理 调度，监控 资源管理 MapRe...
Hadoop 之分布式资源管理框架YARN
EdwardWang_的博客
05-29 1739
 1, YARN 概述        YARN 是“ Yet Another Resource Negotiator”的简称。在进一步了解 YARN 框架之前我们需要知道，相比较而言， MapReduce 则是 YARN 的一个特例。 YARN 则是 MapReduce 的一个更加通用和高级的框架形式，并在其上增加了更多的功能。例如通过加载分布式执行脚本可以在集群节点上执行独立的脚本任务，并且更多...
修复hadoop集群时间与系统时间不一致问题
小白菜
01-12 9800
重启了hadoop集群主机之后，hadoop集群log中的时间一直不是系统时间，不知是装系统时的遗留问题（安装系统时区没有更改过）还是怎么。通过浏览http://hadoop:60010/jmx可看到user.timezone（时区）的value值是/America/New_York，并不是我们当前系统的时区。目前我的解决方法是添加hadoop、yarn和hbase的env的配置文件内容，分别如下：
hadoop、yarn时间与集群时间不同
hyunbar的博客
07-10 795
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env.sh export TZ="Asia/Shanghai" 查看linux集群时区： ...
Hadoop资源管理器YARN详解
最新发布
07-11
### Hadoop资源管理器YARN详解 #### 一、引言 随着大数据处理需求的日益增长，Hadoop作为主流的大数据处理平台之一，其资源管理能力对于提高整体系统的性能至关重要。YARN（Yet Another Resource Negotiator）是...
Hadoop——分布式资源管理框架YARN总结
阿楠的博客
04-09 1515
分布式资源管理框架YARN 1. YARN概述   YARN是“Yet Another Resource Negotiator”的简称。   在进一步了解 YARN 框架之前我们需要知道，相比较而言，MapReduce 则是 YARN 的一个特例。 YARN 则是 MapReduce 的一个更加通用和高级的框架形式，并在其上增加了更多的功能。例如通过加载分布式执行脚本可以在集群节点上执行独立的脚本...
Hadoop资源管理器YARN详解_2024-07-09_08-51-33
kkchenjj的博客
07-10 1107
通过上述流程和管理机制，YARN为Hadoop集群提供了强大的资源管理和任务调度能力，使得Hadoop集群可以支持多种类型的应用程序，提高了集群的利用率和灵活性。YARN (Yet Another Resource Negotiator) 是Hadoop 2.0中引入的资源管理框架，它将资源管理和作业调度/监控分离，使得Hadoop能够更好地支持多种计算框架。YARN的调度器负责资源的分配和调度，确保集群资源的高效利用。：最简单的调度器，按照作业提交的顺序进行调度。
Hadoop平台技术 模块4 资源管理框架Yarn-单元设计.docx
07-12
【Hadoop平台技术 - YARN资源管理框架】 在Hadoop生态系统中，YARN（Yet Another Resource Negotiator，另一种资源协调者）是核心的资源管理框架，它的设计目标是解决早期Hadoop版本中MapReduce的局限性，实现了...
HDFS LocalResource
wujun8的专栏
09-16 1779
在实现一个Yarn Application的过程中，免不了与
Resource Localization in YARN: Deep Dive
Yannick Jiang 的专栏
04-08 469
Resource Localization in YARN: Deep Dive by:Vinod Kumar Vavilapalli This post is authored by Omkar Vinit Joshi with Vinod Kumar Vavilapalli and is the ninth post in the multi-part blog series onApa...
深入理解 YARN Resource Localization
http://www.54tianzhisheng.cn/
03-18 823
一个Applciation运行在YARN上的流程为，从YARN Client向ResourceManager提交任务，将Applciation所需资源提交到HDFS中，然后Resource...
ApplicationMaster,ResourceManager和NodeManager通信过程
SummerMangoZz的博客
05-22 7126
ApplicationMaster与ResourceManager和NodeManager的交互：       rpc交互: 1.与ResourceManager交互，ApplicationMaster可获得计算所需的资源                2.与NodeManager交互，ApplicationMaster可启动计算任务并监控它的生命周期 1.ApplicationMast
Hadoop的资源管理——Yarn初探
SG的专栏
12-11 3324
首次接触Hadoop是在2011年，当时主流版本是0.20.2，很多介绍hadoop的经典书籍也是基于那个经典的版本。0.20.2虽然经典，但也有很多不够完善的地方，比如namenode的性能瓶颈，jobtracker和tasktracker资源管理机制不够高效等等。在这些制约下，当年的雅虎也有单集群5000节点，秒级terasort的成绩，可见Hadoop是一个非常成功的分布式系统。Hadoop...
Yarn的原理与资源调度
yunpiao123456的专栏
07-01 1万+
本节，主要介绍yarn的基本原理以及资源调度。在hadoop1.0不能满足多系统集成的背景下孕育了yarn的产生。由于多分布式系统可以很好的集成，因此yarn的出现使得整个集群的运维成本大大降低。同时，yarn可以很好的利用集群资源，避免资源的浪费。除此之外，yarn的出现实现了集群的数据共享问题。不同的分布式计算框架可以实现数据的共享，比如hadoop的mapreduce输出可以作为storm的
hadoop介绍
热门推荐
引用原创内容标明出处即可
04-08 3万+
目录 大数据与Hadoop Hadoop模块： Hadoop Common： Hadoop 分布式文件系统 (HDFS)： Hadoop YARN： Hadoop MapReduce： Hadoop生态圈组件： Spark（分布式计算框架） Flink（分布式计算框架） Zookeeper（分布式协作服务） Sqoop（数据同步工具） Hive/Impala（基于Hadoop的数据仓库） HBase（分布式列存储数据库） Kafka（分布式消息队列） Tez（数据流编程框架）
YARN架构和资源管理
he_321的博客
11-05 2227
架构Hadoop1和Hadoop2区别yarn架构图resourcemanager全剧的资源管理器，整个集群只有一个，负责集群整个资源的统一管理和调度分配功能： 处理客户端请求 启动/监控ApplicationMaster 监控NodeManager 资源调度与分配 NodeManager整个集群有多个，负责单结点的资源管理和使用功能： 单个结点上的资源管理和任务管理 处理来自ResourceMan
YARN资源管理器(Resource Manager、Node Manager、Application Master 、Container)
bigdata_player
01-15 9724
HADOOP 1.0存在的问题 HDFS1.0存在的问题： Namenode单点故障：集群的文件都是以“块(block)”的形式存储，并且为了容错，每个block有多个副本。namenode需要记录整个集群所有block及其副本的元数据信息（fsimage：文件目录结构，block和文件的映射关系等）和操作日志（edits），因此，在hadoop1.0框架中，namenode设计为单个节点，通...
深入解析YARN：Hadoop资源管理框架详解
"Hadoop技术内幕：深入解析YARN架构设计与实现原理"，作者董西成，是关于YARN的一部专著，详细介绍了YARN的基础、设计理念、架构、...通过阅读，读者可以掌握YARN的核心原理，从而更好地利用这个强大的资源管理框架。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值