Hadoop-Yarn作用及其优点

最新推荐文章于 2024-04-26 17:11:57 发布
最新推荐文章于 2024-04-26 17:11:57 发布
阅读量2.5k 收藏 5
点赞数
分类专栏： Hadoop 文章标签： hadoop 分布式 yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44129784/article/details/109506958
版权

Yarn

Hadoop2.x版本出现

Yarn

角色

  • ResourceManager 管理集群资源
  • NodeManager 管理各个结点自身资源
  • AppMaster 一次任务调度的领导
  • Container 容器，分配资源用于一个Task的执行

资源管理

RM(ResourceManager)，了解集群中所有结点的资源信息。

NM(NodeManager)掌握本台机器的资源信息，并需要定期向RM汇报自己的资源信息。

MapReduce on Yarn

  1. MR-Cli将任务所需文件（Jar（代码）、XML（参数）、切片信息（输入数据））上传到HDFS
  2. MR-Cli到RM上申请执行这个任务所需的
  3. RM找一台较为空闲的NM启动一个Container，并放射一个AppMaster，用于调度本次任务
  4. AppMaster从HDFS下载切片信息，再到RM上申请资源
  5. RM再通过AppM
最低0.47元/天 解锁文章
eddieVim
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop面试题---Yarn的作用以及工作机制
qq_39872456的博客
02-13 6764
一、Yarn的作用 在大数据生态环境中，yarn主要有两个作用：资源管理和程序调度。 二、Yarn的组成 主要由ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件 构成。 三、Yarn的基础架构 （1）ResourceManager作用： 1）处理客户端请求；2）监控NodeManager，对各个NodeManager上的资源进行统一管理和调度；3）给ApplicationMaster分配空闲的Container运行并监控其运行状态；
Hadoop中的YARN是什么？请解释其作用和架构。
jakelihua
09-12 1034
ResourceManager（资源管理器）：ResourceManager是YARN的核心组件之一，负责整个集群的资源管理和分配。YARN是Hadoop的一个重要组件，它是一个资源管理器和作业调度器，用于管理和调度集群中的计算资源。通过这些组件的协同工作，YARN实现了一个灵活的资源管理和作业调度框架，可以支持各种计算模型和应用程序，包括MapReduce、Spark、Hive等。YARN的作用是将集群中的计算资源（CPU、内存等）进行有效的管理和分配，以满足不同应用程序的需求。
Yarn的优势？
最新发布
Rverdoser的博客
04-26 272
这意味着，无论在哪个环境中，只要使用Yarn进行安装，都能得到一致的依赖版本。Yarn的工作区功能让你可以在单个仓库中管理多个相互依赖的子项目，这对于进行组件化开发的团队来说，无疑是一个强大的工具。想象一下，你的项目需要安装数十个甚至上百个依赖项，而Yarn可以在同一时间内处理多个依赖项，这无疑大大缩短了等待时间。Yarn，这个现代化的JavaScript包管理器，正在逐渐超越传统的NPM，成为越来越多开发者的首选。Yarn采用了并行下载的方式，与NPM的串行安装相比，大大提升了安装依赖项的速度。
hadoop系统中yarn的作用
hanyong4719的博客
12-08 3371
ResourceManager，NodeManager，ApplicationMaster，Container,同样下面亦是yarn结构图。 ResourceManager是全局的，负责对于系统中的所有资源有最高的支配权。 ApplicationMaster 每一个job有一个ApplicationMaster 。 NodeManager，NodeManager是基本的计算框架。 No...
十七、Hadoop核心组件之Yarn
象在舞的技术专栏
08-26 1300
本文主要介绍Hadoop的另一个核心组件——Yarn，关注专栏《from zero to hero（Hadoop篇）》查看相关系列的文章~ ...
hadoop之yarn
luo981695830的博客
01-26 4597
yarn介绍 yarn是Apache Hadoop YARN，hadoop中的组件，是英文简称，全程是Yet Another Resource Negotiator，另一种资源协调者，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 hadoop进行资源管理和任务调度的是resourcemanager。后面会更新google三篇论文和yarn的演变过程 yarn的web界面..
hadoop-yarn-client-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-yarn-client-2.6.5.jar； 赠送原API文档：hadoop-yarn-client-2.6.5-javadoc.jar； 赠送源代码：hadoop-yarn-client-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-client-2.6.5.pom；...
hadoop-yarn-common-2.6.5-API文档-中文版.zip
04-07
赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...
hadoop-yarn-api-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-yarn-api-2.5.1.jar； 赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后...
hadoop-yarn-server-timelineservice-2.10.1.jar
04-10
timelineservice jar包
hadoop-yarn-server-nodemanager-2.6.0.jar
02-24
java运行依赖jar包
Hadoop——Yarn
qq_42056492的博客
11-05 287
Hadoop——Yarn yarn官方文档 1. Yarn功能介绍：   yarn为hadoop的分布式集群资源管理系统，市hadoop2.0的一特性。其特点为     1、支持非mapreduce应用的需求     2、可扩展性     3、提高资源是用率     4、用户敏捷性     5、可以通过搭建为高可用 2.Yarn组成部分： ResourceManger   ResourceManger用来主要有两个功能。一个是任务分配，一个是资源调度。其中ApplicitionManager执行任务分配
hadoop中各组件的作用
u012155582的专栏
08-09 1万+
Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…   1.HDFS:分布式文件系统，隐藏集群细节，可以看做一块儿超大硬盘          主：namenode,secondarynamenode          从：datanode   2.Yarn:分布式资源管理系统，用于同一管理集群中的资源（内存等）          主：Resourc
yarn的作用以及执行流程
xiaoruoxian的博客
04-17 1万+
一.什么是yarn YARN 是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、 NodeManager（NM）、ApplicationMaster（AM）。 ResourceManager 负责所有资源的监控、分配和管理； ApplicationMaster 负责每一个具体应用程序的调度和协调； NodeManager 负责每一个节点的维护。 对于所有的 ...
YARN的主要组件及功能简介
热门推荐
kopshome的专栏
03-07 1万+
--总体概述      --yarn总体上是Master/slaves结构,整个架构中,resourcemanager(RM)是主节点,nodemanager(NM)是从节点,RM对NM上的资源进行统一管理和调度;当用户提交一个应用程序后,需要提供一个跟踪,管理这个程序的applicationMaster(AM),AM负责像RM申请资源,并要求NM启动可以占用一定资源的任务,不停的AM分配到不同
HDFS、YARN、Mapreduce简介
weixin_34417814的博客
10-10 496
一、 HDFS介绍： Hadoop2介绍 HDFS概述 HDFS读写流程 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要运用于分...
hadoop2.x学习笔记（一）：YARN
weixin_30325793的博客
04-28 78
一、YARN产生的背景 MapReduce1.x存在的问题：单点故障&节点压力大不易扩展。 资源利用率&成本 催生了YARN的诞生 不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度。 XXX on YARN的好处：与其他计算框架共享集群资源，按资源需要分配，进而提高集群资源的利用率。 XXX：Spark/MapReduce/Storm/F...
[hadoop] yarn的组成架构及其各角色的作用
朱同学的博客
09-25 2130
yarn工作机制详细步骤及流程图: https://blog.csdn.net/a755199443/article/details/101381503 yarn是hadoop2.0后推出的资源调度框架,它由以下部分组成: 1）ResourceManager（RM） （1）处理客户端请求 （2）监控NodeManager （3）启动或监控ApplicationMaster （4）资源的分配与调度 ...
Yarn工作原理(大数据学习14)
逆流而上Mr李
03-11 467
YARN是一个集群资源的管理与任务调度的分布式框架 Yarn的组件架构： Yarn 架构图 Yarn 架构图运行流程 客户端提交应用程序给ResourceManager ResouceManager会生成ApplicationMaster,并在某一个节点...
Running 'bower install --allow-root' in /usr/demo/bigtop/build/hadoop/rpm/BUILD/hadoop-3.3.5-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-ui/target/webapp下载的资源在哪个目录下
05-09
`bower` 默认会将下载的资源文件存放在当前工作目录下的 `bower_components` 目录中。因此，下载的资源文件应该在 `/usr/demo/bigtop/build/hadoop/rpm/BUILD/hadoop-3.3.5-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-ui/target/webapp/bower_components` 目录下。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值