分布式资源调度框架YARN

最新推荐文章于 2024-07-25 09:11:28 发布
最新推荐文章于 2024-07-25 09:11:28 发布
阅读量115 收藏
点赞数 2
分类专栏： hadoop 文章标签： hadoop yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/timicai/article/details/108602509
版权
本文详细介绍了YARN作为Hadoop 2.x的资源管理系统，其核心思想是将资源管理和任务调度分离，提供统一资源管理和调度。内容涵盖YARN的基本架构、核心组件，包括ResourceManager和NodeManager，以及ApplicationMaster和Container的角色。此外，还阐述了YARN的工作机制、MapReduce在YARN上的提交过程、JobHistoryServer的启动和资源调度器的类型。最后，列举了一些常用的YARN管理命令。
摘要由CSDN通过智能技术生成

分布式资源调度框架YARN

YARN概述

YARN是hadoop2.X版本引入的集群资源管理系统
YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离

  • 通用的资源管理系统，可为不同的应用（MapReduce、Spark、Flink等）提供统一的资源管理和调度
  • 它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

YARN的基本架构核心组件

  1. YARN的架构是master/slaves的主从架构
  • master:ResourceManager–>全局资源管理
     负责集群全局统一的资源管理、调度、分配
  • slave:NodeManager–>节点资源管理器
      启动了NodeManager进程的节点
      负责管理节点的资源及使用情况
  1. YARN核心组件（包含ResourceManager和NodeManager）
    ApplicationMaster
    Container

YARN架构核心组件-ResouceManager

  1. ResourceManager组成
  • ResourceScheduler–>资源调度器，根据节点的容量、队列情况，为应用程序分配资源
  • Application Manager–>应用程序管理器，负责接受Client端传输的job请求
  1. ResourceManager功能
  • 处理客户端请求
    • <
最低0.47元/天 解锁文章
习惯de味道
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式资源管理与任务调度框架Yarn
chxlloli的博客
02-11 343
一，Yarn简介 1、Yarn是什么 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率 2、产生背景 在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker，我们称之为MRv1。 Master
YARN（资源调度框架）
longshuo1995的博客
05-10 325
Yarn（分布式资源管理框架）
最新发布
2302_76694571的博客
07-25 622
容量调度器是一种较为传统的调度策略，它提供了一种分层队列的资源管理方式，允许管理员预定义队列结构并为每个队列分配资源容量。Capacity Scheduler 支持队列间的资源隔离，并且可以为不同的队列设置不同的调度策略，如 FIFO、Fair 或者其他自定义策略。这种策略的优点在于能够保证长期运行的任务获得稳定的资源供应，但缺点是在资源紧张时可能会限制新任务的执行。
资源调度框架YARN简述
fort110的博客
02-19 603
YARN的产生背景（通俗讲就是需要在不同时间使用不同的工具来处理数据，需要一个工具来调度，这个工具就是yarn）：YARN的架构：重要的组件介绍：1）resource manager（RM）：整个集群同一时间提供服务的RM只有一个（公司中会有一个备用的），负责集群资源的统一管理处理客户端（client）的请求：提交一个作业、杀死一个作业监控NM，一旦NM节点挂掉，上面运行的任务如何处理要告诉AM来...
资源调度管理器
张不帅
11-09 1072
Hadoop的作业调度器主要有三种:FIFO ,Capacity Scheduler 和Fair Scheduler 2.7.2版本默认是Capacity Scheduler 配置yarn-default.xml文件 &lt;property&gt; &lt;description&gt;The class to use as the resource scheduler.&lt;/descr...
从零学习Yarn—Hadoop生态圈（三）
wsjslient的博客
12-06 291
Yarn目录一、Yarn基本架构1.ResourceManager1.1 主要功能1.2 核心组成2.NodeManager3.ApplicationMaster4.Container 一、Yarn基本架构         Yarn主要由 ResourceManager、 NodeManager、 ApplicationMaster和 Container等组件构成。 1.ResourceManager  &nbsp
Hadoop--分布式调度平台YARN--YARN集群搭建
大魔王
02-22 402
Yarn是Hadoop提供的自动化调度平台，可以实现MapReduce计算任务的自动化调度。 yarn是一个分布式程序的运行调度平台。 yarn中有两大核心角色： Resource Manager 接受用户提交的分布式计算程序，并为其划分资源 管理、监控各个Node Manager上的资源情况，以便于均衡负载 Node Manager 管理它所在机器的运算资源（cpu + 内存） ...
开源组件系列（9）：资源管理与调度系统（YARN）
晓阳的数据小站
03-09 1419
目录 （一）概述 （二）YARN基本架构 （三）YARN高可用性 （四）YARN工作流程 （五）YARN资源调度器 （六）YARN的具体调度场景 （七）YARN资源隔离 （八）YARN生态系统 （九）资源管理系统架构演化 （一）概述 YARN作为一个通用的资源管理系统，目标是将短期作业和长期服务混合部署到一个集群中，并为它们提供统一的资源管理和调度功能。YARN是大数据...
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
weixin_46838716的博客
06-02 613
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
资源调度框架YARN
qq_14814971的博客
08-02 653
hadoop1.x中MapReduce存在的问题：1.单点2.节点压力大YARN：Yet Another Resource Negotiator(另外一种资源协调者) 是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度。 它的引入为集群在利用率，资源统一管理和数据共享等方面带来了巨大的好处YARN架构： 核心组件： ResourceManager NodeMan
大数据（hadoop-分布式搭建和yarn）
06-12 170
分布式搭建步骤 1：克隆一台机器完成后，按以下步骤进行修改（作为源克隆主机） 1）修改网卡信息，路径/etc/sysconfig/network-scripts 2）删除70-persistent-net.rules这个文件，路径在：/etc/udev/rules.d ...
yarn相关常见知识点
L13763338360的博客
09-15 825
1. YARN架构 1.1 ResourceManager 整个集群资源的主要协调者和管理者，负责给用户提交的所有应用程序分配资源。 1.2 NodeManager 每个节点的管理者，主要负责该节点内所有容器的生命周期管理，监视资源和跟踪节点健康。 1.3 ApplicationMaster 在用户提交一个应用程序时，yarn会启动一个轻量级的进程ApplicationMaster负责协调来自RM的资源，通过NM监视容器内资源的使用情况。...
YARN的体系结构
happy19870612's blog
11-19 3363
YARN主要是对hadoop集群资源进行管理。跟HDFS一样，他也是基于Master/Slave　主从架构，主要包括ResourceManager，NodeManager，ApplicationMaster。 Master是ResourceManager：负责所有资源的监控，分配和管理。接收来自各个NodeManager的资源汇报信息，并把这些信息按照一定策略分配各个应用程序。它主要是由2个组件
Yarn资源调度
qq_15083919的博客
09-22 275
目录 1、web界面查看 2、Yarn介绍 3、Yarn的主要组件介绍与作用 3.1、yarn当中的各个主要组件的介绍 3.2、yarn当中各个主要组件的作用 resourceManager主要作用 NodeManager主要作用 ApplicationMaster主要作用 Container主要作用 3.3、yarn的架构 3.4、yarn当中的调度器 3.5、yarn常用参数设置 1、web界面查看 yarn集群的监控管理界面： http://192.168.52.100
大数据开发笔记（二）：Yarn分布式集群操作系统
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-20 2829
Yarn分布式集群操作系统 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式，不单单是MapReduce模式。Hadoop2.0 的YARN 架构提供了更多的处理框架，不再强迫使用MapReduce框架。 Yarn定位： 分布式集群操作系统 1、资源管理和调度 2、支持多个不同计算框架 3、Mapreduce框架彻底重...
Hadoop YARN：分布式资源调度的新框架
“分布式资源调度——YARN框架” Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是Hadoop 2.x引入的一种全新的资源管理器，旨在解决Hadoop 1.x MapReduce框架中出现的问题。在MapReduce...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值