分布式资源调度框架YARN

最新推荐文章于 2024-09-12 22:51:49 发布
最新推荐文章于 2024-09-12 22:51:49 发布
阅读量243 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ckw__xyy/article/details/108599469
版权
YARN作为Hadoop的资源管理框架，实现了资源管理和任务调度的分离。本文详细介绍了YARN的核心思想、基本架构、关键组件如ResourceManager、NodeManager、ApplicationMaster和Container的工作机制，以及YARN上的MapReduce程序提交和资源调度器的类型。此外，还涵盖了YARN的常用操作命令，如任务管理和节点管理。
摘要由CSDN通过智能技术生成

分布式资源调度框架YARN

一.YARN概述

yarn的核心思想是将资源管理和任务的监控和调度分离

  • 通过的资源管理系统,可为不同的应用(MapReduce.Spark,Flink等)提供统一的资源管理和调度
  • 它的引入为集群在利用率.资源统一管理和数据共享等方面带来了巨大好处

二.YARN的基本构架核心组件

1.yarn的构架是master/slaves的主从构架

  • master:ResourceManager 全局资源管理
    负责集群的全局统一资源管理,调度,分配
  • slaves:NodeManager 节点资源管理器
    启动了NodeManager进程的节点
    负责管理节点的资源及使用情况
    2.yarn的核心组件(包含ResourceManager和NodeManager)
  • Application
  • Container

三.ResourceManager

1.ResourceManager 组成

  • ResourceScheduler 资源调度器,根据节点的容量.队列情况,为应用程序分配资源
  • Application Manager 应用程序管理器,负责接收Client端传输的job请求

2.ResourceManager功能

  • 处理客户端的请求
  • 监控Nodemanager
  • 启动和监控ApplicationMaster,进行必要的重启
  • 整个系统的资源分配和调度

最低0.47元/天 解锁文章
Hi!Siri
关注
专栏目录
分布式资源调度—YARN框架
sanmi8276的博客
02-12 819
原文作者：子墨言良 原文地址：YARN的架构及原理 目录 一、YARN产生背景 二、什么是YARN 三、YARN的基本架构 四、YARN的原理 五、MapReduce on YARN 六、YARN HA（高可用） 一、YARN产生背景 MapReduce本身存在着一些问题： JobTracker单点故障问题：如果Hadoop集群的JobTracker挂掉，则整个分布式集群都不能使用了。 JobTracker承受的访问压力大，影响系统的扩展性。 不支持MapReduce之外的计..
YARN（资源调度框架）
longshuo1995的博客
05-10 332
【Hadoop|YARN篇】yarn资源调度器
最新发布
2301_80912559的博客
09-12 1600
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。Yarm是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
资源调度框架YARN简述
fort110的博客
02-19 609
YARN的产生背景（通俗讲就是需要在不同时间使用不同的工具来处理数据，需要一个工具来调度，这个工具就是yarn）：YARN的架构：重要的组件介绍：1）resource manager（RM）：整个集群同一时间提供服务的RM只有一个（公司中会有一个备用的），负责集群资源的统一管理处理客户端（client）的请求：提交一个作业、杀死一个作业监控NM，一旦NM节点挂掉，上面运行的任务如何处理要告诉AM来...
资源调度管理器
张不帅
11-09 1078
Hadoop的作业调度器主要有三种:FIFO ,Capacity Scheduler 和Fair Scheduler 2.7.2版本默认是Capacity Scheduler 配置yarn-default.xml文件 <property> <description>The class to use as the resource scheduler.</descr...
从零学习Yarn—Hadoop生态圈（三）
wsjslient的博客
12-06 306
Yarn目录一、Yarn基本架构1.ResourceManager1.1 主要功能1.2 核心组成2.NodeManager3.ApplicationMaster4.Container 一、Yarn基本架构         Yarn主要由 ResourceManager、 NodeManager、 ApplicationMaster和 Container等组件构成。 1.ResourceManager  &nbsp
Hadoop--分布式调度平台YARN--YARN集群搭建
大魔王
02-22 412
Yarn是Hadoop提供的自动化调度平台，可以实现MapReduce计算任务的自动化调度。 yarn是一个分布式程序的运行调度平台。 yarn中有两大核心角色： Resource Manager 接受用户提交的分布式计算程序，并为其划分资源 管理、监控各个Node Manager上的资源情况，以便于均衡负载 Node Manager 管理它所在机器的运算资源（cpu + 内存） ...
开源组件系列（9）：资源管理与调度系统（YARN）
晓阳的数据小站
03-09 1445
目录 （一）概述 （二）YARN基本架构 （三）YARN高可用性 （四）YARN工作流程 （五）YARN资源调度器 （六）YARN的具体调度场景 （七）YARN资源隔离 （八）YARN生态系统 （九）资源管理系统架构演化 （一）概述 YARN作为一个通用的资源管理系统，目标是将短期作业和长期服务混合部署到一个集群中，并为它们提供统一的资源管理和调度功能。YARN是大数据...
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
weixin_46838716的博客
06-02 622
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
资源调度框架YARN
qq_14814971的博客
08-02 667
hadoop1.x中MapReduce存在的问题：1.单点2.节点压力大YARN：Yet Another Resource Negotiator(另外一种资源协调者) 是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度。 它的引入为集群在利用率，资源统一管理和数据共享等方面带来了巨大的好处YARN架构： 核心组件： ResourceManager NodeMan
大数据（hadoop-分布式搭建和yarn）
06-12 177
分布式搭建步骤 1：克隆一台机器完成后，按以下步骤进行修改（作为源克隆主机） 1）修改网卡信息，路径/etc/sysconfig/network-scripts 2）删除70-persistent-net.rules这个文件，路径在：/etc/udev/rules.d ...
yarn相关常见知识点
L13763338360的博客
09-15 845
1. YARN架构 1.1 ResourceManager 整个集群资源的主要协调者和管理者，负责给用户提交的所有应用程序分配资源。 1.2 NodeManager 每个节点的管理者，主要负责该节点内所有容器的生命周期管理，监视资源和跟踪节点健康。 1.3 ApplicationMaster 在用户提交一个应用程序时，yarn会启动一个轻量级的进程ApplicationMaster负责协调来自RM的资源，通过NM监视容器内资源的使用情况。...
YARN的体系结构
happy19870612's blog
11-19 3379
YARN主要是对hadoop集群资源进行管理。跟HDFS一样，他也是基于Master/Slave　主从架构，主要包括ResourceManager，NodeManager，ApplicationMaster。 Master是ResourceManager：负责所有资源的监控，分配和管理。接收来自各个NodeManager的资源汇报信息，并把这些信息按照一定策略分配各个应用程序。它主要是由2个组件
Yarn资源调度
qq_15083919的博客
09-22 294
目录 1、web界面查看 2、Yarn介绍 3、Yarn的主要组件介绍与作用 3.1、yarn当中的各个主要组件的介绍 3.2、yarn当中各个主要组件的作用 resourceManager主要作用 NodeManager主要作用 ApplicationMaster主要作用 Container主要作用 3.3、yarn的架构 3.4、yarn当中的调度器 3.5、yarn常用参数设置 1、web界面查看 yarn集群的监控管理界面： http://192.168.52.100
大数据开发笔记（二）：Yarn分布式集群操作系统
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-20 2879
Yarn分布式集群操作系统 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式，不单单是MapReduce模式。Hadoop2.0 的YARN 架构提供了更多的处理框架，不再强迫使用MapReduce框架。 Yarn定位： 分布式集群操作系统 1、资源管理和调度 2、支持多个不同计算框架 3、Mapreduce框架彻底重...
Hadoop YARN：分布式资源调度的新框架
“分布式资源调度——YARN框架” Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是Hadoop 2.x引入的一种全新的资源管理器，旨在解决Hadoop 1.x MapReduce框架中出现的问题。在MapReduce...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值