【Hadoop入门学习系列之三】YARN原理和资源调度

最新推荐文章于 2024-08-13 22:40:30 发布
最新推荐文章于 2024-08-13 22:40:30 发布
阅读量5.3k 收藏 6
点赞数 2
分类专栏： Hadoop Hadoop零基础入门 文章标签： hadoop mapreduce yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shengmingqijiquan/article/details/52903331
版权
本文详细介绍了Hadoop YARN的产生背景、基本架构、资源调度，包括ResourceManager、NodeManager、ApplicationMaster和Container的角色。此外，讨论了YARN的容错性、调度框架、资源调度器和计算框架如MapReduce、Tez、Storm和Spark在YARN上的运行。YARN作为统一资源管理系统，支持多计算框架的兼容与资源共享，提升了资源利用率和运维效率。
摘要由CSDN通过智能技术生成

一.Hadoop YARN产生背景

  • Mapreduce1.0版本固有的问题
    这里写图片描述

    • 扩展性受限
    • 单点故障
    • 难以支持MR之外的计算
  • 资源利用率
    这里写图片描述
  • 运维成本和数据共享【多计算框架各自为战，数据共享困难】
    •  MR：离线计算框架
       Storm：实时计算框架
       Spark：内存计算框架
    • 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本， 而共享模式通常需要少数管理员即可完成多个框架 的统一管理。
  • 数据共享
    • 随着数据量的暴增，跨集群间的数据移动不仅需花 费更长的时间，且硬件成本也会大大增加，而共享集群模式可让多种框架共享数据和硬件资源，将大大减小数据移动带来的成本。

二. Hadoop YARN基本构成与资源调度

1.YARN基本架构

  • YARN基本架构
    这里写图片描述
  • ResourceManager
    • 整个集群只有一个，负责集群资源的统一管理和调度
    • 详细功能
      处理客户端请求
      启动/监控ApplicationMaster
      监控NodeManager
      资源分配与调度
  • NodeManager
    • 整个集群有多个，负责单节点资源管理和使用
    • 详细功能
      单个节点上的资源管理和任务管理
      处理来自ResourceManager的命令
      处理来自ApplicationMaster的命令
  • ApplicationMaster
    • 每个应用有一个，负责应用程序的管理
    • 详细功能
      数据切分
      为应用程序申请资源，并进一步分配给内部任务
      任务监控与容错
最低0.47元/天 解锁文章
数据圈
关注
专栏目录
【硬刚Hadoop】HADOOP YARN（1）：YARN资源调度器(1) 入门
微信搜：import_bigdata，大数据领域硬核原创作者
09-21 446
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。 图4-23Yarn基本架构 ..
Yarn的工作原理
qq_36770189的博客
08-29 2469
Yarn是在hadoop2.x引入的一个新特性。是一个资源调度调度平台，它也只提供资源调度，这样 一来HDFS负责存储，MR负责计算，三者之间互有联系，却又相互独立，耦合性降低。这样一来意味着yarn上可以运行各类的分布式计算程序。 YARN的工作原理：（作业提交机制见：https://blog.csdn.net/qq_36770189/article/details/1001319...
YARN资源调度
小城我家
10-16 254
YARN架构 ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度； NodeManager(nm)：单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令； ApplicationMaster(am)：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。 Container：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、
YARN原理与架构
最新发布
jpfx6008的博客
08-13 1706
ResourceManager会根据ApplicationMaster汇报的心跳报告来动态分配容器（Container），为ApplicationMaster绑定包含一定数量的容器（Container）的租约，ApplicationMaster会根据其自身的执行计划来适应容器（Container）的不足或过剩，同样也会动态的申请或释放容器（Container）。据Hadoop官网介绍，YARN的基本设计思路是将集群资源管理系统划分为多个相互独立的更小规模的功能组件，分别交由相互独立的守护进程进行管理。
YARN调度相关整理
枫轩缘
02-16 2728
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择 在Yarn中
Hadoop之Yarn资源调度器
勇心在馨
01-30 364
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 1、Yarn架构 2、yarn的工作机制 （1）MR程序提交到客户端所在的节点。 （...
YARN的架构及原理
怀英小斋
11-20 7545
YARN的架构与背景
高级软件人才培训专家-Hadoop课程资料-3-第三章 - MapReduce & YARN入门
03-10
### 高级软件人才培训专家-Hadoop课程资料-3-第三章 - MapReduce & YARN入门 #### 知识点一：分布式计算概述 - **定义**：分布式计算是一种计算模型，它通过网络将任务分配到多台计算机上并行处理，以提高计算效率...
关于YARN（Hadoop入门三）
TOCreation
05-03 509
关于YARN YARN是(Yet Another Resource Negotaitor)Hadoop的集群资源管理系统。 YARN的产生背景 因为YARN是从MapReduce1.x（hadoop-0.23）中拆分出来的，叫做MapReduce 2.0 (MRv2)或者YARN。 mapreduce1.x的结构是master/slave : 分别对应的是JobTracker和TaskTrack...
大数据Hadoop入门——HDFS、Yarn、MapReduce
weixin_44090845的博客
11-16 2371
Hadoop框架详细个人总结——Hadoop入门篇大数据是什么？Hadoop基本概念介绍一、什么是Hadoop？二、Hadoop优势——四高三、Hadoop组成（重点）四、HDFS架构五、YARN架构六、MapReduce架构七、HDFS、YARN、MapReduce 三者关系Hadoop运行环境搭建虚拟机的准备一、安装虚拟机二、虚拟机配置及环境准备Hadoop运行模式一、本地运行模式二、伪分布式模式三、完全分布式模式**1.虚拟机准备****2.准备一个集群分发脚本****3.SSH 无密登录配置****
Yarn原理详解_概述
feizuiku0116的博客
10-08 640
一.描述 Yarn是一个分布式资源管理和调度系统，也是主从结构，一主多从 二.资源 资源值得是各节点机器上的计算资源，包过CPU、内存等，资源管理就是管理这些资源的分配 三.RM和NM 资源管理器是Yarn的一个组件，叫做ResourseManager，它运行在Yarn的主节点上，所以我们也把Yarn的主节点叫做ResourceManager（RM），子节点要被主节点管理，子节点上也必须运行一个组件，这个组件叫NodeManager，所以子节点也被叫做NodeManager（NM） 四.调度 调度指的是安排
yarn 资源调度
L
03-31 237
1.什么是yarn yarn是hadoop集群当中的资源管理系统模块,从hadoop2.0开始引入yarn模块,yarn可为各类计算框架(mr spark flink)提供资源的管理和调度,主要用于管理集群当中的资源( CPU内存 磁盘网络IO)以及在yarn上面的各种任务. ...
【Hadoop】（七）Yarn 详解
云祁QI
12-17 1779
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。
Yarn介绍及调度器
Imflash的博客
09-11 260
yarn资源调度 1.yarn的介绍： ​ yarn是hadoop集群当中的资源管理系统模块，从hadoop2.0开始引入yarn模块,yarn可为各类计算框架提供资源的管理和调度,主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）以及调度运行在yarn上面的各种任务。 yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理...
Yarn资源调度
qq_15083919的博客
09-22 277
目录 1、web界面查看 2、Yarn介绍 3、Yarn的主要组件介绍与作用 3.1、yarn当中的各个主要组件的介绍 3.2、yarn当中各个主要组件的作用 resourceManager主要作用 NodeManager主要作用 ApplicationMaster主要作用 Container主要作用 3.3、yarn的架构 3.4、yarn当中的调度器 3.5、yarn常用参数设置 1、web界面查看 yarn集群的监控管理界面： http://192.168.52.100
YARN组件详解：Hadoop 2.x的Hadoop-YARN架构
2. **ResourceManager**：整个集群的调度中心，负责资源分配和管理工作，如内存、CPU等。它协调Application Master进程，并维护着队列管理和应用程序的状态。 3. **Application Master**：每个MapReduce作业都有一...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值