大数据(三) - YARN

最新推荐文章于 2024-08-13 22:40:30 发布
最新推荐文章于 2024-08-13 22:40:30 发布
阅读量1.8w 收藏 18
点赞数 8
分类专栏： 大数据 文章标签： hadoop 大数据 生态系统 yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matthewei6/article/details/50520719
版权
YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理系统，旨在解决MRv1的扩展性、单点故障和多计算框架支持的问题。它支持CPU和内存资源管理，目标是成为统一的资源管理平台，同时运行长短期应用程序。YARN包含ResourceManager、NodeManager和ApplicationMaster三个主要组件，确保集群资源的有效管理和调度。YARN具备容错性，通过ZooKeeper实现ResourceManager的HA。此外，YARN的调度框架支持多类型资源和多种调度器，如FIFO、Fair Scheduler和Capacity Scheduler，提供资源预留和隔离方案，以及多租户支持。目前，YARN支持包括MapReduce、Tez、Storm和Spark在内的多种计算框架。
摘要由CSDN通过智能技术生成
YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源

YARN产生背景
    直接源于MRv1在几个方面的缺陷
            扩展性受限
            单点故障
            难以支持MR之外的计算
    多计算框架各自为战，数据共享困难
            MR：离线计算框架
            Storm：实时计算框架
            Spark：内存计算框架
YARN设计目标
    通用的统一资源管理系统
        同时运行长应用程序和短应用程序
    长应用程序
        通常情况下，永不停止运行的程序
        Service、HTTP Server等
    短应用程序
        短时间（秒级、分钟级、小时级）内会运行结束的程序
        MR job、Spark Job等

YARN基本架构


ResourceManager
整个集群只有一个，负责集群资源的统一管理和调度
详细功能
        处理客户端请求
        启动/监控Ap
最低0.47元/天 解锁文章
will的成长之路
关注
专栏目录
大数据之Yarn
二锅头的博客
09-11 611
大数据之Yarn1. Yarn 基本架构2. Yarn 工作机制3. 作业提交全过程总结4. 资源调度器4.1 先进先出调度器（FIFO）4.2 容量调度器（Capacity Scheduler）4.3 公平调度器（Fair Scheduler）5. 容量调度器多队列提交案例1. 需求2. 如何配置3.实操一下 Yarn就是管理整个集群资源的操作平台，你可以看作是资源池，而MapReduce是需要Yarn的资源支持的运算程序。介绍完，我会把整个的Yarn、HDFS、MapReduce等串联起来，看他们是如
大数据之YARN
大数据同盟会的博客
01-22 1240
yarn: 运算资源（jar包、内存、cpu、配置文件）调度系统。 一、mapreduce提交job运行在yarn流程： yarn的调度机制有：队列（先进先出）、fair、capacity; yarn只负责程序运行所需资源的分配回收等调度任务，与应用程序的内部运行机制无关，所以yarn成为了一个通用的资源调度平台。比如mr/spark/storm，都可以借助它来实现。 注： hadoop1没有yarn的概念，但是有一个jobTracker和TaskTracher两种角色。 ...
YARN原理与架构
最新发布
jpfx6008的博客
08-13 1787
ResourceManager会根据ApplicationMaster汇报的心跳报告来动态分配容器（Container），为ApplicationMaster绑定包含一定数量的容器（Container）的租约，ApplicationMaster会根据其自身的执行计划来适应容器（Container）的不足或过剩，同样也会动态的申请或释放容器（Container）。据Hadoop官网介绍，YARN的基本设计思路是将集群资源管理系统划分为多个相互独立的更小规模的功能组件，分别交由相互独立的守护进程进行管理。
大数据-yarn
海恋北斗星
03-06 678
大数据-yarn（一） yarn（资源调度管理平台）的介绍 Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入 YRAN具有足够的通用性，可以支持其它的分布式计算模式 yarn的架构 YAR...
大数据 Yarn
Notzuonotdied的博客
09-22 581
前言 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于运行于操作系统之上的应用程序。 Yarn的重要概念 Yarn并不清除用户提交的程序运行机制。 Yarn只提供运算资源的调度（用户程序向Yarn申请资源，Yarn负责分配资源）。 Yarn中的Master是ResourceManage。 Yarn中提供运算资源的角...
大数据平台之YARN
youziguo的专栏
07-17 848
Hadoop YARN（Yet Another Resource Negotiator）是Hadoop 2.x引入的一个通用资源管理和作业调度框架，它将资源管理和作业调度/监控分离开来，从而提升了集群的资源利用率和可扩展性。YARN是Hadoop生态系统的核心组件之一，支持不同类型的分布式计算框架和应用程序。以下是对YARN的详细介绍：
hadoop-yarn-common-2.6.5-API文档-中文版.zip
04-07
赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...
hadoop-yarn-api-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-yarn-api-2.5.1.jar； 赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后...
大数据开发-商品大数据实时推荐系统实现.zip
04-02
首先，我们需要掌握Hadoop生态系统，包括HDFS（分布式文件系统）用于存储海量数据，MapReduce进行分布式计算，以及YARN资源调度。此外，Spark作为快速、通用且可扩展的大数据处理框架，因其内存计算特性，常用于实时...
大数据开发--hadoop全套学习课程--百度网盘
03-23
首先，Hadoop2.x是Hadoop的第二个主要版本，引入了YARN（Yet Another Resource Negotiator），改进了资源管理，使得Hadoop能够支持更复杂的计算模型，而不仅仅是MapReduce。它提高了系统的灵活性和效率，使Hadoop更...
大数据 HCIA-Big Data H13-711考题.docx
10-22
大数据 HCIA-Big Data H13-711 考题 本文档提供了大数据 HCIA-Big Data H13-711 考题的详细解析和知识点总结，涵盖了 Flink、FusionInsight HD、HBase、Hive、Flume、Spark、Kafka 等大数据相关技术的知识点。 一...
大数据学习——Yarn
flying___bird的博客
04-23 369
    一.Yarn的介绍    Yarn是Hardoop集群的资源管理系统，是Hardoop2.0对MapReduce框架做的设计重构，我们称Hardoop2.0中的MapReduce为MRv2或者Yarn。在Hardoop1.0中MapReduce主要包括两个部分：1.ResourceManagement——资源管理；2.JobScheduling/JobMonitoring——任务调度监控。...
大数据学习——YARN
daybreak98的博客
05-27 491
（2）根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）ApplicationMaster 负责协调来自 ResourceManager 的资源，负责任务的监控与容错，根据应用的运行状态和资源使用情况动态计算资源需求。YARN 中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
大数据008——YARN
sinat_34045444的博客
01-08 320
1. YARN概述 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 YARN总体上仍然是ma...
大数据技术之Hadoop（Yarn）
m0_57126939的博客
03-09 242
假设集群一共有100 CPU和10T 内存，而应用A需要(2 CPU,300GB)，应用B需要(6 CPU，100GB)则两个应用分别需要A(2%CPU.3%内存)和B(6%CPU1%内存)的资源，这就意味着A是内存主导的,B是CPU主导的，针对这种情况，我们可以。(3)灵活性:如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。我们之前说的资源，都是单一标准，例如只考虑内存(也是Yarn默认的情况）。
大数据开发之Yarn介绍
只是甲的博客
12-11 1442
文章目录一.Yarn简介二.Yarn基本服务组件三.Yarn工作的过程参考 一.Yarn简介 在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度工作独立了出来，而这一改动，直接让 Hadoop 成为大数据中最稳固的那一块基石。，而这个独立出来的资源管理框架，就是 Yarn 。 在详细介绍 Y
大数据技术之Hadoop-YARN架构
weixin_42137586的博客
12-31 175
Apache Hadoop YARN YARN的基本思想是将资源管理和作业调度以及监控的功能拆分为单独的守护进程。这种架构思想是拥有一个全局的ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG。 ResourceManager和NodeManager组成数据计算框架。ResourceManager是具有在系...
Yarn详解
勇心在馨
07-29 464
一、Yarn 资源调度器 1、Yarn 基础架构 YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件 构成。 2、Yarn 工作机制 （1）MR 程序提交到客户端所在的节点。 （2）YarnRunner 向 ResourceManager 申请一个 Application。 （3）RM 将该应用程序的资源路径返回给 YarnRunner。 （4）该程序将运行所需资源提交到 HDFS 上。 （5）程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值