MapReuce笔记二之MR任务在yarn容器中的资源管理

最新推荐文章于 2024-07-25 09:11:28 发布
最新推荐文章于 2024-07-25 09:11:28 发布
阅读量2.3k 收藏 1
点赞数 1
分类专栏： Hadoop mapReduce 文章标签： mapreduce hadoop yarn 管理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ty4315/article/details/52664191
版权
本文介绍了YARN在Hadoop 2.0中的角色，作为资源管理层，如何管理MapReduce任务的资源。内容包括YARN的组件：ResourceManager、NodeManager、ApplicationMaster和容器，以及MapReduce应用的生命周期，强调了数据本地性对于效率的重要性。
摘要由CSDN通过智能技术生成

Yarn是hadoop2.0之后引入的一个资源管理层，mapreduce也仅是yarn的一种应用模式，按照既定的协议从yarn中申请cpu,内存等资源。

Yarn由五部分组成，recouceManager(RM),nodeManager(NM),ApplicationMaster(AM),容器(container),客户端(client)。

    RM：负责集群资源的管理由调度器和应用管理器组成，调度器负责为集群中所有的应用分配资源。

    NM：负责本地节点资源管理。

    AM：应用的守护进程，负责与RM进行资源协商。应用提交后，RM的调度器和应用管理器协商后得到一个容器用以启动AM，AM启动后通过心跳机制与RM通信目的主要是为应用申请资源。

    容器：分配给应用资源的抽象形式。

    客户端：一个实例用来向RM提交应用。


MapReduce计算框架在运行时分为两部分，一部分称为MRAppMaster负责管理，其余的全是任务他们都运行在yarn容器中。Yarn容器在hadoop框架中负责资源管，分为ResourceManager和DataManager，ResourceManager在主节点上负责集群资源分配调度，DataManager在从节点上负责单节点的资源管理。

         我们通过Hadoopjar执行MapReduce架包( jar文件)：

         1：首先将架包文件上传到hdfs中，然后再将地址告诉ResourceManager。

         2：ResourceManager从地址中拿到jar后会分析其代码，分析后发现这是一个MapReduce程序，然后从集群中的某一个DataManag

最低0.47元/天 解锁文章
臭小优
关注
专栏目录
Yarn的资源管理
Big Data
02-26 415
Yarn的生产资源管理 假设一台机器有48G物理内存 ，8core （按照1：2的一般配置）虚拟core（vcore）有 16个 1）Linux系统本身要占内存+空留：20%  ----》 48*0.2=9.6G 剩余：80%  = 38.4G 2）DN进程（datanode）：生产4G      更改datanode的配置（hadoop-env.sh）                ...
Yarn资源管理器
Oak_Komorebi的博客
07-10 770
1 YARN简介 为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架 YARN. Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平 台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 yarn被引⼊Hadoop
YARN资源管理
Python ORM框架sqlalchemy入门教程
12-22 313
资源管理container容器配置详解 开题引文 yarn是hadoop2.x引入的概念,hadoop1.x这个工作是MapReduce做的,在2.x引入了yarn,yarn是用来做资源管理和任务调度,本文详细介绍了yarn在生产上如何资源管理,即yarn的container容器. 相关介绍 内存:电脑cpu处理数据是不能直接从硬盘调用的，就好像我们的大脑从神经元之中读取记忆要通过长长的神经，内存条就承接啦电脑cpu于硬盘之间的数据交换所以内存条的好坏也很大程度决定了电脑处理速度的快慢。 显卡：这个部件相信
05.hadoop上课笔记之hadoop5mapreduce和yarn
05-31
YARN 负责管理资源的分配和任务的调度，以确保 MapReduce 任务的执行。 四、实践应用 本节笔记还提供了一个实践应用，演示如何使用 MapReduce 编程来处理大规模数据。该应用程序使用了 Hadoop 提供的 MapReduce ...
python 管理yarn资源中任务状态
liuygvip的博客
03-13 1213
通过api接口，操作yarn资源管理中的人物 #!/usr/local/python3/bin/python3 import requests import json import datetime from datetime import datetime from datetime import timezone from datetime import timedelta #ip地址 ip="192.168.0.160" #job运行时长，需要kill的任务，单位:秒 task_interval=
05：YARN资源管理系统.zip
03-08
- 任务执行：AM在容器中启动任务，监控其进度和状态。 - 完成与清理：任务完成后，AM通知RM，RM释放相关资源，AM结束。 6. **调度器**： - YARN支持多种调度器，如FIFO、Capacity Scheduler、Fair Scheduler等，...
Yarn（分布式资源管理与任务调度框架）介绍
WWW_SYR的博客
07-16 1273
1、Yarn 是什么 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 作用：资源管理与任务调度 2、架构设计 Yarn 设计的核心思想是将JobTracker 的两个主要职责：资源管理和任务调度管理，分别交给两个角色负责。 一个是全局的ResourceManager，一个是每个应用中唯一的ApplicationMas...
Yarn中map、reduce任务运行容器YarnChild分析
METON的博客
08-28 2162
在对Yarn上MRAppMaster组件详解以及任务资源申请、启动的源码分析的分析中可以知道，真正用于执行MapTask任务、ReduceTask任务的进程容器为YarnChild进程，接下来对该YarnChild进程运行Task任务进行对应的分析： TaskAttempt状态机 我们知道具体Map、Reduce任务在YarnChild进程中的调度触发是在TaskAttempt的状态机流转过程中触发实现的，在TaskAttempt的状态机流转过程中： New --&gt...
hadoop -- Yarn资源管理
qq_61162288的博客
06-23 1452
Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示。NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；可以把Hadoop YARN理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存、CPU等)。
Yarn资源管理与调度
十一城
11-16 891
Spark yarn 模式有两种 yarn-client，其中yarn-client适合测试环境 yarn-cluster， yarn-cluster适合生产环境 在详细说明Yarn模式之前， 需要先了解几个名词 ResourceManager: 整个集群只有一个， 负责集群资源的统一管理和调度， 因为整个集群只有一个，所以也有单点问题 NodeManager： 它可以理解为集群中的每一台slave AM: application master, 对于每一个应用程序都有一个AM, AM主要是向RM申请
Yarn（分布式资源管理框架）
最新发布
2302_76694571的博客
07-25 693
容量调度器是一种较为传统的调度策略，它提供了一种分层队列的资源管理方式，允许管理员预定义队列结构并为每个队列分配资源容量。Capacity Scheduler 支持队列间的资源隔离，并且可以为不同的队列设置不同的调度策略，如 FIFO、Fair 或者其他自定义策略。这种策略的优点在于能够保证长期运行的任务获得稳定的资源供应，但缺点是在资源紧张时可能会限制新任务的执行。
Yarn---统一资源管理系统
行者小朱的博客
08-29 6924
YARN （Yet Another Resource Negotiator另一种资源协调者）Apache Hadoop Yarn是 Hadoop MRv2计算机框架中构建的一个独立的、通用的资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 一、Yarn的出现背景         由于MRv1在扩展性、可靠性、资源利用率和多
YARN的资源管理和调度
互联网知识分享
07-23 780
1.1 YARN简介）是一个用于集群资源管理和作业调度的开源框架。它是Hadoop的第二代资源管理平台，相比于Hadoop的第一代，即MapReduceYARN提供了更为灵活和可扩展的资源管理和作业调度功能。YARN的设计目标是使Hadoop集群能够同时运行多个计算框架，提高集群资源的利用率和作业的执行效率。1.2 YARN的组成与角色YARN由（资源管理器）和（节点管理器）两个核心组件构成。负责集群级别的资源调度和分配，负责每个节点的资源管理和监控。
Hadoop资源管理器YARN详解_2024-07-09_08-51-33
kkchenjj的博客
07-10 1132
通过上述流程和管理机制，YARN为Hadoop集群提供了强大的资源管理和任务调度能力，使得Hadoop集群可以支持多种类型的应用程序，提高了集群的利用率和灵活性。YARN (Yet Another Resource Negotiator) 是Hadoop 2.0中引入的资源管理框架，它将资源管理和作业调度/监控分离，使得Hadoop能够更好地支持多种计算框架。YARN的调度器负责资源的分配和调度，确保集群资源的高效利用。：最简单的调度器，按照作业提交的顺序进行调度。
Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（二）
热门推荐
辰辰爸的博客
05-01 1万+
我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Yarn上运行的，换句话说，MRAppMaster上MapReduce作业处理总流程是什么？这就是本文要研究的重点。
分布式资源管理器YARN
weixin_42232931的博客
03-12 1273
一 YARN的概述 为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARN. Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序。 yarn被引入Hadoop2,
Hadoop-YARN(资源管理系统)
爱笑的博客
01-19 2131
转：http://www.cnblogs.com/sy270321/p/4398703.html   YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值