MapReduce再学习：资源管理框架YARN

最新推荐文章于 2024-07-25 09:11:28 发布
最新推荐文章于 2024-07-25 09:11:28 发布
阅读量2.4k 收藏 2
点赞数
分类专栏： 浅涉大数据技术 文章标签： mapreduce hadoop yarn 分布式资源管理框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinglish_/article/details/76860975
版权
本文详细介绍了MapReduce1.0的缺陷，以及为解决这些问题Hadoop2.0引入的YARN资源管理框架。YARN将资源管理和计算分离，通过ResourceManager、ApplicationMaster和NodeManager实现集群资源的有效调度和管理，提高了资源利用率，支持更多计算框架，实现了“一个集群多个框架”的目标。
摘要由CSDN通过智能技术生成

在前面写到的三篇博客中，HDFS概述 和 MapReduce简介写的都是hadoop1.0的情况，针对1.0版本的各种不足，2.0都有相应的改动， HDFS再学习：HA和Federation机制写的是存储系统HDFS上的改动。针对我们的计算模型MapReduce，2.0版本设计了新的资源管理框架YARN。

组件 Hadoop1.0的问题 Hadoop2.0的改进
HDFS 单一节点问题 Hdfs HA提供热备机制
HDFS 单一命名空间 Hdfs Federation管理多命名空间
MapReduce 资源管理效率低 新的资源管理框架YARN

MapReduce1.0的缺陷

回顾一下MapReduce1.0的结构,，详细的可以去看上一篇博客：

最低0.47元/天 解锁文章
yinglish_
关注
专栏目录
Yarn资源管理框架
crazy_scott的博客
11-04 511
简单介绍Yarn。 背景介绍 MapReduce v1 JobTracker Manage Cluster Resources & Job Scheduling TaskTracker Per-node agent Manage Task 其中，JobTracker承担了太多的任务 作业管理 状态监控，信息汇总 任务管理 调度，监控 资源管理 MapRe...
解析Hadoop新一代MapReduce框架Yarn
iteye_3276的博客
02-16 327
更快、更强——解析Hadoop新一代MapReduce框架Yarn 摘要：本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架（Yarn)原理、优势、运作机制和配置方法等；着重介绍新的Yarn框架相对于原框架的差异及改进。 编者按：对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不...
Yarn（分布式资源管理框架）
最新发布
2302_76694571的博客
07-25 633
容量调度器是一种较为传统的调度策略，它提供了一种分层队列的资源管理方式，允许管理员预定义队列结构并为每个队列分配资源容量。Capacity Scheduler 支持队列间的资源隔离，并且可以为不同的队列设置不同的调度策略，如 FIFO、Fair 或者其他自定义策略。这种策略的优点在于能够保证长期运行的任务获得稳定的资源供应，但缺点是在资源紧张时可能会限制新任务的执行。
MapReduce的yarn框架整理
fanfansong123的专栏
11-24 632
yarn框架就介绍
Hadoop基于Yarn的MapReduce架构
someby的博客
10-05 316
    基于Yarn的MapReduce架构     1.MapReduce程序是基于Mapper和Reducer两大阶段构成的，其中Mapper是把一个计算任务分成很多小任务进行并行计算，Reducer是做最后的统计工作的；     2.Hadoop2.x开始MapReduce的运行是基于Yarn进行的：         3.当ResourceManager接受到Client提交程序的请求的时...
【Hadoop】MapReduce 原理及编程
beautiful_huang的博客
12-09 256
在MapReduce整个过程可以概括为以下过程： 输入 --> map --> shuffle --> reduce -->输出 流程简介： 通过map task读文件，使用TextInputFormat（）方法一次读入整行文件，输入文件会被切分成多个块，每一块都有一个map task 补充面试问题： * block块大小的设置: * HDFS中的文件在物理...
大数据原理与技术（七）：资源管理系统YARN
qq_45674052的博客
08-08 2020
Hadoop使用Apache Hadoop YARN（Yet Another Resource Negotiator）作为通用资源管理系统，可为上层应用提供统一的资源管理和调度。除了MapReduce，YARN还可以支持其他编程计算框架，如Spark、Storm等，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了诸多好处。 文章目录一、YARN的概述与应用1.YARN的定义2.YARN的特点3.YARN的应用场景二、YARN架构设计思路1.MapReduce的设计缺陷2.YARN设计思路三、YAR
Hadoop平台技术 模块4 资源管理框架Yarn-单元设计.docx
07-12
在Hadoop生态系统中，YARN（Yet Another Resource Negotiator，另一种资源协调者）是核心的资源管理框架，它的设计目标是解决早期Hadoop版本中MapReduce的局限性，实现了计算与资源调度的分离，提高了集群资源的利用...
hadoop处理框架，hdfs，mapreduce，yarn
08-29
YARN 提供了一个通用的资源管理框架，能够支持多种计算引擎和应用程序。YARN 的设计使得应用程序能够在 Hadoop 集群上运行，实现了高效的资源利用和任务调度。 Hadoop 处理框架的主要特点包括： * 高效的计算能力...
纯粹的资源管理调度框架YARN整体剖析（课本知识复习）
cc的博客
06-19 631
YARN1. MapReduce1.0框架的设计缺陷2. YARN的设计思路3. YARN体系结构3.1 结构组件总览3.2 三大组件的功能3.2.1 组件功能详解1. ResourceManager功能2. ApplicationMaster功能3. NodeManager功能3.3 集群部署3.4 YARN的工作流程 1. MapReduce1.0框架的设计缺陷 MapReduce1.0采用 Master/Slave（一主多从） 框架设计，包括一个JobTracker和多个TaskTracker，前者负
6.Hadoop_MapReduce计算框架介绍、架构原理、yarn资源管理
dgqg1223
02-11 278
MapReduce介绍 MapReduce分为2部分：MapTask、ReduceTask MapTask会把数据映射成一个k，v格式的中间数据集。每组相同key组成的数据(一般情况下)会并发调用reduce方法，方法内迭代这组数据进行计算（类似sql） MapTask数量：对Block Spilt（切片），每一个Spilt（片）会分配一个MapTask ReduceTask数量：一般情况下 相...
Yarn设计思想
Chihyung Ray的专栏
07-28 1082
一. Yarn 产生背景 1.YARN 是在 MRv1 基础上演化而来的，它克服了 MRv1 中的各种局限性。MRv1 主要有以下缺点： 扩展性差。在 MRv1 中，JobTracker 同时兼备了资源管理和作业控制两个功能，这成为系统的一个最大瓶颈，严重制约了 Hadoop 集群扩展性。可靠性差。MRv1 采用了 master/slave 结构，其中，master 存在单点故障问题
Yarn原理详解_Yarn与MapReduce程序的关系
feizuiku0116的博客
10-08 1942
一.MapReduce MapReduce是一个分布式数据处理框架，作用是快速编写一个大数据处理程序。 MapReduce框架已完成的功能有任务划分、输入数据的切割和读取、数据在阶段间的分发以及数据的汇总输出 MapReduce框架还支持各功能模块的定制，比如实现自己的输入读取模块来替换内置的模块，这使得框架具备通用性和扩展性 二.MapReduce和Yarn的联系 MapReduce是Yarn的客户端，利用Yarn的节点完成各阶段处理。 阶段的先后关系、每个阶段需要划分多少个任务、如何在节点中启动任
MapReduce重点知识总结
weixin_48369771的博客
06-21 606
MapReduce定义 mapred是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和 自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 MapReduce优缺点 优点： 1）mapreduce易于编程（简单的实现一些接口，就可以完成一个分布式程序） 2）良好的扩展性（计算资源不能满足时，可以通过简单的增加机器来扩展它的计算能力） 3）高容错性（有多个副本） 4）适合PB级以上海量数据的离线处理（可以实现上千台服务器集群并发工作，提供数据处理能力） 缺点：
MapReduce和Yarn技术原理
随心发挥
01-17 1028
MapReduce和Yarn技术原理 一、MapReduce概述 MapReduce基于Google---MapReduce论文设计开发 基于函数式（mapper和reducer）编程的思想，用于大规模数据集(大于1TB) 的并行计算和离线计算， 特点： （1）函数式编程：程序员仅需描述做什么，具体怎么做交由系统的执行框架处理。 （2）良好的扩展性：可通过添加节点以扩展集群能力。 （3）高容错性：通过计算迁移或数据迁移等策略提高集群的可用性与容错性 二、MapReduce工...
新一代mapreduce体系架构介绍-YARN
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
10-12 9980
最近研究了下新一代的mapreduce框架YARN，这里先对YARN框架的引入和架构做个介绍，后续针对每一块做深入分析 从Hadoop0.23版本开始对于mapduce计算框架，就完全是新的架构了(YARN)。老的版本MRv1 Jobtracker中存在单点，功能比较多的问题，负责资源管理调度和job的生命周期管理(task调度，跟踪task过程状态，task处理容错)，这样当大量的任务需要处理
YARN - 比较 YARN 与 MapReduce 1
Henvealf的博客
12-03 2119
比较 YARN 与 MapReduce 1主要区别就是 YARN 把 MR1 中的 Jobtracker 的职责分给了其他三个组件。分而治之，减少组件间的强耦合，会得到许多的好处。YARN 与 MapReduce 1 对应组件 MapReduce YARN Jobtracker Resource manager, application master, timeline server
Hadoop Yarn：新MapReduce框架解析
"Hadoop新MapReduce框架Yarn详解" Hadoop MapReduce V2，也称为YARN（Yet Another Resource Negotiator），是Hadoop生态系统中针对原MapReduce框架的一次重大改进，旨在解决旧框架在大规模分布式计算环境中的性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值