mapreduce1和mapreduce2架构对比

最新推荐文章于 2022-03-01 22:03:16 发布
最新推荐文章于 2022-03-01 22:03:16 发布
阅读量1.5k 收藏 1
点赞数 1
分类专栏： yarn 文章标签： yarn

mr1,jobtracker-tasktracker,既要管mr作业,还要管资源调度,分身乏术,所以在各个node的资源基本采取的是固定分配


mr2 yarn

rm-nm这条线统一协调总的和各个节点自己的计算和硬件资源

appmanager-appmaster 管理各个计算程序单元,可能是各种任务

Container 统一把集群资源分成若干份,然后相互隔离开,供计算程序使用,可能是多个container供一个app使用,但不可能是多个app公用一个container




learnbigger
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce1.X与2.X的对比
weixin_39216383的博客
12-21 1102
MR2.X相较与MR1.X 做了比较大的优化，降低的MR中JobTracker的压力，将其资源管理及任务的生命周期管理都拆分成独立的组件，更名为YARNMapReduce1.X 架构组成：JobTracker（JT） 作业的管理者 将作业切分成任务：MapTask和ReduceTask 将任务分派给TaskTracker执行 作业的监控，接受心跳信息，如果没有收到心跳信息，就切换到其他TT执行任务
【MR】MapReduce 1 与 MapReduce 2(YARN)框架对比
会飞的大象
07-06 4194
【MR】MapReduce 1 与 MapReduce 2(YARN)框架对比
2021-06-04
热门推荐
qq_45703821的博客
06-04 1万+
这里写自定义目录标题Hadoop大数据基础单选多选判断问答Hadoop环境设置单选多选判断填空问答HDFS单选多选判断填空问答YARN单选多选判断问答MapReduce单选多选判断填空问答HBase单选判断填空问答Hive单选判断填空Pig单选判断填空问答Flume单选判断填空问答Sqoop单选判断Zookeeper单选多选判断填空问答Ambari单选填空问答Mahout判断问答 Hadoop大数据基础 单选 Hadoop作者是（ ） A. Martin Fowler B. Kent Beck C.
MapReduce 1.x VS 2.x架构对比
bitcarmanlee的博客
04-12 1040
1.Hadoop 1.X架构 Hadoop 1.X的组件主要有两个 1.HDFS(HDFS V1) 2.MapReduce(MR V1) 其中HDFS是分布式文件存储系统，MapReduce是计算框架。 MapReduce 1.X是Master/Slave家头，有全局唯一的Jobtracker与多个TaskTracker。其中Master是指唯一的Jobtracker，slave是指TaskTra...
Hadoop：The Definitive Guid 总结 Chapter 6 MapReduce的工作原理
weixin_34198583的博客
08-11 151
  1.剖析MapReduce作业运行机制 1).经典MapReduce--MapReduce1.0 整个过程有有4个独立的实体 客户端：提交MapReduce JobTracker：协调作业的运行 TaskTracker：运行作业划分后的任务 HDFS：用来在其他实体之间共享作业文件 以下为运行整体图 A.作业的提交 JobClient的runJob是用于新建Jo...
MapReduceV1和V2的API区别
11-09
MapReduce第二版和第一版API的区别
mapreduce的工作机制(yarn简介)，以及mapreduce1和mapreduce2的区别
weixin_39950222的博客
09-09 1065
https://www.cnblogs.com/frankdeng/p/9311474.html http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-resource-manager/ mapreduce1中工作机制主要包括客户端，jobtracker，tasktracker Jobtracker协调作业的运行...
MapReduce\Yarn架构
01-27
用戶編寫的MapReduce程序通過Client提交到JobTracker端；同時，用戶可通過Client提供的一些接口查看作業運行狀態。在Hadoop內部用“作業” （Job）表示MapReduce程序。每一個Job都會在用戶端通過Client類將應用程序...
Hadoop.MapReduce.v2.Cookbook pdf
03-05
Hadoop.MapReduce.v2.Cookbook中，作者将深入讲解YARN的架构和工作流程，包括ResourceManager、NodeManager、ApplicationMaster等关键组件的角色和交互方式。读者将学习如何配置和管理YARN环境，以提高集群效率和...
基于Python Java Scala语言的MapReduce及Spark分词及词频统计效率对比
最新发布
02-28
通过使用三种不同语言编写来编写分词及词频统计程序，比较在大数数据背景下，MapReduce和Spark对三种语言的适应性及其各自的效率对比；项目均采用IDEA+Maven进行构建，相关依赖均在对应pom.xml中给出； 软件架构 ...
Hadoop技术内幕 深入理解MapReduce架构设计与实现原理PDF
01-22
《Hadoop技术内幕：深入理解MapReduce架构设计与实现原理》是一本专注于解析Hadoop核心组件MapReduce的专著。MapReduce是Google提出的一种分布式计算模型，被广泛应用于大数据处理领域，而Hadoop则是实现这一模型的...
主流大数据处理开源架构的分析及对比评测
01-19
结合电信增值业务领域中对大数据处理的实际需求，对现有主流的分布式大数据处理架构（Hive、Impala、Spark）的核心进行分析与实测，比较它们在大数据处理过程中的优劣及适用的场景，从而为大数据分析所面临的架构...
MapReduce1.x与MapReduce2.x差异
weixin_33757609的博客
05-18 911
一.MapReduce1.x简介 　　1.图解 　　　　 　　2.JobTracker 　　　　主节点，单点，负责调度所有的作用和监控整个集群的资源负载。 　　3.TaskTracker 　　　　从节点，自身节点资源管理和JobTracker进行心跳联系，汇报资源和获取task。 　　4.Client 　　　　以作业为单位，规划作业计算分布，提交作业资源到HDFS，最终提交作业到J...
MapReduce1与Yarn(MapReduce2)
HYN205的博客
06-16 1870
    （1）在Hadoop1.x中，通过设置mapred.job.tracker来决定执行mapreduce机制，如果设置为local，则使用本地的作业运行器，如果设置为主机和端口号，则这个地址被解析为一个jobtracker地址，运行器则将作业提交给jobtracker。    它主要由以下几个组件组成：Client、JobTracker、TaskTracker、Task    (2) 在ha...
MapReduce1和MapReduce2（YARN）工作机制
airyv的博客
07-14 323
算法流程： 初始化： 伪头节点 dumdum ，节点 curcur 指向 dumdum 。 循环合并： 当 l_1l 1 ​ 或 l_2l 2 ​ 为空时跳出； 当 l_1.val < l_2.vall 1 ​ .val<l 2 ​ .val 时： curcur 的后继节点指定为 l_1l 1 ​ ，并 l_1l 1 ​ 向前走一步； 当 l_1.val \geq l_2.vall 1 ​ .val≥l 2 ​ .val 时： curcur 的后继节点指定为 l_2l 2 ​ ，并 l_2l 2
MapReduce2和MapReduce1的架构设计对比
浅汐
10-14 1003
MapReduce2  架构设计： 1:用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2:ResourceManager为该应用程序分配第一个Container，并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。 3:Applic
Hadoop就业面试题
weixin_34055910的博客
06-16 4366
----------------------------------------------------------------------------- [申明：资料来源于互联网] 本文链接：http://blog.csdn.net/sdksdk0/article/details/51695341 编辑：朱培 ID：sdksdk0 -------...
Hadoop MapReduceV2(Yarn) 框架简介
jeek566的专栏
05-17 1249
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapRe
Spark基础学习笔记06：搭建Spark On YARN集群
howard2005的专栏
03-01 1569
1. 学会搭建Spark On YARN模式的集群 2. 能够将Spark应用程序提交到集群运行
标题 YARN框架对比MapReduce1.0的改进
05-24
YARN框架对比MapReduce1.0的改进 随着大数据时代的到来，大数据处理框架也在不断地发展和完善。MapReduce1.0曾经是Hadoop生态圈中最重要的组件之一，但是它存在着一些局限性。为了解决这些问题，Hadoop社区开发了YARN框架，它可以更好地支持多种应用程序，并且更加灵活和可扩展。 下面是YARN框架相对于MapReduce1.0的改进： 1. 更好的资源管理：MapReduce1.0将资源管理和作业调度紧密耦合在一起，这意味着只能运行MapReduce作业。而YARN框架采用了更加灵活的资源管理方式，可以支持多种应用程序，包括Hadoop、Spark、Storm等等。 2. 更好的作业调度：YARN框架采用了分布式作业调度器，可以更加灵活地调度作业。这使得作业的启动和停止更加快速，而且更加容易实现资源共享和作业排队。 3. 更好的容错性：MapReduce1.0的容错性有限，如果某个节点出现故障，整个作业都会失败。而YARN框架采用了更加可靠的容错机制，可以自动重启失败的任务，并且可以在多个节点之间重新分配任务，保证作业的顺利运行。 4. 更好的可扩展性：MapReduce1.0的可扩展性有限，只能通过增加更多的节点来扩展。而YARN框架采用了更加分布式的架构，可以更加容易地扩展，支持更多的节点和更大规模的数据处理。 总的来说，YARN框架相对于MapReduce1.0的改进是非常显著的。它提供了更加灵活、可扩展和可靠的资源管理、作业调度和容错机制。这使得它成为了大数据处理框架中最重要的组件之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值