Hadoop1.0与Hadoop2.0的区别

原创 2016年08月29日 15:45:47

学习时遇到这个问题,这里总结一下:

一、从Hadoop整体框架来说

        Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS由一个NameNode和多个DateNode组成,MapReduce由一个JobTracker和多个TaskTracker组成。

        Hadoop2.0即第二代Hadoop为克服Hadoop1.0中的不足:针对Hadoop1.0单NameNode制约HDFS的扩展性问题,提出HDFS Federation,它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展,同时彻底解决了NameNode单点故障问题;针对Hadoop1.0中的MapReduce在扩展性和多框架支持等方面的不足,它将JobTracker中的资源管理和作业控制分开,分别由ResourceManager(负责所有应用程序的资源分配)和ApplicationMaster(负责管理一个应用程序)实现,即引入了资源管理框架Yarn。同时Yarn作为Hadoop2.0中的资源管理系统,它是一个通用的资源管理模块,可为各类应用程序进行资源管理和调度,不仅限于MapReduce一种框架,也可以为其他框架使用,如Tez、Spark、Storm等


二、从MapReduce计算框架来讲

        MapReduce1.0计算框架主要由三部分组成:编程模型数据处理引擎运行时环境它的基本编程模型是将问题抽象成Map和Reduce两个阶段,其中Map阶段将输入的数据解析成key/value,迭代调用map()函数处理后,再以key/value的形式输出到本地目录,Reduce阶段将key相同的value进行规约处理,并将最终结果写到HDFS上;它的数据处理引擎由MapTask和ReduceTask组成,分别负责Map阶段逻辑和Reduce阶段的逻辑处理;它的运行时环境由一个JobTracker和若干个TaskTracker两类服务组成,其中JobTracker负责资源管理和所有作业的控制,TaskTracker负责接收来自JobTracker的命令并执行它。

        MapReducer2.0具有与MRv1相同的编程模型和数据处理引擎,唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后,运行于资源管理框架Yarn之上的计算框架MapReduce。它的运行时环境不再由JobTracker和TaskTracker等服务组成,而是变为通用资源管理系统Yarn和作业控制进程ApplicationMaster,其中Yarn负责资源管理的调度而ApplicationMaster负责作业的管理。


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop1.0和Hadoop2.0的区别

hadoop1与hadoop2这兄弟两个有啥不同呢?

hadoop1.0到2.0的升级(非跨版本)

注: 升级步骤不涉及HA和federation。如何在Hadoop2.0上部署HA和federation,可以查看另外两篇文章。 这是1.0升级2.0的简单升级配置步骤。实践了一下,挺顺利的,HDF...

在hadoop2.0上使用mahout1.0(-SNAPSHOT)提供的lda

mahout作为开源软件包,集成了很多机器学习和数据挖掘算法,详细可见 mahout官网  。     关于LDA,这里就不说了,详见大神的 LDA数学八卦  。这里只是想吐嘈mahout官网l...

hadoop1.0\2.0学习笔记及

  • 2017-04-17 14:55
  • 3.25MB
  • 下载

Hadoop 1.0和Hadoop 2.0 资源管理的对比

Hadoop中,资源管理是很重要的一个模块,它直接决定了资源的组织形式和分配方式,是其他功能的重要基础,然而伴随着Hadoop的优化和升级,资源管理发生了重大变化,本文将对比Hadoop 1.0和Ha...

大话Hadoop1.0、Hadoop2.0与Yarn平台

2016年12月14日21:37:29 Author:张明阳 博文链接:http://blog.csdn.net/a2011480169/article/details/53647012近来这几天...

新浪微博OAuth2.0 VS OAuth1.0 主要区别

最近研究论坛里那个微薄验证授权的代码:终于看懂了不过到官方网站一下,原来是一代oauth认证。不过也好,二代简单了。呵呵。 * OAuth2.0不需要签名了。之前所有的复杂的signatureBas...
  • zzber
  • zzber
  • 2015-12-15 19:45
  • 207

Vue 笔记三:Vue2.0与1.0的区别

升级的区别 与angular的断层式升级不同,vue延续了自己的风格。在命名方式和API上有一些区别,掌握它们是你升级整个项目的关键。以下内容都是来源于个人项目的一些经验之谈,并非系统性的阐述。如...

vue1.0与vue2.0区别之组件通信

vue1.0与2.0版本在组件通信方面的异同。

HTTP1.0 HTTP 1.1 HTTP 2.0主要区别

HTTP1.0 HTTP 1.1主要区别 长连接 HTTP 1.0需要使用keep-alive参数来告知服务器端要建立一个长连接,而HTTP1.1默认支持长连接。 HTTP是基于TC...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)