Hadoop 1.0和Hadoop2.0区别详解

16人阅读 评论(0) 收藏 举报
分类:

Hadoop 1.0hadoop2.0结构图

 

Hadoop2.0对Hadoop1.0中的不足改进:

1、针对Hadoop1.0NameNode制约HDFS的扩展性问题,提出HDFS Federation,它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展,同时彻底解决了NameNode单点故障问题;

2、针对Hadoop1.0中的MapReduce在扩展性和多框架支持等方面的不足,它将JobTracker中的资源管理和作业控制分开,分别由ResourceManager(负责所有应用程序的资源分配)和ApplicationMaster(负责管理一个应用程序)实现,即引入了资源管理框架Yarn

3、Yarn作为Hadoop2.0中的资源管理系统,它是一个通用的资源管理模块,可为各类应用程序进行资源管理和调度,不仅限于MapReduce一种框架,也可以为其他框架使用,如TezSparkStorm

HDFS Federation(namenode Federation)

参考:HDFS Federation机制

https://blog.csdn.net/androidlushangderen/article/details/52135506

 HighAvailability for HDFS

解决HDFS的单点问题。

实现是基于NameNode的主从切换,关键点在于主从NameNode通过一个共享储存同步元数据信息。Hadoop目前提供了NFSQJMBookeeper三种共享储存可选。三种方案中年,NFS本身又存在单点问题,而QJMBookeeper都是分布式系统,不存在单点问题;前者由Cloudera推出,后者由Yahoo推出,相对来说,QJM更简单,更易于维护。

MapReduce计算框架来讲

MapReduce1.0计算框架主要由三部分组成:编程模型、数据处理引擎和运行时环境。它的基本编程模型是将问题抽象成MapReduce两个阶段,其中Map阶段将输入的数据解析成key/value,迭代调用map()函数处理后,再以key/value的形式输出到本地目录,Reduce阶段将key相同的value进行规约处理,并将最终结果写到HDFS上;它的数据处理引擎由MapTaskReduceTask组成,分别负责Map阶段逻辑和Reduce阶段的逻辑处理;它的运行时环境由一个JobTracker和若干个TaskTracker两类服务组成,其中JobTracker负责资源管理和所有作业的控制,TaskTracker负责接收来自JobTracker的命令并执行它。

MapReducer2.0具有与MRv1相同的编程模型和数据处理引擎,唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后,运行于资源管理框架Yarn之上的计算框架MapReduce。它的运行时环境不再由JobTrackerTaskTracker等服务组成,而是变为通用资源管理系统Yarn和作业控制进程ApplicationMaster,其中Yarn负责资源管理的调度而ApplicationMaster负责作业的管理。

 

查看评论

大话Hadoop1.0、Hadoop2.0与Yarn平台

2016年12月14日21:37:29 Author:张明阳 博文链接:http://blog.csdn.net/a2011480169/article/details/53647012近来这几天...
  • a2011480169
  • a2011480169
  • 2016-12-15 14:17:09
  • 6310

Hadoop1.0和Hadoop2.0的区别

hadoop1与hadoop2这兄弟两个有啥不同呢?
  • qq_35952082
  • qq_35952082
  • 2017-03-30 17:55:48
  • 834

Hadoop1.0与Hadoop2.0的区别

学习时遇到这个问题,这里总结一下: 一、从Hadoop整体框架来说         Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS...
  • u012050154
  • u012050154
  • 2016-08-29 15:45:47
  • 9189

Hadoop1.0存在的问题和Hadoop2.0的介绍

Hadoop1.0在HDFS和MapReduce在高可用方面、扩展性方面存在问题 HDFS存在的问题  1.NameNode单点故障,难以应用于在线场景  2.NameNode压力过大,且内存受...
  • xyz19910216
  • xyz19910216
  • 2014-08-17 23:11:52
  • 1445

详解hadoop

  • 2014年01月16日 15:56
  • 925KB
  • 下载

Hadoop 2.0工作原理学习

学习Hadoop2.0中包括HDFS、YARN、Mapreduce相关知识。
  • carl810224
  • carl810224
  • 2016-07-14 17:03:31
  • 9368

hadoop2.0配置文件详解

转至:http://www.cnblogs.com/yinghun/p/6230436.html Hadoop运行模式分为安全模式和非安全模式,在这里,我将讲述非安全模式下,主要配置文件的重要参...
  • bxfsoftware
  • bxfsoftware
  • 2017-07-04 22:37:21
  • 237

Hadoop学习笔记 --- hadoop1.0 与 hadoop 2.0架构图

Hadoop学习笔记 --- hadoop1.0 与 hadoop 2.0架构图
  • u012965373
  • u012965373
  • 2016-12-18 15:00:07
  • 538

Hadoop2.0架构

打开Hadoop的官网,我们可以看到Hadoop2.0包括两个方面的要点: HDFS – Hadoop File System。 YARN – Yet Another Resource Negot...
  • OnlyQi
  • OnlyQi
  • 2016-01-08 17:47:35
  • 3938

Hadoop 2.0 NameNode HA 和 Federation 实践

本文部分转自 Hadoop 2.0 NameNode HA和Federation实践 本文部分转自 详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程一 Ha...
  • u011414200
  • u011414200
  • 2016-01-01 10:56:21
  • 687
    个人资料
    持之以恒
    等级:
    访问量: 6081
    积分: 1074
    排名: 4万+
    文章存档