HDFS改造方案一览

原创 2012年03月23日 15:48:09

     近年来,已经有越来越多的企业参与到Hadoop社区的发展中来,它们对HDFS的改造提出了不同的方案,有的是基于社区版HDFS源码进行改造,比如Cloudera的CDH版本和Facebook的AvatarNode,也有的是参照HDFS重写一套分布式文件系统,比如百度的HDFS2和腾讯的XFS,当然社区也推出了新的版本Hadoop0.23。总的来看,Hadoop 0.23的Federation HDFS、百度的HDFS2和腾讯的XFS做了较为全面的改造,而ClouderaCDH4 beta1、Facebook的AvatarNode以及Hadoop 0.23 HA是为了解决特定问题——Namenode单点故障而做的。

      首先,我们来介绍Hadoop0.23中Federation HDFS的架构,如下图所示。从逻辑上看,FederationHDFS中命名空间和文件块管理还是由Namenode负责,Datanode负责文件块物理存储和访问,但是FederationHDFS允许在一个集群中运行多个Namenode,每个Namenode负责一个命名空间(可以是非HDFS的命名空间),每个命名空间拥有至少一个逻辑的BlockPool,命名空间和它所拥有的BlockPool统称为一个NamespaceVolume。虽然这些命名空间从物理上看是共享集群中的Datanode,但是在每个Datanode上还是对每个命名空间的BlockPool进行了隔离的,而且Datanode需要向每个相关的Namenode进行汇报。采用FederationHDFS架构,集群失去了统一的命名空间管理,换来的是多个命名空间可自主升级的灵活性和降低集群整体不可用的风险。


     百度的HDFS2架构如下图所示,从上到下分大致划分为两个层次:Namespace Federation(原Namenode)和Object Manager Layer(原Datanode)。在Namespace Federation层,HDFS2不再包括文件属性和块管理功能,实现了轻量级命名空间管理,和社区版Federation HDFS类似,Namespace Federation也支持多种命名空间,包括层次化的和平坦的;在Object ManagementLayer中,它不仅负责块的物理存储和访问,还整合了文件属性和块管理功能,每个Datanode对该功能进行了垂直切分,各自管理一部分。客户端访问HDFS2时,通过Namespace找到该文件名对应的Datanode和文件标识,并根据这些信息访问指定的Datanode获取文件属性和它的块信息。但是,HDFS2现有版本还没有实现高可用解决方案。


      腾讯的XFS是由搜索部门采用C++开发的分布式文件系统,它也实现了元数据信息的分离,并且通过SDK包兼容HDFS,即让HDFS运行在XFS上。如下图所示,XFS中命名空间由Master进行管理,XFS的Master通过主从热备实现了高可用解决方案,由Zookeeper实现监控、选举和切换;文件标识和块管理由独立的MetaServer进行管理,它记录了文件属性、长度以及该文件拥有的块等信息;与Datanode类似,块物理存储和访问由NodeServer负责。客户端在访问XFS时,先通过文件名在Master上获取MetaServer标识和文件标识等信息,然后在指定的MetaServer上获得需要请求的文件信息或者块信息,如果要访问文件的块,则通过NodeServer获取块内容。




HDFS 单点改造方案对比

HDFS 单点改造方案对比 1背景 目前,HDFS集群的架构包括了单个Name Node和若干个DataNode。Name Node负责两方面的事情:一方面是存储和管理整个命名空间,包括创建、...

mysql高可用方案一览中文版

  • 2011年05月13日 15:45
  • 1.61MB
  • 下载

HDFS小文件处理方案

  • 2016年08月30日 09:32
  • 1.15MB
  • 下载

一个电商项目的Web服务化改造3:改进方案の规范和约定、单表、单一职责

最近一直在做一个电商项目,需要把原有单系统架构的项目,改造成基于服务的架构,SOA。     有点挑战,做完了,会有很大进步。  上一篇,我们描述了原有项目中的问题。  或者说是,本篇的基本背景。  ...

变频器抗晃电技术改造方案

  • 2016年01月05日 15:37
  • 3.29MB
  • 下载

校园网络改造方案

  • 2014年06月09日 22:17
  • 18.28MB
  • 下载

山东大学第一会议室改造方案说明

技术通报WEB版 山东大学第一会议室面积约200平方米,原方案采用38只Beyerdynamic桌上型平面阵列话筒和10只Bose音柱。桌上型平面阵列话筒安装在长纵深会议室两侧桌面上,Bose音...

ODN设备改造方案

  • 2014年07月24日 09:34
  • 429KB
  • 下载

TDM-IP承载改造方案

  • 2013年10月23日 00:02
  • 7.06MB
  • 下载

Android 热修复方案Tinker(一) Application改造

这篇文章主要分析一下Tinker隔离Application.至于为什么要隔离Application?可以参考上一篇 Android 热修复方案分析文章中说到的Qzone方案,要给除了Applicati...
  • l2show
  • l2show
  • 2016年11月16日 16:06
  • 9264
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HDFS改造方案一览
举报原因:
原因补充:

(最多只允许输入30个字)