hdfs文件系统和linux文件系统,分布式文件系统HADOOP HDFS与传统文件系统LINUX FS的比较与分析...

分布式文件系统HADOOP HDFS与传统文件系统LINUX FS的比较与分析

第3 0卷第 4期 2 1 8月 0 0年

苏

州

大

学

学

报(工

科

版)

Vo_ O No 4 13 .

Au . 2 0 g 01

J OURNAL OF S HOU UNI UZ VERSTY( NGI I E NEERI NG CI S ENCE EDI I TON)

文章编号：6 3— 4 X(0 0 0 00 1 7 0 7 2 1 )~ 4— 0 5—0 5

分布式文件系统 Ha o p HDF d o S与传统文件系统 Ln xF iu S的比较与分析

许春玲张广泉，

(. 1苏州大学计算机科学与技术学院，江苏苏州 2 5 0;. 10 6 2中国科学院软件研究所计算机科学国家重点实验室，北京 10 8 ) 00 0

摘

要：对现有 HD S的设计架构进行分析，借与 Ln xF F并 iu S架构的对比凸显 H F D S的分布式特性。

通过分析得出：有的 HD S架构使用 Jv现 F aa的 M p界面， a不利于任务的分解和并行处理，因此 HD S F仅在数据的存储上实现分布式，数据处理依然是集中式的，就形成了对 N me oe的依赖，着集这 a Nd随

群的扩大， a N d N me o e的性能成为系统瓶颈，并提出了解决方向。 关键词： a op H F; F ot n c;布式文件系统 H d o; D S HD Sb te ek分 l

中图分类号： P 1 . T 36 4文献标识码： A

0引言

“云计算”全球范围内日益推广的新一代商业计算模式， do是 Haop正是“云计算”境中广泛应用的重要环基础软件。分布式并行框架，用于普通配置计算机组成的集群。从这个定义不难看出 H do适 aop的商业魅力所在。H do方面借鉴了 M p eue计算模型，一模型在 G ol署自己的分布式框架过程中被不断 aop一 aR dc这 og e部

提炼；一方面，作为整个框架基础设施的文件系统，另是正如 G ol MaR d c运行在 G ol Fl Ss m上， og p eue e og i yt e e e

H do有自己的文件系统 H F—— H d0 ir ueFl Ss m的缩写。H F aop也 Ds a0pDsi t i yt tb e e D S作为文件系统之于 H— a do op的意义，如 Lnx文件系统对于 Lnx正 iu iu。作为开源项目代表作的

Lnx透明化的开发模式方便我们透 iu,

过软件的具体实现方法研究分析其背后的设计思想，甚至于隐藏在开发者不自觉沿用的实现方法之后的某些

规律。

因为 Haop和 Lnx是在不断更新中的项目，文分析引用如未特别说明，以 Haop0 1.,iu do iu都本均 do .7 1Lnx kre 240为基础。下文用有序偶表示“ a到 b的一对多映射” e l .. n ,从。

1 HDF S架构

H F D S的架构建立在大量普通配置的计算机组成的集群上。集群中的节点通常都运行 G U Lnx操作 N/ iu系统同时必须支持 Jv, aa因为 HD S是用 Jv实现的。H F F aa D S采用了主从 ( s rSae架构，个集群有一 Mat/ l ) e v一

个 Matr多个 Sae前者称为名字节点 ( a N d )后者称为数据节点 ( a N d ) s和 e l, v N me o e, D t oe。理论上一台计算机 a可以运行多个 D tN d a oe进程、个 N me o e程 (个进程在整个集群中是唯一的 )但是在实际情况中往 a一 a Nd进这，

往是一台计算机只运行一个 D tN d a oe或 N m N d。一个文件被分割成若干 Bok存储在一组 D tN d。 a a e oe l c a oe上 a

N m N d负责打开、 a e oe关闭和重命名文件及目录，同时建立 Bok与 D t oe间的映射。D t oe l c a Nd之 a a N d负责响 a

应客户的读/需求，写同时在 N m N d a e oe的指挥下实现 Bok的建立、 lc删除以及复制。图 1 H F构图。为 D S架

收稿日期： 00— 3— 8 2 1 0 0

作者简介：许春玲 (9 0一)女， 18,硕士研究生，主要研究方向为云计算与分布式架构。 基金项目：中国科学院计算机科学国家重点实验室开放课题 (编号 S S F9 8; Y K 00 )江苏省高校自然科学基金项目(编号

0 K B 20 0。 8 J 50 1 )