Hadoop和HDFS

（本文自动镜像于http://cloudme.net84.net/?p=27）

最近在研究分布式文件系统，HDFS由于其开源的特征以及拥有众多的使用者，成了我的首选。HDFS是Hadoopd的一个子项目，全名就叫Hadoop Distributed File System。Hadoop又是Apache基金会的一个开源项目，它依据一些公开的文档资料，克隆了Google的几大核心技术，包括MapReduce计算框架，BigTable分布式数据库（在Hadoop中叫HBase）以及Google FS（简称GFS，在Hadoop中对应的就是HDFS了）。Google虽然开源了非常多的项目，但是多局限于终端产品，比如Android，Chrome等，对于最核心的技术——服务器端的三大法宝一向是严格珍藏着，对外也就是发布了几篇论文。但是仅仅根据这几篇论文，就出来了很多模仿品，Hadoop可能是最全面最完善的一个模仿项目。我无法知道它到底能有Google的多少精髓，但是至少它受到了Yahoo!的大力支持，同时在国内也有很多主流公司在运用它（比如百度），我就不能对它小觑。

HDFS和Google FS（labs.google.com/papers/gfs-sosp2003.pdf）的实现原理几乎一样，在认为单个计算节点都不可靠的前提下，用冗余的方式来提高文件系统的可靠性。它可以搭建