HDFS 用户指南

HDFS主要是提供给hadoop应用使用的分布式文件存储系统。HDFS集群由一个管理数据信息的NameNode和一个存储真实数据的DataNode组成；

以下这些突出的特性是用户比较关心的：

1.hadoop和HDFS是非常适合用于在商用机器上进行分布式存储和计算。它具有容错性和扩展性，而且非常容易扩展。mapreduce框架在大型数据应用集上的简单性和实用性而著称，现在已加入到hadoop计划中。

2.hadoop的可配置性极高，同时，它的默认配置文件又可以同时适合大多数的应用。大部分时候，配置文件只需要在对大规模的集群时调整。

3.hadoop是java编写的，所以可以适用于大多数平台。

4.datanode和namenode都有一个web服务可以让用户轻易的查看到当前集群的状态。

5.新的特性和功能正在由规律的在hadoop里面实现。这些是hadoop特性里面的一些子集:

1.文件的权限与认证；2机架感知：在调动任务和分配内部存储时能知道自己的物理位置；3安全模式：一个供维护的管理员模式；4fsck：检测HDFS文件系统是否正常，找到失去的文件或者block；5.fetchat:找到代理token并且把它存储在本地系统的文件中。6blancer一个当DataNode中的文件分布不均匀时自动调节平衡的工具。7、’升级和回归：当升级之后，如果发生没有预想到的错误时可以让它们回归到升级之前的状态；8、secondary namenode：周期性的执行namespace里的checkpoint和限制存储在NameNode中包含了hdfs系统变动的日志大小；9、Checkpoint node：周期性的执行namespace里的checkpoint和最小化存储在NameNode中包含了hdfs系统变动的日志，替换以前的节点；10：Backup node：一个checknode的扩展，除了执行检查点之外还接受来自namenode的更改操作流，以致可以在内存中维护一份和namenode始终保持一致的namespace的拷贝，同一时刻，只可以在namenode注册一个backupnode节点；