晨雪无痕

Hadoop的数据管理HDFS的数据管理HDFS是分布式计算的存储基石，Hadoop分布式文件系统和其他分布式文件系统有很多类似的特性：对于整个集群有单一的命名空间；具有数据一致性，都适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的；文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且会根据配置由复制文件块来保证数据的安全性。

使用以下步骤连续杀死3个DataNode：使用下列命令重启所有节点： $ start-all.sh等到Hadoop的 “dfsadmin –report”命令显示有4个活跃节点：把测试文件的新副本file1.new放到HDFS上： $ Hadoop fs -put file1.data file1.new登录到集群中的3台主机并杀死每台主机上的DataNode进

Hadoop分布式文件系统（HDFS）的设计主旨，在于对超大规模数据集提供可靠的存储功能，并对用户应用程序提供高带宽的输入输出数据流。在大型的集群里，上千台服务器均可直接参与到数据存储和应用程序任务执行。通过多服务器，分布式的存储和计算，计算资源的规模能够按照需要增长，并兼顾在各种规模上经济适用性。 本文主要描述了HDFS的架构，并以Yahoo!企业数据服务为例，介绍了如何使用HDFS系统管理高达