HDFS个人总结

个人学习过程中总结，如有不同见解望交流。

一、HDFS的特点：
1.高容错和高可用性
硬件错误是常态而不是异常 HDFS 设计为运行在普通硬件上，所以硬件故障是很正常的。HDFS 提供文件存储副本策略，可以实现错误自检并快速自动恢复。个别硬件的损坏不影响整体数据完整性和计算任务的正常执行。
2.流式数据访问
HDFS 主要采用流式数据读取，做批量处理而不是用户交互处理，因此 HDFS 更关注数据访问的高吞吐量。
3.弹性存储，支持大规模数据集 HDFS 支持大文件存储，典型的文件在 GB 甚至 TB 级别，可以支持数以千万计的大规模数据集。根据业务需要灵活的增加或者缩减存储节点。弹性存储的最大挑战是减小在修改存储节点时的数据震荡问题。
4. 简单一致性模型 HDFS 文件实行一次性写、多次读的访问模式。设计为文件一经创建、写入和关闭之后就不需要再更改了，这种设计和假定简化了数据一致性问题，使高吞吐量成为可能。
5. 移动计算而非移动数据 由于 HDFS 支持大文件存储，对于大文件来说，移动计算比移动数据的代价要低。这样也可以减少网络的拥塞和提高系统的吞吐量。
6. 协议和接口多样性 为上层应用提供了多种接口，Http RestFul 接口、NFS 接口、Ftp 接口等等 POSIX 标准协议，另外通常会有自己的专用接口。
7. 多样的数据管理功能 对于数据压缩、数据加密、数据缓存和存储配额等提供了多样的管理功能。

二、HDFS的组成：（采用Master/Slave架构）
1.NameNode （Master）
2.SecondaryNameNode
3.DataNode （Slave）

一个HDFS集群有一个NameNode和多个DataNode
1.Dat