HDFS配置

1、HDFS
　　　 HDFS（Hadoop Distributed File System）为大数据平台其它所有组件提供了最基本的存储功能。
　　　　特征：高容错、高可靠、可扩展、高吞吐率等，为大数据存储和处理提供了强大的底层存储架构。
　　　　HDFS是一个主/从（master/slave）体系结构，从最终用户的角度来看，它就像传统的文件系统，可通过目录路径对文件执行CRUD操作。由于其分布式存储的性质，HDFS集群拥有一个NameNode和一些DataNodes，NameNode管理文件系统的元数据，DataNode存储实际的数据。
　　　　HDFS开放文件系统的命名空间以便用户以文件形式存储数据，秉承“一次写入、多次读取”的原则。客户端通过NameNode和DataNodes的交互访问文件系统，联系NameNode以获取文件的元数据，而真正的文件I/O操作是直接和DataNode进行交互的。
3、适用场景
　　HDFS 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，以下是一些常用的应用场景：
　　　　　a.　数据密集型并行计算：数据量极大，但是计算相对简单的并行处理，如大规模Web信息搜索；
　　　　　b.　计算密集型并行计算：数据量相对不是很大，但是计算较为复杂的并行计算，如3D建模与渲染、气象预报和科学计算；
　　　　　c.　数据密集与计算密集混合型的并行计算，如3D电影的渲染。
　　HDFS在使用过程中有以下限制：
　　　　　a.　HDFS不适合大量小文件的存储，因NameNode将文件系统的元数据存放在内存中，因此存储的文件数目受限于NameNode的内存大小；