HDFS - 初识

1、HDFS优劣势

优势

• 高容错性

数据自动保存多个副本。它通过增加副本的形式，提高容错性。

某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的。

• 适合批处理

它是通过移动计算而不是移动数据。

它会把数据位置暴露给计算框架。

• 适合大数据处理

处理数据达到 GB、TB、甚至PB级别的数据。

能够处理百万规模以上的文件数量，数量相当之大。

能够处理10K节点的规模。

• 流式文件访问

一次写入，多次读取。文件一旦写入不能修改，只能追加。

它能保证数据的一致性。

• 可构建在廉价机器上

它通过多副本机制，提高可靠性。

它提供了容错和恢复机制。比如某一个副本丢失，可以通过其它副本来恢复。

劣势

• 低延时数据访问

比如毫秒级的来存储数据，它做不到。

它适合高吞吐率的场景，就是在某一时间内写入大量的数据。

• 小文件存储

存储大量小文件(这里的小文件是指小于HDFS系统的Block大小的文件（默认64M）)的话，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。

小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。

• 并发写入、文件随机修改

一个文件只能有一个写，不允许多个线程同时写。

仅支持数据 append（追加），不支持文件的随机修改。

2、HDFS文件块大小

HDFS中文件存储物理上是分块存储，块大小可以通过配置参数设置，默认大小 2.* 版本是128M，1.* 版本是64M，存储过程是先寻址，再存储，寻址时间是传输时间的1%为最佳状态；

块的大小设置原则是最小化寻址开销，如果块设置太小，会增加寻址时间，程序一直在定位块开始的位置；如果块设置太大，导致程序处理这个块的速度非常慢，mapreduce中的map任务通常一次只处理一个块中的数据