HDFS 优缺点

​​​​​​HDFS主要是用于做什么的？ 

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。

---

HDFS 优点

1、高容错性

• 数据自动保存多个副本。它通过增加副本的形式，提高容错性
• 某一个副本丢失以后，它可以自动恢复。

2、适合批处理

• 它是通过移动计算而不是移动数据。
• 它会把数据位置暴露给计算框架。

3、适合大数据处理

• 处理数据达到 GB、TB、甚至PB级别的数据。
• 能够处理百万规模以上的文件数量，数量相当之大。
• 能够处理10K节点的规模

4、流式文件访问

• 一次写入，多次读取，不能修改，只能追加。
• 它能保证数据的一致性。

5、可构建在廉价机器上

• 它通过多副本机制，提高可靠性。
• 它提供了容错和恢复机制。
• 比如某一个副本丢失，可以通过其它副本来恢复。 

---

HDFS 缺点

1、低延时数据访问

• 比如毫秒级的来存储数据，是做不到的。
• 它适合高吞吐率的场景，就是在某一时间内写入大量的数据。但是它在低延时的情况下是不行的，比如毫秒级以内读取数据，这样它是很难做到的。

2、无法高效的对大量小文件进行存储 

• 存储大量小文件的话，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
• 小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。

3、并发写入、文件随机修改

• 一个文件只能有一个写，不允许多个线程同时写。 
• 仅支持数据 append（追加），不支持文件的随机修改。