HDFS 的设计理念

HDFS 的设计理念是，可以运行在普通机器上，以流式数据方式存储文件，一次写入、多次查询，具体有以下几点。

1）可构建在廉价机器上HDFS 的设计理念之一就是让它能运行在普通的硬件之上，即便硬件出现故障，也可以通过容错策略来保证数据的高可用性。

2）高容错性由于 HDFS 需要建立在普通计算机上，所以结点故障是正常的事情。HDFS 将数据自动保存多个副本，副本丢失后，自动恢复，从而实现数据的高容错性。

3）适合批处理HDFS 适合一次写入、多次查询（读取）的情况。

在数据集生成后，需要长时间在此数据集上进行各种分析。每次分析都将涉及该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。

4） 适合存储大文件这里说的大文件包含两种意思：一是文件大小超过 100MB 及达到 GB 甚至 TB、PB 级的文件;二是百万规模以上的文件数量。