HDFS原理

1 解决分布式存储问题

1.1 如何解决海量数据存得下的问题

横向扩展和纵向扩展详解。

1.2 如何解决海量数据文件查询便捷问题

当文件被存储在多台机器上之后，当获取文件数据时，如何快速便捷的到文件存储地找到文件。

1.3 如何解决大文件传输效率慢的问题

通常的做法时分块存储，把大文件拆分为若干个小块，分别存储在不同机器上，并行提高效率。

1.4 如何解决硬件故障数据丢失问题

采用副本机制（hdfs默认3个副本）副本设置。

1.5 如何解决用户查询统一视角问题

传统的文件系统拥有目录树结构，带有层次感的namespace，在分布式文件系统中，可以用元数据抽象成统一的目录结构。

2 分布式文件系统简介

1） 是Appache Hadoop核心组件之一，作为大数据生态圈底层的分布式存储服务而存在。
2）解决大数据如何存储问题，分布式意味着横跨在多台计算机上的存储系统。
3）能在普通硬件上运行的分布式系统，具有高容错性。
4）具有统一的用户访问接口，可以像访问单机的普通文件一样访问分布式文件系统。