大数据学科-HDFS的演变

HDFS 源于 Google 在2003年10月份发表的GFS（Google File System）论文，接下来，我们从传统的文件系统入手，开始学习分布式文件系统，以及分布式文件系统是如何演变而来。

传统的文件系统对海量数据的处理方式是将数据文件直接存储在一台服务器上。

从上图中可以看出来，传统的文件系统在存储数据时，会遇到两个问题，具体如下：

l 当数据量越来越大时，会遇到存储瓶颈，就需要扩容；

l 由于文件过大，上传和下载都非常耗时；

为了解决传统文件系统遇到的存储瓶颈问题，那么首先考虑的就是扩容，扩容有两种形式，一种是纵向扩容，即增加磁盘和内存；另一种是横向扩容，即增加服务器数量。通过扩大规模从而达到分布式存储，这种存储形式就是分布式文件存储的雏形，如下图。

解决了分布式文件系统的存储瓶颈问题之后，那么还需要解决文件上传与下载的效率问题，常规的解决办法是将一个大的文件切分成多个数据块，将数据块以并行的方式进行存储。这里以30G的文本文件为例，将其切分成3块，每块大小10G（实际上每个数据块都很小只有100M左右），将其存储在文件系统中。