分布式文件系统特点及常见的分布式文件系统

特点：分块（hadoop2：128M）、流水线读写

分布式文件系统

• 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。
• 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
• 通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。
• 容错。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失。
• 分布式文件管理系统很多，hdfs只是其中一种。适用于一次写入多次查询的情况，不支持并发写情况，小文件不合适。

为什么小文件不适合呢？瓶颈在于存储元数据信息。元数据信息存放在namenode上，为保证数据安全和快速读写，namenode把信息放到磁盘一份和内存一份。

常见的分布式文件系统

GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式