HDFS、Ceph、GFS、GPFS、Swift 等分布式存储技术的特点和适用场景

随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。当前，分布式存储有多种实现技术，如HDFS、Ceph、GFS、GPFS、Swift等。在实际工作中，为了更好地引入分布式存储技术，我们需了解各种分布式存储技术的特点，以及各种技术的适用场景，在此希望请教下同行，城商行应该如何选择这些分布式存储技术，他们各自的特点和场景如何？

在以上几种分布式存储技术中，每一种存储技术都有各自的特点和应用场景。其中HDFS、Ceph和Swift应用比较多，这也和它们的技术发展比较快和应用场景比较多相关。下面分别介绍：

一、HDFS
主要用于大数据的存储场景，是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候，就已经明确的它的应用场景，就是为大数据服务。主要的应用场景有：
1、对大文件存储的性能比较高，例如几百兆，几个G的大文件。因为HDFS采用的是以元数据的方式进行文件管理，而元数据的相关目录和块等信息保存在NameNode的内存中， 文件数量的增加会占用大量的NameNode内存。如果存在大量的小文件，会占用大量内存空间，引起整个分布式存储性能下降，所以尽量使用HDFS存储大文件比较合适。
2、适合低写入，多次读取的业务。就大数据分析业务而言，其处理模式就是一次写入、多次读取，然后进行数据分析工作，HDFS的数据传输吞吐量比较高，但是数据读取延时比较差，不适合频繁的数据写入。
3、HDFS采用多副本数据保护机制，使用普通的X86服务器就可以保障数据的可靠性，不推荐在虚拟化环境中使用。

二、Ceph
是一个开源的存储项目，是目前应用最广泛的开源分布式存储系统，已得到众多厂商的支持，许多超融合系统的分布式存储都是基于Ceph深度定制。而且Ceph已经成为LINUX系统和OpenStack的“标配”，用于支持各自的存储系统。Ceph可以提供对象存储、块设备存储和文件系统存储服务。同时支持三种不同类型的存储服务的特性，在分布式存储系统中，是很少见的。

Ceph没有采用HDFS的元数据寻址的方案，而且采用CRUSH算法，数据分布均衡，并行度高。而且在支持块存储特性上，数据可以具有强一致性，可以获得传统集中式存储的使用体验。对象存储服务，Ceph支持Swift和S3的API接口。在块存储方面，支持精简配置、快照、克隆。在文件系统存储服务方面，支持Posix接口，支持快照。但是目前Ceph支持文件的性能相当其他分布式存储系统，部署稍显复杂，性能也稍弱，一般都将Ceph应用于块和对象存储。

Ceph是去中心化的分布式解决方案，需要提前做好规划设计，对技术团队的要求能力比较高。特别是在Ceph扩容时，由于其数据分布均衡的特性，会导致整个存储系统性能的下降。

三、GFS
GFS是google分布式文件存储，是为了存储海量搜索数据而设计的专用文件系统。和HDFS 比较类似，而且HDFS系统最早就是根据 GFS的概念进行设计实现的。 GFS同样适合大文件读写，不合适小文件存储。适合处理大量的文件读取，需要高带宽，而且数据访问延时不敏感的搜索类业务。同样不适合多用户同时写入。GFS 是最早的推出分布式存储概念的的存储系统之一，后来的大部分的分布式式文件系统或多或少都参考了 GFS 的设计。HDFS和 GFS 的主要区别是，对GFS 中关于数据的写入进行了一些改进，同一时间只允许一个客户端写入或追加数据。而GFS 是支持并发写入的。这样会减少同时写入带来的数据一致性问题，在写入流程上，架构相对比较简单，容易实现。

四、GPFS
GPFS是 IBM 的共享文件系统，它是一个并行的磁盘文件系统，可以保证在资源组内的所有节点可以并行访问整个文件系统。GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。GPFS提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。

GPFS和其他分布式存储不同的是，GPFS是由网络共享磁盘（NSD）和物理磁盘组成。网络共享磁盘（NSD）是由物理磁盘映射出来的虚拟设备，与磁盘之间是一一对应的关系。所以，使用两台传统的集中式存储设备，通过划分不同的网络共享磁盘，也可以部署GPFS，不一定部署在X86设备上。GPFS文件系统允许在同一个节点内的多个进程使用标准的UNIX文件系统接口并行的访问相同文件进行读写，性能比较高。GPFS支持传统集中式存储的仲裁机制和文件锁，保证数据安全和数据的正确性，这是其他分布式存储系统无法比拟的。GPFS主要用于IBM 小型机和UNIX系统的文件共享和数据容灾等场景。

五、Swift
Swift也是一个开源的存储项目，但是主要面向的是对象存储。和Ceph提供的对象存储服务类似。主要用于解决非结构化数据存储问题。它和Ceph的对象存储服务的主要区别是。

1、客户端在访问对象存储系统服务时，Swift要求客户端必须访问Swift网关才能获得数据。而Ceph使用一个运行在每个存储节点上的OSD（对象存储设备）获取数据信息，没有一个单独的入口点，比Swift更灵活一些。

2、在数据一致性方面，Swift的数据是最终一致，在海量数据的处理效率上要高一些，但是主要面向对数据一致性要求不高，但是对数据处理效率要求比较高的对象存储业务。而Ceph是始终跨集群强一致性。主要的应用场景，在在OpenStack中，对象存储服务使用的就是Swift，而不是Ceph。

应用场景及特点：
Hadoop HDFS(大数据分布式文件系统)

Hadoop分布式文件系统(HDFS)是一个分布式文件系统，适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。
该系统的主要设计目标包括：容错，可扩展性，高效性和可靠性。HDFS采用了MapReduce，不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。

OpenStack的对象存储Swift

OpenStack Swift提供一个类似Amazon S3的对象存储。其主要特点为：
所有的存储对象都有自身的元数据和一个URL，这些对象在尽可能唯一的区域复制3次，而这些区域可被定义为一组驱动器，一个节点，一个机架等。开发者通过一个RESTful HTTP API与对象存储系统相互作用。对象数据可以放置在集群的任何地方。在不影响性能的情况下，集群通过增加外部节点进行扩展。这是相对全面升级，性价比更高的近线存储扩展。数据无需迁移到一个全新的存储系统。集群可无宕机增加新的节点。故障节点和磁盘可无宕机调换。在标准硬件上运行，例如戴尔，HP和Supermicro。

Ceph

Ceph是一个遵循LGPL协议的存储平台，它可以在单个分布式节点上同时支持对象存储，块存储和文件存储。

Ceph主要设计的初衷是变成一个可避免单节点故障的分布式文件系统，EB级别的扩展能力，而且是一种开源自由软件，许多超融合的分布式文件系统都是基于Ceph开发的，作为开源软件在超融合商业领域的应用，Ceph因为性能等问题被诟病，但不乏许多厂商在Ceph上不断优化和努力。

IBM General Parallel File System(GPFS通用并行文件系统)

这个专有GPFS是一个由IBM开发的高性能集群文件系统。它可以在共享磁盘或非共享分布式并行模式中进行部署。

GPFS-SNC，其中SNC代表Shared Nothing Cluster(非共享集群)，它是2012年12月正式发布的GPFS 3.5版本，如今被称为GPFS-FPO(文件配置优化)。这让GPFS可以在一个联网服务器的集群上采用本地连接磁盘，而不需要配置共享磁盘的专用服务器(例如使用SAN)，GPFS-FPO可充当HDFS兼容的文件系统。

GPFS时常通过调用计算集群上的MPI-IO(Message Passing Interface)进行访问。功能包括：

分布式元数据处理。包括目录树。没有单独的“目录控制器”或“索引服务器”管理文件系统。

对非常大的目录进行高效索引目录项。很多文件系统被限制在单一目录(通常， 65536或类似的小二进制数)中的少数文件内，而GPFS并没有这样的限制。

分布式锁定。该功能考虑了完整的Posix文件系统语义，包括锁定文件进行独占访问。

Global Federated File System(GFFS全局联合文件系统)

XSEDE文件系统在美国弗吉尼亚大学Genesis II项目的一部分。

GFFS的出现是源于一个对诸如文件系统的资源以一种联合，安全，标准化，可扩展和透明化的方式进行访问和远程操作的需求，而无需数据所有者或应用程序开发者和用户改变他们存储和访问数据的任何方式。

GFFS通过采用一个全局基于路径的命名空间实现，例如/data/bio/file1。

在现有文件系统中的数据，无论它们是否是 Windows文件系统， MacOS文件系统，AFS，Linux或者Lustre文件系统都可以导出或链接到全局命名空间。

例如，一个用户可以将它 “C” 盘上一个本地根目录结构，C:workcollaboration-with-Bob导出到全局命名空间，/data/bio/project-Phil，那么用户 “C” 盘workcollaboration-with-bob 内的文件和目录将会受到访问限制，用户可以通过/data/bio/project-Bob路径在 GFFS上访问。

最后谈一下，最常见的GPFS和HDFS有什么区别？

GPFS和Hadoop的HDFS系统对比起来相当有趣，它设计用于在商用硬件上存储类似或更大的数据——换言之就是，不配置 RAID 磁盘的数据中心和一个SAN。

HDFS还将文件分割成块，并将它们存储在不同的文件系统节点内。

HDFS对磁盘可靠性的依赖并不高，它可以在不同的节点内存储块的副本。保存单一副本块的一个节点出现故障是小问题，可以再复制该组其它有效块内的副本。相较而言，虽然GPFS支持故障节点恢复，但它是一个更严重的事件，它可能包括数据(暂时性)丢失的高风险。

GPFS支持完整的Posix文件系统语义。HDFS和GFS(谷歌文件系统)并不支持完整的Posix语义。

GPFS跨文件系统分布它的目录索引和其它元数据。相反， Hadoop将它们保留在主要和次要Namenode中，大型服务器必须在RAM内存储所有的索引信息。

GPFS将文件分割成小块。Hadoop HDFS喜欢64MB甚至更多的块，因为这降低了Namenode的存储需求。小块或很多小的文件会快速填充文件系统的索引，因此限制了文件系统的大小。

说到分布式文件系统，不得不提到许多超融合厂商，一部分是基于Ceph的，还有一部分是完全自主研发的

本文摘自于 talkwithtrend