主流分布式存储技术对比分析

【导读】如今分布式存储产品众多令人眼花缭乱，如何选型？要根据其背后的核心架构来分析它本来的原貌，然后才能决定其是否适合我们的具体场景。

1 引言

目前市面上各个厂家的分布式存储产品五花八门，但是如果透过产品本身的包装看到其背后的核心技术体系，基本上会分为两种架构，一种是有中心架构的分布式文件系统架构，以GFS、HDFS为代表；另外一种是完全无中心的分布式存储架构，以Ceph、Swift、GlusterFS为代表。对具体分布式存储产品选型的时候，要根据其背后的核心架构来分析它本来的原貌，然后才能决定其是否适合我们的具体场景。

2 主流分布式存储技术对比分析

2.1 GFS & HDFS

GFS和HDFS都是基于文件系统实现的分布式存储系统；都是有中心的分布式架构 （图2.1） ；通过对中心节点元数据的索引查询得到数据地址空间，然后再去数据节点上查询数据本身的机制来完成数据的读写；都是基于文件数据存储场景设计的架构 ；都是适合顺序写入顺序读取，对随机读写不友好。

图2.1 中心化的分布式存储架构

接下来，我们来看GFS和HDFS都有哪些具体特性，我们应该如何应用？

1. GFS是一种适合大文件，尤其是GB级别的大文件存储场景的分布式存储系统。

2. GFS非常适合对数据访问延迟不敏感的搜索引擎服务。

3. GFS是一种有中心节点的分布式架构，Master节点是单一的集中管理节点，既是高可用的瓶颈，也是可能出现性能问题的瓶颈。

4. GFS可以通过缓存一部分Metadata到Client节点，减少Client与Master的交互。

5. GFS的Master节点上的Operation log和Checkpoint文件需要通过复制方式保留多个副本，来保障元数据以及中心管理功能的高可用性。