HDFS、Ceph、GFS、GPFS、Swift 等分布式存储技术的特点和适用场景

随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。当前，分布式存储有多种实现技术，如HDFS、Ceph、GFS、GPFS、Swift等。在实际工作中，为了更好地引入分布式存储技术，我们需了解各种分布式存储技术的特点，以及各种技术的适用场景，在此希望请教下同行，城商行应该如何选择这些分布式存储技术，他们各自的特点和场景如何？

在以上几种分布式存储技术中，每一种存储技术都有各自的特点和应用场景。其中HDFS、Ceph和Swift应用比较多，这也和它们的技术发展比较快和应用场景比较多相关。下面分别介绍：

一、HDFS
主要用于大数据的存储场景，是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候，就已经明确的它的应用场景，就是为大数据服务。主要的应用场景有：
1、对大文件存储的性能比较高，例如几百兆，几个G的大文件。因为HDFS采用的是以元数据的方式进行文件管理，而元数据的相关目录和块等信息保存在NameNode的内存中， 文件数量的增加会占用大量的NameNode内存。如果存在大量的小文件，会占用大量内存空间，引起整个分布式存储性能下降，所以尽量使用HDFS存储大文件比较合适。
2、适合低写入，多次读取的业务。就大数据分析业务而言，其处理模式就是一次写入、多次读取，然后进行数据分析工作，HDFS的数据传输吞吐量比较高，但是数据读取延时比较差，不适合频繁的数据写入。<