StarGFS并行文件系统介绍

需求背景

集群/分布式架构给企业带来灵活的计算处理能力的同时，也给企业带来了新的问题。当计算集群中业务高并发的对数据进行访问时，如果数据不能够被快速的获取和共享将会严重影响业务运转效率，耗费大量CPU/GPU计算资源。从集群化的趋势中可以看出企业也需要一个具备灵活扩展和高效数据IO能力的大规模存储平台匹配强大的集群计算处理能力。

云计算时代的诸多应用场景具有传统存储方案在设计时并未考虑到的独特特征，包括大型文件、海量零碎小文件、高吞吐量、高IOPS要求、读取密集型访问方式以及大量并发、容量增长迅速访问。特别是对于互联网、流媒体、高性能计算、能源、生物、金融等数据密集型、高并发访问的行业用户来说，容量与性能的线性扩展需求是传统存储方案不可逾越的鸿沟。

并行文件系统发展趋势

并行文件系统系统通过由若干个存储系统组成的集群，能够让企业在兼顾性价比的同时轻松实现性能与容量的在线无缝扩展，还有效解决了文件共享的效率问题。

长期以来，系统设计师一直在寻求提高文件系统的性能，事实证明，文件系统对极其广泛的应用程序的总体性能至关重要。尤其是科学和高性能计算社区推动了分布式存储系统的性能和可扩展性的进步，预计几年后会有更多的通用需求。

未来体系结构基于这样一个假设：PB级系统是动态的、大型系统不可避免地以增量的方式构建、节点故障是常态而不是例外、工作负载和特性随着时间的推移不断变化。该体系结构的主要目标是可伸缩性（达到数百PB甚至更高）、性能和可靠性。可伸缩性可以从多个方面考虑，包括系统的总体存储容量和吞吐量，以及单个客户端、目录或文件的性能。目标工作负载可能包括这样的极端情况，即数万或数十万个主机同时读取或写入同一文件，或在同一目录中创建文件。这种场景在超级计算集群上运行的科学应用程序中很常见，越来越显示出未来的常规工作负载。更