HadaFS - Burst Buffer解读

背景

近几年AI，ML，HPC大火， 针对这些场景的存储技术及方案也逐步衍生出两个分支，第一支：以Lustre，BeeGFS等为代表的分布式并行文件系统， 这些文件系统对POSIX提供了很好的支持，各种业务可以不经改造无缝运行，提供了很好的兼容性；第二支：以Gekkofs，HadaFS为代表的缓存系统Burst Buffer（BB），这些系统都提供弱（宽松）语义的POSIX支持，通过自定义的客户端对上层业务提供文件访问能力，需要对上层的业务进行针对性的改造及适配，因为专门针对这些场景进行了优化，相对的也提供了更优的性能。

HadaFS

HadaFS是国家超算中心（无锡）联合多家高校设计实现的一款专为超算打造的宽松POSIX缓存系统（BB），下文是对HadaFS的技术解读

概述

Burst Buffer（BB）根据部署位置的不同，分为本地BB和共享BB，

• 本地BB， 部署在计算节点的SSD上，专职服务于本节点，扩展性和性能要更好些，但是不适合用于N-1的共享数据场景，另外因为共享部署，不同I/O模型/负载的业务相互干扰，可能导致巨大的资源浪费，最后随着计算节点的升级，部署成本也会快速增加。代表产品有Luster的LPCC，BeeGFS的BeeOND。
• 共享BB，部署在专用的节点上，它的优势是可以实现数据共享以及具有更优的部署成本，但是在支持拥有数以万计客户端的超大规模计算集群上面临挑战。

两种BB各有优劣，而相比传统的文件系统，BB的性能都较高，但是容量较小，所以BB通常和文件系统配合使用。但随着E级超算时代的到来，并发I/O的需求急剧增加，同时超算应用的I/O也更多样，这给当前的BB系统带来了巨大的挑战，并暴露出如下的不足

• BB的扩展性与应用行为的不匹配， E级超算数以万计的并发I/O给BB系统的扩展性带来挑战，AI及ML等共享数据的应用及工作流对I/O提出新的要求，大规模数据的高速共享变得愈发的重要。如：神威太湖之光使用的Luster LPCC本地BB，在数据共享以及元数据访问密集的情况下就比较低效（为保证强语义的一致性，BB中的数据需要回写到Lustre后，才能共享）。
• 复杂的元数据管理与应用行为的不匹配&#