GVDS：面向广域高性能计算环境的虚拟数据空间

点击上方蓝字关注我们

GVDS：面向广域高性能计算环境的虚拟数据空间

肖利民^1,2, 宋尧^1,2, 秦广军³, 周汉杰^1,2, 王超波^1,2, 韦冰^1,2, 魏巍⁴, 霍志胜^1,2

1 北京航空航天大学计算机学院，北京 100191

2 软件开发环境国家重点实验室，北京 100191

3 北京联合大学智慧城市学院，北京 100101

4 西安理工大学计算机科学与工程学院，陕西 西安 710048

 

摘要：广域高性能计算环境是支撑科技创新和社会经济发展的核心信息基础设施。然而，在广域高性能计算环境中，异构存储资源在地理位置上的分散分布导致无法发挥广域存储资源的聚合效应，难以满足对广域分布数据的统一管理和高效访问需求。为此，提出了虚拟数据空间构建方法及数据访问性能优化方法，并实现了一个面向广域高性能计算环境的全局虚拟数据空间（GVDS）。GVDS可聚合广域分布的异构存储资源，形成统一的虚拟数据空间，有效支撑用户以统一访问模式高效访问广域分散的异构存储资源，实现广域环境中分布数据的跨域共享和协同处理。测试结果表明，与国际领先的面向广域高性能计算环境的OneData、GFFS等存储系统相比，GVDS实现了相当的功能，且数据访问性能明显提升。

关键词：全局虚拟数据空间 ; 广域高性能计算环境 ; 高效数据访问 ; 异构存储资源

论文引用格式：

肖利民, 宋尧, 秦广军, 等. GVDS：面向广域高性能计算环境的虚拟数据空间[J]. 大数据, 2021, 7(2): 123-146.

XIAO L M, SONG Y, QIN G J, et al. GVDS: a global virtual data space for wide-area high-performance computing environments[J]. Big Data Research, 2021, 7(2): 123-146.

1 引言

国家高性能计算环境拥有大量的计算与存储资源。根据中国国家网格（CNGrid）发布的《国家高性能计算环境发展报告（2002—2017年）》，截至2017年年底，我国国家网格节点单位达到19家，聚合计算资源超过200 PFlops，总存储资源超过178 PB。然而这些节点地理位置分散，如何发挥资源聚合效应并统筹使用这些广域资源一直是国家高性能计算环境发展面临的一个挑战性问题。网格技术常被用于解决此类广域资源聚合问题。网格技术能够将网络上松散的计算与存储资源聚合起来，隐藏资源的异构性，并最终向用户呈现一个虚拟的超级计算机。当前CNGrid中的计算资源已可做到全局调度使用，然而存储资源仍处于广域分散且隔离自治的状态，未能实现统一管理和共享访问。当研究人员需要跨机构协同工作以及分享大规模的数据文件时，通常需要通过网格的数据传输工具将与计算任务相关的输入文件传输到计算中心内部的存储集群中。在计算任务执行完成后，超算用户需要显式指定计算任务的输出文件来完成计算结果的回传。因此，现存的基础设施依然无法提供简单有效的数据访问与共享模式。

科学计算应用通常需要依赖外部数据文件，而其输入数据时常来源于多个超级计算中心（以下简称为超算中心）。以全基因组关联分析应用为例，其不同机构的基因库位于不同的超算中心，主应用位于某一个超算中心，当执行全基因组关联分析任务时，主应用需要访问多个超算中心的基因库，并划分出多个作业。每个作业都只需要访问基因库中所有文件的某一个文件片段，并进行关联分析。这种情况下，数据跨域分散且隔离自治未得到有效汇聚，难以实现对该应用数据的有效管理和共享，无法充分发挥多个超算中心并发处理海量数据的能力，导致各超算中心数据的重复存储以及较低的数据处理效率。此外，现有的跨域存储系统和访问方法不适用于广域高性能计算环境。因此，当前国家高性能计算环境亟须聚合广域分散的存储资源，以形成全局统一的数据空间，在此基础上，针对用户和应用对数据空间的多样化访问需求进行分区管理、共享和隔离，并在广域环境中提供数据空间的高效访问。可统一管理和高效访问的全局数据空间的形成主要面临如下挑战：

● 当前国家高性能计算环境存储资源广域分散且隔离自治，缺乏适用于广域高性能计算环境，能屏蔽底层文件系统异构性，并支持统一管理、分区共享及视图隔离的全局数据空间；

● 在带宽受限且高时延的广域环境下，难以实现高效的远程数据访问，难以满足广域分布数据访问需求。

针对上述挑战，本文提出了虚拟数据空间构建方法及数据访问性能优化方法，并实现了一个面向广域高性能计算环境的、访问模式统一且高效的全局虚拟数据空间（global virtual data space， GVDS）。GVDS是一个跨域分布式存储系统，单个GVDS实例可以直接部署到超算中心，并且通过与其他超算中心中的GVDS实例协作来实现存储资源的聚合。用户或计算节点通过运行在用户空间的GVDS实例，可以以POSIX文件访问接口的模式访问由跨域分散的异构存储资源聚合而成的数据空间。GVDS隐藏了数据传输过程，简化了多超算中心间数据访问与调度的模式。

本文的主要贡献包括以下两个方面。

● 设计了一个面向广域高性能计算环境的全局虚拟数据空间系统——GVDS。GVDS隐藏了底层存储访问接口、广域网链路、数据副本等的差异与复杂性，提供统一接口，以轻松管理、共享和访问跨域分散在多个超算中心的存储资源。

● 设计了高效的广域网远程数据访问机制，通过通信优化、数据预读与缓存、数据副本等技术有效提升了数据文件的实时访问速度。

2 相关工作

Lustre、Ceph和GPFS等文件系统能够在本地数据中心内实现统一访问和数据共享，其向上隐藏了分布式存储系统数据调度的复杂性，使得数据访问和共享就像使用本地文件系统一样容易。但是在广域高性能计算环境中，此类问题变得更加复杂，系统的用户往往来自不同的地域和机构，因此需要整合跨域分散的异构存储资源，并对其进行统一管理和访问。

针对跨域异构资源聚合和统一管理及访问问题，目前已有许多关于广域存储系统的研究工作。点对点技术在网络存储系统解决广域数据访问和共享问题上发挥了重要作用。这些存储系统通常基于一致性哈希进行数据分区，在分区节点内采用键值结构组织目录树。此类系统去中心化的架构设计使其避免了单点瓶颈，并且还具有较小的集群扩容代价与缩容代价。不过此类架构难以被直接应用于广域高性能计算环境，因其采用一致性哈希随机地决定文件的放置位置，而忽视了文件之间的关联性以及用户的访问成本。WAS（Windows Azure storage）是一种兼具高可用、安全、可伸缩性和可靠性的云存储系统。其基于共享口令的文件访问授权使用户之间极易共享数据。然而WAS不支持差量更新，即使仅覆写了文件的一小部分，也需要将整个文件全量上传到远程数据中心，因此会导致巨大的网络和磁盘开销。近年来，部分研究人员提出了关于面向分布式计算和高性能计算的广域文件系统的构想。Lustre-WAN是尝试将并行文件系统部署到广域的方案。实验结果表明，它可以在100 Gbit/s专线网络上提供较高的聚合访问性能。然而其局限在于要求所有数据中心部署相同的文件系统，即Lustre。Gfarm是一个广域分布式文件系统，由一个元数据节点、多个数据节点组成，同样提供了易用的广域数据访问接口。然而Gfarm存在单点故障问题，即元数据节点出现的网络故障会导致整个系统崩溃。CalvinFS是一种基于广域副本的高可用广域分布式文件系统。CalvinFS利用分布式数据库系统进行元数据管理，并以数据块为建立副本的基本单元。但CalvinFS使用键值的方式组织元数据，并将文件或目录的绝对路径作为键，因此递归的目录操作可能会导致性能显著下降。OneData是一种用于全局数据存储和共享的解决方案，它是PL-Grid Plus项目的一部分。OneData引入了Space和Provider的概念，以隐藏数据广域分布的复杂性。Space是用户数据存储的载体， Provider是提供存储资源的组织机构，每个Space可以由一个或多个Provider保存。然而OneData的目录树操作会被映射为大量的NoSQL操作，导致其数据库面临极大的负载压力，从而成为性能瓶颈。全局联合文件系统（global federated file system，GFFS）是美国国家科学基金会的极限科学与工程发现环境（extreme science and engineering discovery environment，XSEDE）项目中用于聚合广域分散自治存储资源的全局联合文件系统。与OneData紧密的元数据管理不同， GFFS通过一种松散的顶层元数据组织实现了异构存储资源的聚合，这种资源聚合形式支持个人计算机、大学校园存储集群、云存储等多种来源的存储资源便捷地接入GFFS。GFFS的元数据分多级管理，即顶层元数据集中式管理，存储集群上的元数据分散自治管理。因此，GFFS访问流程中单一的顶层元数据服务器可能会成为瓶颈，导致访问性能受限。

针对大数据稀疏