广域虚拟数据空间中边缘缓存系统的研究与实现

摘要：针对广域虚拟数据空间系统中边缘客户端访问和共享远程数据时，数据冗余传输造成大量网络带宽浪费的问题，通过研究广域虚拟数据空间系统中的缓存技术，提出边缘缓存机制优化数据访问通路，将数据以文件粒度缓存在靠近边缘客户端的位置，从而提升上层应用访问和共享数据的性能。测试结果表明，作为虚拟数据空间系统的补充，提出的边缘缓存系统可提升广域数据共享的性能。

关键词：广域网 ; 边缘缓存 ; 广域虚拟数据空间 ; 共享数据访问性能

1 引言

当前中国国家高性能计算环境中总计算能力突破200 PFlops，总存储容量超过160 PB，拥有2个南北主节点、6个国家级节点、11个普通节点。但各个节点广域分散，计算与存储资源难以统筹使用。当前计算资源已经基本做到全局调度，但存储资源仍处于广域分散、隔离自治的状态，未能实现统一管理和共享访问。随着计算规模和数据量的快速增长，为了满足大型高性能计算应用跨域统一访问、广域数据共享、存储与计算协同的需求，基于国家重点研发计划“高性能计算虚拟数据空间”项目，笔者设计并实现了广域虚拟数据空间系统（global virtual data system， GVDS），并在5个国家超级计算（以下简称超算）中心进行了部署和验证，图1为GVDS的部署情况。如图1所示，虚拟数据空间客户端位于网络边缘，可称其为边缘客户端。边缘客户端一般部署于PC上，是用户访问广域虚拟数据空间系统的入口；伴随着网络技术的发展，其还可部署在边缘侧的计算节点、数据采集节点和移动设备上。用户可通过客