A GPU-Accelerated In-Memory Metadata Management Scheme for Large-Scale Parallel File Systems——论文泛读

JCST 2021 Paper 元数据论文阅读汇总

问题

受高性能计算应用需求的不断增加驱动，超级计算机很容易包含越来越多的计算节点。在这样大规模的计算系统上运行的应用程序很可能会生成数百万个并行进程，这通常会产生大量的I/O请求，对底层并行文件系统的元数据管理构成巨大挑战。克服这种挑战的传统方法是采用横向扩展的方式采用多个元数据服务器，但这将不可避免地面临严重的网络和一致性问题。

挑战

在大规模场景下，数据访问性能可以随数据服务器的数量线性增长，但元数据性能难以增长。

一致性：客户端通常需要与几个元数据服务器交互才能完成一个事务，维护相关元数据服务器之间的数据一致性是一项挑战。

网络开销：分布式元数据管理方案可用性较低，因为所有元数据服务器在树状目录组织下彼此紧密耦合，导致高昂的网络开销，同时元数据集群中的任何服务器的故障都可能压垮整个元数据服务。

在大目录的情况下，元数据操作的性能较差：第一，同一目录中的文件和目录创建被序列化，因为新条目需要附加到父目录的元数据中。第二，CPU无法处理太多的并发请求。

每个元数据服务器的并发性不够高：扩展元数据处理能力的传统方法是增加元数据服务器的数量[2，4，6]。然而，单个服务器所能支持的并发性非常有限。我们使用不同数量的并发客户端来获取Lustre上文件的属性，如图1所示，当并发客户端数量仅达到400时，元数据服务器的CPU已饱和。单个元数据服务器的低并发性要求我们部署更多的元数据服务器来满足系统的要求，这是昂贵的，并增加了一致性保证和网络开销。

已有方法局限性

一些基于KV的元数据管理解决方案承诺在大目录情况下提供高性能，如IndexFS[4]，它们的关键思想是附加名称空间并将元数据存储在KV存储中，利用KV的轻量级优势来提高元数据性能。然而，这些基于KV的解决方案降低了一些元数据操作的性能，如列出目录和重命名，这些操作在实际生产环境中也很重要。同时，它们不能解决CPU并发不足的问题。

本文思路

我们提出通过使用GPU并行处理元数据请求来提高每个单独的元数据服务器的性能。基于两个观察：第一，大多数与元数据相关的文件操作主要生成大量小的随机I/O请求，对底层块存储设备（例如硬盘、固态硬盘）不友好。相反，基于DRAM的内存能够提供出色的随机访问性能，将元数据保留在内存中是提高元数据性能的一种有效方法。第二，与元数据相关的文件操作也具有计算密集型特点，即使是多核CPU在重负载下也容易饱和。相反，GPU可以生成大量并行线程，已广泛用于加速各种应用程序。

设计了一种新颖的元数据服务器架构，该架构使用CPU与文件系统客户端进行交互，同时将关于元数据的计算任务卸载到GPU上。为充分利用GPU中存在的并行性，我们重新设计了文件系统命名空间的内存数据结构。新的数据结构可以完美适应GPU的内存体系结构，从而有助于利用GPU内的大量并行线程同时服务突发的元数据请求。我们基于BeeGFS实现了一个原型并进行了大量实验来评估我们的提案。

实验结果表明，我们基于GPU的解决方案在典型的元数据操作下优于基于CPU的方案超过50%。在高并发场景下，例如支持数百万个并行线程的高性能计算系统中，其优越性进一步增强。

实验条件

我们在HPC中选择了两种常见的场景进行评估：大目录和高并发。测试环境包含57个客户端节点、1个元数据服务器节点和1个数据服务器节点，它们通过万兆以太网连接。每个节点有两个Intel Xeon E5 CPU和64 GB RAM，元数据服务器配备了NVIDIA K80 GPU。我们使用mdtest 7 进行实验。

比较大目录下的性能、并发性能、参数敏感度、混合工作负载性能、尾延迟

总结

针对高性能计算场景下元数据可扩展性不足，作者分析原因在于元数据操作性能低和并发性不足，进而导致扩展时的一致性和网络开销。作者提出通过GPU提升单个元数据服务器的性能：通过CPU进行与客户端的通信，将相关计算任务卸载到GPU；重新设计命名空间的内存数据结构，充分发挥GPU性能。