Low-Latency and Scalable Full-path Indexing Metadata Service for Distributed File Systems——论文泛读

最新推荐文章于 2024-10-06 11:20:33 发布

妙BOOK言

最新推荐文章于 2024-10-06 11:20:33 发布

阅读量735

点赞数 23

分类专栏：论文阅读文章标签：论文阅读元数据

本文链接：https://blog.csdn.net/qq_36159989/article/details/137338141

版权

论文阅读专栏收录该内容

259 篇文章 12 订阅

订阅专栏

ICCD 2023 Paper 分布式元数据论文阅读笔记整理

问题

分布式文件系统（DFS）是现代海量数据处理系统的基石。在DFS中，作为核心组件的元数据服务往往成为性能瓶颈。现有的元数据服务解决方案已经实现了扁平化的元数据管理和全路径索引，以实现容量和吞吐量方面的高可扩展性。然而，这些方法有局限性，例如：与POSIX风格的权限验证冲突，对超大目录的支持不足。导致延迟高且不稳定，无法为延迟敏感的应用程序提供可靠的服务。

挑战

权限检查和完整路径索引之间的冲突。在POSIX兼容的文件系统中，每个组件都有自己的权限。一旦请求了文件，文件系统就会使用基于组件的方法检查权限，将路径名拆分为组件（分割目录和文件的名称），并在分层目录树中按顺序遍历它们[10]。然而，在大规模DFS中，目录树分布在多个元数据服务器（MDS）上，要求元数据遍历在MDS之间经过多跳，导致延迟很高。分层权限机制否定了全路径索引方法带来的性能增益。为了缩短延迟，最先进的方案使用并行路径解析并行访问同一路径上所有组件的权限[12，13]。然而，这种方法在访问深层文件时保持了许多具有不同延迟的网络连接，仍然存在长尾延迟。
超大目录中不可预测的延迟。扁平化的元数据管理将每个文件视为一个单独的对象，并将它们分布在多个MDS中，使负载平衡，但会破坏空间局部性。而空间局部性对于文件系统性能至关重要，尤其是对于在目录级别执行的范围操作（如ls和rmdir）。为了平衡空间局部性和负载平衡，当前的扁平化元数据管理方案在目录级别或目录子集级别分发元数据[12、15、16]中分发元数据。然而，对于包含大量文件的超大目录，这些方法会导致访问热点和长尾延迟。

本文方法

本文提出了Duplex，基于全路径索引的可扩展DFS元数据服务，旨在实现低而稳定的延迟，同时保持可扩展的吞吐量和容量。

采用双访问路径方式，具有低延迟的快速路径和高吞吐量的慢速路径，两个路径都支持完整的POSIX样式的权限验证。快速路径包括一个专用权限服务器（PMS），它缓存来自MDS的所有目录权限，使延迟敏感应用程序的请求能够快速完成权限检查。慢速路径，利用并行路径解析来实现可扩展的吞吐量。
基于树的权限合并算法，以提高PMS的空间效率，防止PMS成为系统容量瓶颈。
通过双一致性哈希（DCH）在MDS集群之间分配目录子集，即使对于深度文件和超大目录，也能提供低而稳定的访问延迟。

评估表明，与最先进的元数据解决方案相比，对于元数据密集型基准测试，Duplex显著降低了高达84%的平均查找延迟和高达88.2%的99%尾延迟。此外，与CephFS和BeeGFS相比，Duplex将查找IOPS提高了7.6倍/2.3倍。

实验

实验环境：

数据集：MDTest

实验对比：吞吐量、延迟、负载均衡程度

实验参数：不同元数据操作

总结

针对分布式文件系统元数据的优化，实现更低的延迟，主要解决权限验证和超大目录的问题。本文提出Duplex，基于全路径索引的DFS元数据服务。（1）采用双访问路径方式，具有低延迟的快速路径和高吞吐量的慢速路径。快速路径，使用专用权限服务器（PMS），缓存来自MDS的所有目录权限，使延迟敏感应用程序的请求能够快速完成权限检查。慢速路径，利用并行路径解析来实现可扩展的吞吐量。（2）基于树的权限合并算法，以提高PMS的空间效率，防止PMS成为系统容量瓶颈。（3）通过双一致性哈希（DCH）在MDS集群之间分配目录子集，即使对于深度文件和超大目录，也能提供低而稳定的访问延迟。