An Efficient Ring-Based Metadata Management Policy for Large-Scale Distributed File Systems——论文泛读

TPDS 2019 Paper 分布式元数据论文汇总

问题

高效且可扩展的元数据服务对系统性能至关重要。尽管元数据的大小通常是实际数据的0.1%到1%，但在EB级别的文件系统中，它仍然可以达到PB级别[2]。更重要的是，大约50%到80%的文件访问与元数据有关[3]。分布式元数据管理方案使用多个元数据服务器（MDS）存储元数据，这是一种高效的方法，可以缓解单个服务器的工作负载。然而，同时在MDS之间保持良好的元数据局部性和负载平衡是困难的。

挑战

如何同时实现元数据局部性和元数据服务器间负载平衡

现有方法的问题

子树划分：可以保证元数据局部性但无法保证负载均衡

哈希：可以保证负载均衡但无法保证元数据局部性

基于哈希的映射[11]、[12]、静态子树分区[10]、[13]和动态子树分区[14]，以及其他新颖的设计，如Mantle[15]、LazyHybrid[11]、IndexFS[16]和DROP[17]，是将元数据分离到不同服务器的主要方法。

本文方法

提出了一种名为AngleCut的新方案，用于分区元数据命名空间树并为大规模分布式存储系统提供服务。

• 使用一种新颖的保持局部性哈希（LPH）函数对命名空间树进行环投影和角分配，并采用多个类似Chord的环作为键空间（也称为标识符空间）。LPH函数保留了从元数据命名空间树到线性键空间的节点的相对位置，从而基本上保持了元数据的局部性。

• 设计了一种基于历史的分配策略，将元数据均匀分配给MDS，并动态调整工作负载。对于每个MDS，它采用基于随机游走的抽样方法[18]对元数据节点的访问频率进行累积分布函数（CDF）估计，然后动态调整工作负载。该策略保持了MDS之间的良好负载平衡，同时保持了元数据的局部性，与LPH设计兼容。

• 设计了一个两层元数据缓存机制，以提高元数据查询效率，包括客户端缓存和服务器端缓存。

• 提出了一种基于消息队列的2PC协议（2PC-MQ），可以有效地保证分布式元数据事务的数据一致性。

  

在Amazon EC2上的理论证明和大量实验证明了AngleCut相对于先前文献的优越性。

实验环境

我们使用Amazon EC2平台来运行我们的实验。每个EC2实例由双核Intel Xeon E5-2676 v3处理器和8GB内存组成，SSD用作底层磁盘，运行Ubuntu 16.04 LTS操作系统。MDS的实验量表范围从5到30，增量为5。我们还实现了子树分区[10]、动态子树分区[14]、基于哈希的映射[24]和DROP[17]，并与之进行了比较。我们使用的数据集是三个真实世界的跟踪 SNIA - Storage Networking Industry Association: IOTTA Repository Home，分别称为MSN、DevTool和LiveMap。详细信息如表3所示。

文章中给了局部性、负载均衡度、迁移量的计算公式

比较吞吐量、局部性、负载均衡度、缓存策略、迁移量、参数设置。

总结

针对元数据管理方法，传统方法难以同时实现局部性和负载均衡。作者提出用保持局部性哈希（LPH）函数对命名空间树进行分配，实现局部性；基于历史的分配策略，动态调整负载，实现负载均衡；两层缓存机制，优化元数据查询；2PC-MQ机制，保证不同MDS间事务一致性。