存储系统服务器'设计方案,一种新型元数据存储系统的设计与实现

摘要：

随着信息科技的高速发展,"互联网+"时代的到来,网络上存储的数据越来越大,传统的存储方式已经不能满足需求,分布式文件系统成为主流.分布式文件系统将元数据和数据分开存储,元数据存储系统成为连接用户和数据存储服务器的桥梁,因此元数据存储系统的性能高低对整个系统至关重要.目前存在的元数据管理方案都存在一些缺陷无法解决.针对元数据存储系统的设计目标和现存的一些缺点,本文提出了一个新型的元数据存储系统. 本文针对现存元数据管理方案中存在的缺点,设计一个新型的元数据管理策略,主要对两个方面做了研究,分别是:元数据的负载均衡... 展开 随着信息科技的高速发展,"互联网+"时代的到来,网络上存储的数据越来越大,传统的存储方式已经不能满足需求,分布式文件系统成为主流.分布式文件系统将元数据和数据分开存储,元数据存储系统成为连接用户和数据存储服务器的桥梁,因此元数据存储系统的性能高低对整个系统至关重要.目前存在的元数据管理方案都存在一些缺陷无法解决.针对元数据存储系统的设计目标和现存的一些缺点,本文提出了一个新型的元数据存储系统. 本文针对现存元数据管理方案中存在的缺点,设计一个新型的元数据管理策略,主要对两个方面做了研究,分别是:元数据的负载均衡策略,元数据的局部一致性策略.对元数据的负载均衡的研究主要包括两方面,一是元数据分布的静态负载均衡,二是系统运行中的动态负载均衡.本文对一致性哈希算法进行优化,采用优化后的哈希算法将元数据分布到各个元数据服务器上,保证了元数据的均匀分布.当系统运行中出现了负载不均衡现象或者元数据服务器集群的规模需要进行调整的时候,该策略会将负载较高的元数据服务器上的元数据移动到负载较低的元数据服务器上,通过元数据的迁移,改变用户访问的服务器,降低其访问热度,充分利用元数据服务器集群的资源,保证整个系统的负载均衡.使用哈希策略的结果是,重命名操作会引起元数据存储位置的变化,本文采用了基于目录路径重定向表DPRT的元数据延迟移动策略,保证系统在元数据大规模移动时,系统效率不会受到影响. 另外本文还对系统的可靠性进行了研究,设计基于冗余机制和日志机制的可靠性保障策略,通过对元数据服务器管理者使用冗余机制备份,元数据服务器使用日志机制备份来保证系统的可靠性. 最后,本文实现了一个新型的元数据存储系统的原型,并对系统的吞吐量,用户操作延迟,系统负载均衡以及元数据迁移量进行了测试,实验表明在线程数目相同时系统的吞吐量会随着元数据服务器的增多而得到提高,用户延迟也会明显降低,重命名时元数据迁移量也会成倍降低,并且系统可以较好的实现负载均衡,具有高可扩展性,负载均衡等优点. 收起

展开