文件服务器选择文件系统,一种应用于分布式文件系统的存储服务器选择方法技术方案...

一种应用于分布式文件系统的存储服务器选择方法，属于分布式存储技术领域。在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择数据存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据，避免因为存储空间不足、服务器CPU、内存这些属性的满载节点而导致数据存储任务的延迟以及失败，提高分布式文件系统存储任务的效率。

【技术实现步骤摘要】

一种应用于分布式文件系统的存储服务器选择方法

本专利技术涉及分布式存储

，更确切的说，是一种应用于分布式文件系统的存储服务器选择方法。

技术介绍

随着云计算迅速发展，IT界进入“云”时代，云计算中会产生海量的数据存储，传统的文件系统已不能满足其性能要求，作为云存储的核心基础平台，分布式文件系统的重要性日益凸显。分布式文件系统是将分布于不同服务器上的文件组合为单一的名称空间，并使得在网络上建立一个单一的、层次化的文件系统。分布式文件系统采用可扩展的系统结构，可以实现冗余存储、文件同步、系统容错、故障恢复等原本需要人工手动才能实现的功能，大大降低维护难度，不但提高了系统的可靠性、可用性和存取效率，更易于扩展，可以有效存储并管理利用海量数据。分布式文件系统主要采用的是主从式服务器架构，将文件数据分成固定大小文件块分散存储在多台通过网络连接起来的计算机节点上,这种模式存在一些节点分配的文件块过多,而另外一些节点却是空闲的,导致系统的数据存储服务器之间数据块分配不均衡问题。数据存储服务器选择方法是分布式文件系统的研究核心之一，是否有好的数据存储服务器选择方法直接影响系统的性能。现有的应用在分布式文件系统的存储服务器选择方法，当系统进行写文件操作选择存储服务器时，对存储服务器性能的评价标准较为单一，无法综合反映当前存储服务器的性能。申请号为201110259333.2、专利技术名称为【一种分布式系统的服务负载均衡方法及装置】的专利技术专利，公开了一种分布式系统的服务负载均衡方法，在进行负载均衡时考虑了服务器的负荷情况和对应的各网口流量，但是没有考虑存储服务器的存储空间利用率，针对分布式存储问题，不能保证存储容量大小对存储节点选择的影响。其他已有的分布式文件系统架构，考虑了存储服务器的存储空间，却没有考虑服务器的负荷性能，在进行分布式存储处理时不能综合考量服务器性能。

技术实现思路

针对以上缺陷和不足，本专利技术提出了一种应用于分布式文件系统的存储服务器选择方法，以解决在分布式文件系统中存储服务器选择方法评价标准较为单一的问题。为了达到上述目的，本专利技术采用如下的技术方案：一种应用于分布式文件系统的存储服务器选择方法，在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，采用线性评价函数模型计算存储器性能权重值，动态评价当前服务器的整体性能，作为存储服务器选择方法的评价依据，该方法步骤如下：(1)为存储服务器的性能评价值Ci赋初值Ci初始值为大于0小于1的随机数，当客户端发起写文件请求时，元数据管理服务器对存储服务器进行轮询，选择评价值Ci>1的存储服务器进行写文件操作，当评价值Ci>1的存储服务器个数小于所需文件副本数时，则根据存储服务器的性能权重值wi更新存储服务器的性能评价值Ci；(2)计算存储服务器的性能权重值wi综合考虑服务器的性能评价标准，存储服务器的性能权重用以下几个指标综合量度：存储空间空闲率si，内存利用率memi,CPU利用率cpui，采用线性加权评价函数模型，存储服务器的性能权重值wi可以表示为：wi＝k1×si+k2(1-memi)+k3(1-cpui)其中，存储空间空闲率totalspacei表示存储服务器的总存储空间，usedspacei表示存储服务器已使用存储空间，k1、k2、k3分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数，k1、k2、k3的值根据经验确定，并且满足k1+k2+k3＝1；由wi的计算公式可以看出，存储服务器的存储空间空闲率越大，内存利用率越小，CPU利用率越小，wi的权值越大；(3)更新存储服务器的性能评价值根据上述计算的存储服务器的性能权重值wi与存储服务器的性能评价值Ci相加，以更新存储服务器的性能评价值，即Ci＝Ci+wi，直至性能评价值Ci大于1的存储服务器个数等于所需文件副本数；(4)对存储服务器性能评价值Ci排序并选出最大值进行写文件操作将存储服务器性能评价值Ci从大到小进行排序，选出性能评价值Ci最大的存储服务器，进行写文件操作，将客户端所要写入的文件块存入所选的存储服务器；(5)写文件操作结束后，将所选的存储服务器的性能评价值Ci减1，即更新为Ci＝Ci-1，然后转入步骤(1)，更新后的Ci作为下一次循环的初始值。本专利技术的有益效果如下，针对分布式文件系统中客户端的写文件操作，在选择数据存储服务器时考虑存储服务器存储空间空闲率，服务器内存使用率、CPU使用率等服务器节点状态，采用线性评价函数模型计算存储器性能权值，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据。避免因为存储空间利用率、CPU使用率、内存使用率这些属性的满载节点而导致数据传输任务的延迟以及失败，提高存储任务的效率。附图说明图1为本专利技术方法的流程示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明，但不限于此。实施例：本专利技术实施例如图1所示，一种应用于分布式文件系统的存储服务器选择方法，在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，采用线性评价函数模型计算存储器性能权重值，动态评价当前服务器的整体性能，作为存储服务器选择方法的评价依据，该方法步骤如下：(1)为存储服务器的性能评价值Ci赋初值Ci初始值为大于0小于1的随机数，当客户端发起写文件请求时，元数据管理服务器对存储服务器进行轮询，选择评价值Ci>1的存储服务器进行写文件操作，当评价值Ci>1的存储服务器个数小于所需文件副本数时，则根据存储服务器的性能权重值wi更新存储服务器的性能评价值Ci；(2)计算存储服务器的性能权重值wi综合考虑服务器的性能评价标准，存储服务器的性能权重用以下几个指标综合量度：存储空间空闲率si，内存利用率memi,CPU利用率cpui，采用线性加权评价函数模型，存储服务器的性能权重值wi可以表示为：wi＝k1×si+k2(1-memei)+k3(1-cpui)其中，存储空间空闲率totalspacei表示存储服务器的总存储空间，usedspacei表示存储服务器已使用存储空间，k1、k2、k3分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数，k1、k2、k3的值根据经验确定，并且满足k1+k2+k3＝1；由wi的计算公式可以看出，存储服务器的存储空间空闲率越大，内存利用率越小，CPU利用率越小，wi的权值越大；(3)更新存储服务器的性能评价值根据上述计算的存储服务器的性能权重值wi与存储服务器的性能评价值Ci相加，以更新存储服务器的性能评价值，即Ci＝Ci+wi，直至性能评价值Ci大于1的存储服务器个数等于所需文件副本数；(4)对存储服务器性能评价值Ci排序并选出最大值进行写文件操作将存储服务器性能评价值Ci从大到小进行排序，选出性能评价值Ci最大的存储服务器，进行写文件操作，将客户端所要写入的文件块存入所选的存储服务器；(5)写文件操作结束后，将所选的存储服务器的性能评价值Ci减1，即更新为Ci＝Ci-1，然后转入步本文档来自技高网...

【技术保护点】

一种应用于分布式文件系统的存储服务器选择方法，在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择数据存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，采用线性评价函数模型计算存储器性能权值，动态评价当前服务器的整体性能，作为数据存储服务器选择方法的评价依据，该方法步骤如下：(1)为数据存储服务器的性能评价值Ci赋初值Ci初始值为大于0小于1的随机数，当客户端发起写文件请求时，元数据管理服务器对数据存储服务器进行轮询，选择评价值Ci>1的数据存储服务器进行写文件操作，当评价值Ci>1的数据存储服务器个数小于所需文件副本数时，则根据存储服务器的性能权重值wi更新存储服务器的性能评价值Ci；(2)计算存储服务器的性能权重值wi综合考虑服务器的性能评价标准，存储服务器的性能权重用以下几个指标综合量度：存储空间空闲率si，内存利用率memi,CPU利用率cpui，采用线性加权评价函数模型，存储服务器的性能权值wi可以表示为：wi＝k1×si+k2(1‑memi)+k3(1‑cpui)其中，存储空间空闲率totalspacei表示存储服务器的总存储空间，usedspqcei表示存储服务器已使用存储空间，k1、k2、k3分别为节点状态存储空间空闲率、内存使用率和CPU使用率的加权系数，k1、k2、k3的值根据经验确定，并且满足k1+k2+k3＝1；由wi的计算公式可以看出，存储服务器的存储空间空闲率越大，内存利用率越小，CPU利用率越小，wi的权值越大；(3)更新存储服务器的性能评价值根据上述计算的存储服务器的性能权值wi与存储服务器的性能评价值Ci相加，以更新存储服务器的性能评价值，即Ci＝Ci+wi，直至性能评价值Ci大于1的存储服务器个数等于所需文件副本数；(4)对存储服务器性能评价值Ci排序并选出最大值进行写文件操作将存储服务器性能评价值Ci从大到小进行排序，选出性能评价值Ci最大的存储服务器，进行写文件操作，将客户端所要写入的文件块存入所选的数据存储服务器；(5)写文件操作结束后，将所选的数据存储服务器的性能评价值Ci减1，即更新为Ci＝Ci‑1，然后转入步骤(1)，更新后的Ci作为下一次循环的初始值。...

【技术特征摘要】

1.一种应用于分布式文件系统的存储服务器选择方法，在分布式集群环境中，针对客户端的写文件请求，元数据管理服务器在选择存储服务器时，综合考虑存储服务器的节点状态,包括存储空间空闲率、内存使用率和CPU使用率，采用线性评价函数模型计算存储器性能权重值，动态评价当前服务器的整体性能，作为存储服务器选择方法的评价依据，该方法步骤如下：(1)为存储服务器的性能评价值Ci赋初值Ci初始值为大于0小于1的随机数，当客户端发起写文件请求时，元数据管理服务器对存储服务器进行轮询，选择评价值Ci>1的存储服务器进行写文件操作，当评价值Ci>1的存储服务器个数小于所需文件副本数时，则根据存储服务器的性能权重值wi更新存储服务器的性能评价值Ci；(2)计算存储服务器的性能权重值wi综合考虑服务器的性能评价标准，存储服务器的性能权重用以下几个指标综合量度：存储空间空闲率si，内存利用率memi,CPU利用率cpui，采用线性加权评价函数模型，存储服务器的性能权重值wi可以表示为：wi＝kl×si+k2(1-memi)+k3(1-cpui)...

【专利技术属性】

技术研发人员：袁东风，刘亚，

申请(专利权)人：山东大学，

类型：发明

国别省市：山东;37