计算机分级存储的特,海量数据分级存储评测系统技术方案

海量数据分级存储评测系统属于计算机系统评测领域，尤其涉及其中分级存储系统评测领域。本发明专利技术的特征在于通过快照还原一个真实的文件系统场景，同时通过比较相邻两快照之间的差别确定后续将要被访问的文件；根据两快照间文件属性信息的不同和已有的文件访问特征对文件访问请求进行加密处理，从而提供一个真实的文件系统场景及相应的后续文件访问请求，并将文件访问请求在生成的文件系统场景上进行播放，模拟真实环境中分级存储系统的应用情况，最终有效的实现对分级存储系统的评测与分析。

【技术实现步骤摘要】

海量数据分级存储评测系统属于计算机系统评测领域，尤其涉及其中分级存储系 统评测领域。

技术介绍

分级存储系统依据对文件的访问频率及文件属性将文件在具有不同性能容量的 存储设备间动态的迁移。对海量数据分级存储系统的测试，需要提供一个完整的文件系统 场景以及在这文件系统场景上的文件访问请求。其中文件系统场景是指在某一时刻，文件 系统中数据的大小、目录树结构、文件大小分布、文件分布及文件属性信息。分级存储评测 要求文件系统场景中的基本文件属性要与实际相符，同时文件访问请求能够体现实际的文 件系统访问情况。但在实际情况中，无法同时获得一个准确的文件系统场景和后续的文件 访问请求。就目前而言，分级存储系统的评测主要是将采集得到的访问请求播放一段时间 得到一个文件系统场景，而后在生成的文件系统场景上运行分级存储系统及后续访问进行 系统的评测。这种评测方法提供的文件系统场景与真实应用并不相符，因此不能对分级存 储系统性能进行完整的、正确的评测。

技术实现思路

本专利技术的目的是设计一种新的分级存储系统评测方法，并依据该方法实现一个海 量数据分级存储系统评测工具。通过该方法，评测系统能够提供一个真实完整的文件系统 场景，同时生成与此场景相对应的相对真实的文件访问请求。在这个文件系统场景及分级 存储系统应用的基础上，通过播放生成的文件访问请求，以模拟真实应用中分级存储系统 的使用情况。通过本方法，能够有效评测分级存储系统在真实应用系统中的应用情况。海量数据分级存储评测系统其特征在于由在一台计算机中的快照还原模块、文件系统访问场景信息还原模块、文件访问请求加密模块和文件访问请求播放模块共同组 成，其中快照还原模块依次按照以下步骤生成快照描述文件和原始的文件系统访问请 求步骤(1. 1)从copy-on-write模式的快照信息中得到除文件内容以外的、指定日 期的快照描述信息，包括文件路径名、是否是目录、文件最近访问时间、文件最近修改时 间、文件大小、文件所属用户和文件所属用户组，生成快照描述文件；步骤(1. 2)按上一步骤生成原始的文件系统访问请求，每个文件访问请求包括 访问类型、文件路径名、是否是目录、访问起始地址、版本号差值、所属用户信息、所属用户 组信息、请求处理的数据大小和执行时间，所述文件访问类型包括文件读、文件写、文件创 建、文件删除，版本号差值表示在相邻两快照之间版本号的差值步骤(1.2.1)在相邻、连续的快照A和快照B中，读取快照A中的一个文件；步骤(1. 2. 2)判断步骤(1. 2. 1)所读文件在所述快照B中是否存在若不存在，便在所述快照A和快照B的时间点之间生成删除请求，转入步骤 (1. 2. 4)，若存在，则判断文件在快照A中的最近访问时间是否小于文件在快照B中的最近 访问时间若是，则生成(1.2.1)所述文件的写请求，转步骤(1.2.3)，若不是，则转步骤(1.2.3)；步骤(1. 2. 3)判断步骤(1. 2. 1)中所读文件在快照A中的最近修改时间是否小于 文件在快照B中的最近修改时间若是，则生成步骤(1.2.1)中所述文件的读请求，转步骤(1.2.4)，若不是，则转步骤(1.2.4)；步骤(1. 2. 4)判断快照A中的文件是否全被判断过若是，则转步骤(1.3)， 若不是，则返回步骤(1. 2. 1)；步骤(1. 3)，则读取快照B中未被判断过的文件，并生成所述文件的创建请求，按 照以下步骤处理所述文件步骤(1. 3. 1)判断快照B中文件的最近访问时间是否小于文件的最近修改时间若是，则生成所述文件的写请求，若不是，则生成所述文件的读请求；步骤(1. 3. 2)判断快照B中的所有文件是否全被判断过若不是，则转步骤(1.3)，若是，则本流程结束；文件系统场景信息还原模块，依次按照以下步骤还原文件系统的场景信息步骤(2. 1)在所述快照还原模块中读取已形成的快照描述文件中的一条文件记 录；步骤(2. 2)判断步骤(2. 1)中读取的记录中的文件的最近访问时间是否大于文件 的最近修改时间若是，则根据步骤(2. 1)中所读取的文件记录中的文件最近修改时间修改计算 机系统时间，并创建此文件，而后根据步骤(2. 1)中所读取的文件记录中的文件最近访问 时间修改计算机系统时间，执行一次对所创建文件的读请求，若不是，则根据步骤(2. 1)中所读取的文件记录中的文件最近访问时间修改计 算机系统时间，并创建此文件，而后根据步骤(2. 1)中所读取的文件记录中的最近修改时 间修改计算机系统时间，执行一次对所创建文件的写请求；步骤(2. 3)判断是否快照描述文件中的所有记录都已处理若不是，则转步骤(2. 1)，若是，则本流程结束；文件访问请求加密模块按照以下步骤进行对读请求和写请求的加密步骤(3. 1)确定文件的读写请求的次数，步骤如下步骤(3. 1. 1)读取原始文件系统访问请求中一条记录；步骤(3. 1. 2)判断步骤(3. 1. 1)所读记录中的访问类型若是写请求，则将步骤(3. 1. 1)所读记录中的版本号差值作为此文件访问记录 相关文件的写访问次数，若是读请求，则将步骤(3. 1. 1)所读记录中的版本号差值的4倍作为此文件访问 记录相关文件的读访问次数；步骤(3. 1. 3)判断原始文件记录是否已经读完若不是，则转到步骤(3. 1.1)，若是，则转步骤(3.2)；步骤(3. 2)确定读写访问的分布，步骤如下步骤(3. 2. 1)读取经过步骤(3. 1)处理后的原始文件系统访问请求中的一条记 录；步骤(3. 2. 2)判断步骤(3. 2. 1)所读取记录的访问类型若是写请求，则在原始文件系统访问请求中执行时间最早记录的执行时间和这 个写请求的执行时间之间随机确定一个时间点，并以此时间点作为中心，同时向两个时间 边界每隔1/P秒判断是否在这个时间点添加一个相关文件的写请求，直到添加的写请求个 数达到在步骤(3. 1)中确定的访问个数或达到时间边界为止，其中P值初始设置为1，而后 每增加一个时间间隔，P = ΡΧ0. 95 ；若是读请求，则在原始文件系统访问请求中执行时间最早记录的执行时间和这 个读请求的执行时间之间随机确定一个时间点，并以此时间点作为中心，同时向两个时间 边界每隔1/P秒判断是否在这个时间点添加一个相关文件的读请求，直到添加的读请求个 数达到在步骤(3. 1)中确定的访问个数或达到时间边界为止，其中P值初始设置为1，而后 每增加一个时间间隔，P = ΡΧ0. 95 ；步骤(3. 3)确定读写数据的大小，步骤(3. 3. 1)读取经过步骤(3. 2)处理后的文件访问请求中的一条记录；步骤(3. 3. 2)判断步骤(3. 2)中所读记录的访问类型，若是读请求，按照预先设定的概率Ps确定对此记录相关文件的读访问是顺序读 还是随机读，若是顺序读，则设置第一个对此文件的读起始位置为S = 0，读数据大小为T = IK Byte，而后读取此文件后续的文件读请求，并将读起始位置设置为S = S+T，读取数据大 小为T = T，如果S值大于文件大小，则将S设置为0，直到所有对此文件的读请求都处理结 束，若是随机读，则对该文件的所有读请求，在0和文件大小之间随机确定一个值作 为文件的读起始位置，并本文档来自技高网...

【技术保护点】

海量数据分级存储评测系统其特征在于：由在一台计算机中的快照还原模块、文件系统访问场景信息还原模块、文件访问请求加密模块和文件访问请求播放模块共同组成，其中：快照还原模块依次按照以下步骤生成快照描述文件和原始的文件系统访问请求：步骤(１．１)从ｃｏｐｙ－ｏｎ－ｗｒｉｔｅ模式的快照信息中得到除文件内容以外的、指定日期的快照描述信息，包括：文件路径名、是否是目录、文件最近访问时间、文件最近修改时间、文件大小、文件所属用户和文件所属用户组，生成快照描述文件；步骤(１．２)按上一步骤生成原始的文件系统访问请求，每个文件访问请求包括：访问类型、文件路径名、是否是目录、访问起始地址、版本号差值、所属用户信息、所属用户组信息、请求处理的数据大小和执行时间，所述文件访问类型包括：文件读、文件写、文件创建、文件删除，版本号差值表示在相邻两快照之间版本号的差值：步骤(１．２．１)在相邻、连续的快照Ａ和快照Ｂ中，读取快照Ａ中的一个文件；步骤(１．２．２)判断步骤(１．２．１)所读文件在所述快照Ｂ中是否存在：若：不存在，便在所述快照Ａ和快照Ｂ的时间点之间生成删除请求，转入步骤(１．２．４)，若：存在，则判断文件在快照Ａ中的最近访问时间是否小于文件在快照Ｂ中的最近访问时间：若：是，则生成(１．２．１)所述文件的写请求，转步骤(１．２．３)，若：不是，则转步骤(１．２．３)；步骤(１．２．３)判断步骤(１．２．１)中所读文件在快照Ａ中的最近修改时间是否小于文件在快照Ｂ中的最近修改时间：若：是，则生成步骤(１．２．１)中所述文件的读请求，转步骤(１．２．４)，若：不是，则转步骤(１．２．４)；步骤(１．２．４)判断快照Ａ中的文件是否全被判断过：若：是，则转步骤(１．３)，若：不是，则返回步骤(１．２．１)；步骤(１．３)，则读取快照Ｂ中未被判断过的文件，并生成所述文件的创建请求，按照以下步骤处理所述文件：步骤(１．３．１)判断快照Ｂ中文件的最近访问时间是否小于文件的最近修改时间：若：是，则生成所述文件的写请求，若：不是，则生成所述文件的读请求；步骤(１．３．２)判断快照Ｂ中的所有文件是否全被判断过：若：不是，则转步骤(１．３)，若：是，则本流程结束；文件系统场景信息还原模块，依次按照以下步骤还原文件系统的场景信息：步骤(２．１)在所述快照还原模块中读取已形成的快照描述文件中的一条文件记录；步骤(２．２)判断步骤(２．１)中读取的记录中的文件的...

【技术特征摘要】

1.海量数据分级存储评测系统其特征在于由在一台计算机中的快照还原模块、文件 系统访问场景信息还原模块、文件访问请求加密模块和文件访问请求播放模块共同组成， 其中快照还原模块依次按照以下步骤生成快照描述文件和原始的文件系统访问请求 步骤(1. 1)从copy-onirite模式的快照信息中得到除文件内容以外的、指定日期的 快照描述信息，包括文件路径名、是否是目录、文件最近访问时间、文件最近修改时间、文 件大小、文件所属用户和文件所属用户组，生成快照描述文件；步骤(1.2)按上一步骤生成原始的文件系统访问请求，每个文件访问请求包括访问 类型、文件路径名、是否是目录、访问起始地址、版本号差值、所属用户信息、所属用户组信 息、请求处理的数据大小和执行时间，所述文件访问类型包括文件读、文件写、文件创建、 文件删除，版本号差值表示在相邻两快照之间版本号的差值步骤(1.2. 1)在相邻、连续的快照A和快照B中，读取快照A中的一个文件； 步骤(1. 2. 2)判断步骤(1. 2. 1)所读文件在所述快照B中是否存在 若不存在，便在所述快照A和快照B的时间点之间生成删除请求，转入步骤(1.2. 4)， 若存在，则判断文件在快照A中的最近访问时间是否小于文件在快照B中的最近访问 时间若是，则生成(1. 2. 1)所述文件的写请求，转步骤(1. 2. 3)， 若不是，则转步骤(1.2.3)；步骤(1. 2. 3)判断步骤(1. 2. 1)中所读文件在快照A中的最近修改时间是否小于文件 在快照B中的最近修改时间若是，则生成步骤(1. 2. 1)中所述文件的读请求，转步骤(1. 2. 4)，若不是，则转步骤(1.2.4)；步骤(1. 2. 4)判断快照A中的文件是否全被判断过若是，则转步骤(1.3)，若不是，则返回步骤(1.2. 1)；步骤(1. 3)，则读取快照B中未被判断过的文件，并生成所述文件的创建请求，按照以 下步骤处理所述文件步骤(1. 3. 1)判断快照B中文件的最近访问时间是否小于文件的最近修改时间若是，则生成所述文件的写请求，若不是，则生成所述文件的读请求；步骤(1. 3. 2)判断快照B中的所有文件是否全被判断过若不是，则转步骤(1.3)，若是，则本流程结束;文件系统场景信息还原模块，依次按照以下步骤还原文件系统的场景信息 步骤(2. 1)在所述快照还原模块中读取已形成的快照描述文件中的一条文件记录； 步骤(2. 2)判断步骤(2. 1)中读取的记录中的文件的最近访问时间是否大于文件的最 近修改时间若是，则根据步骤(2. 1)中所读取的文件记录中的文件最近修改时间修改计算机系 统时间，并创建此文件，而后根据步骤(2. 1)中所读取的文件记录中的文件最近访问时间 修改计算机系统时间，执行一次对所创建文件的读请求，若不是，则根据步骤(2. 1)中所读取的文件记录中的文件最近访问时间修改计算机 系统时间，并创建此文件，而后根据步骤(2. 1)中所读取的文件记录中的最近修改时间修 改计算机系统时间，执行一次对所创建文件的写请求；步骤(2. 3)判断是否快照描述文件中的所有记录都已处理若不是，则转步骤(2. 1)，若是，则本流程结束；文件访问请求加密模块按照以下步骤进行对读请求和写请求的加密步骤(3. 1)确定文件的读写请求的次数，步骤如下步骤(3. 1. 1)读取原始文件系统访问请求中一条记录；步骤(3. 1. 2)判断步骤(3. 1. 1)所读记录中的访问类型若是写请求，则将步骤(3...

【专利技术属性】

技术研发人员：舒继武，张广艳，邱建平，

申请(专利权)人：清华大学，

类型：发明

国别省市：11[中国|北京]