存储技术（四）-关键性能和指标

一 分布式存储的性能指标

1.1 主要性能指标

Gartner发布的《Critical Capabilities for Distributed File Systems》报告中重点关注了分布式文件存储系统的8个核心关键：容量（~可扩展性）、空间效率、平台适配性、可管理性、性能、自愈能力（可用性和数据保护）、多租户及安全性、价格。

针对于性能指标，需要在设定一定的预置条件，重点包括如下：

1、存储类别。不同存储类别的每秒读写次数、价格、读写速度都不一样。

2、文件大小和文件数量。这可以作为测试时的变量之一。

3、客户端并发发送访问数量的情况。

4、文件操作。包括文件/目录的打开、删除、查询、创建，以及增删改等。此外，文件读取还包括随机读写、顺序读写等，每次读写大小也有所区分。

5、服务器的硬件配置。服务器的CPU、内存、网卡甚至交换机性能也会对存储吞吐产生影响。

性能指标主要包括如下：

1、吞吐&带宽。分为元数据性能和数据性能，进一步细分为每个节点或总的吞吐&带宽（在可接受时延范围内，每秒最多完成的IO数量-吞吐/每秒读写多少MB数据-带宽）。针对目录/文件的创建、查询和删除，这涉及到元数据管理性能；针对文件的读写性能，这涉及到数据性能。

2、时延。读写时延。这里包括对元数据的读写时延，也包括对数据的读写时延。

3、扩展性。随着文件数量和大小变化时，吞吐和时延的变化。

4、空间效率。有效存储/裸容量的比例。

1.2 常见性能工具和测试套

1、Hadoop Benchmark：针对hdfs的相关测试，其中TestFDSIO、mrbench和nnbench是三个广泛使用的工具。