磁盘阵列两大瓶颈分析：吞吐量和IOPS

IOPS (Input/Output Operations Per Second)，即每秒进行读写（I/O）操作的次数，多用于数据库等场合，衡量随机访问的性能。 存储端的 IOPS性能和主机端的 IO是不同的， IOPS是指存储每秒可接受多少次 主机发出的访问， 主机的一次IO（请求）需要 多次访问存储才可以完成。例如，主机写入一个最小的 数据块，也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤，也就是3个存储端访问。即一次主机上的写操作这个io请求需要3个存储端的 访问才能完成 。

目录

1磁盘阵列两大瓶颈分析

2两大瓶颈详解

▪ 吞吐量

▪ IOPS

1磁盘阵列两大瓶颈分析

本文是由 NSIDC总结的，主要分析了磁盘阵列的瓶颈，主要体现在2个方面：吞吐量与IOPS。

2两大瓶颈详解

吞吐量

吞吐量主要取决于阵列的构架， 光纤通道的大小(阵列一般都是光纤阵列，至于SCSI这样的SSA阵列，我们不讨论)以及硬盘的个数。阵列的构架与每个阵列不同而不同，他们也都存在内部带宽(类似于pc的 系统总线)，不过一般情况下，内部带宽都设计的很充足，不是瓶颈的所在。

光纤通道的影响还是比较大的，如 数据仓库环境中，对数据的流量要求很大，而一块2Gb的 光纤卡，所能支撑的最大流量应当是2Gb/10(小B)=200MB/s(大B)的实际流量，当5块光纤卡才能达到1GB/s的实际流量，所以数据仓库环境可以考虑换4Gb的光纤卡。

最后说一下硬盘的限制，这里是最重要的，当前面的瓶颈不再存在的时候，就要看硬盘的个数了，我下面列一下不同的硬盘所能支撑的流量大小：

10 K rpm         15 K rpm                ATA

———              ———                    ———

10M/s              13M/s                      8M/s

那么，假定一个阵列有120块15K rpm的 光纤硬盘，那么硬盘上最大的可以支撑的流量为120*13=1560MB/s，如果是2Gb的 光纤卡，可能需要6块才能够，而4Gb的光纤卡，3-4块就够了。

IOPS

决定IOPS的主要取决于阵列的算法，cache命中率，以及磁盘个数。阵列的算法因为不同的阵列不同而不同，如我们遇到在hds usp上面，可能因为ldev( lun)存在队列或者资源限制，而单个ldev的iops就上不去，所以，在使用这个 存储之前，有必要了解这个存储的一些算法规则与限制。

cache的命中率取决于数据的分布，cache size的大小，数据访问的规则，以及cache的算法，如果完整的讨论下来，这里将变得很复杂，可以有一天好讨论了。我这里只强调一个cache的命中率，如果一个阵列，读cache的命中率越 高越好，一般表示它可以支持更多的IOPS，为什么这么说呢?这个就与我们下面要讨论的硬盘IOPS有关系了。

硬盘的限制，每个物理硬盘能处理的IOPS是有限制的，如

10 K rpm              15 K rpm                ATA

———                   ———                   ———

100                        150                          50

同样，如果一个阵列有120块15K rpm的 光纤硬盘，那么，它能撑的最大IOPS为120*150=18000，这个为硬件限制的理论值，如果超过这个值，硬盘的响应可能会变的非常缓慢而不能正常提供业务。

在raid5与raid10上，读iops没有差别，但是，相同的业务写iops，最终落在 磁盘上的iops是有差别的，而我们评估的却正是磁盘的IOPS，如果达到了磁盘的限制，性能肯定是上不去了。

那我们假定一个case，业务的iops是10000，读cache命中率是30%，读iops为60%，写iops为40%，磁盘个数为120，那么分别计算在raid5与raid10的情况下，每个磁盘的iops为多少。

raid5:

单块盘的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120

= (4200 + 16000)/120

= 168

这里的10000*(1-0.3)*0.6表示是读的iops，比例是0.6，除掉cache命中，实际只有4200个iops

而4 * (10000*0.4) 表示写的iops，因为每一个写，在raid5中，实际发生了4个io，所以写的iops为16000个

为了考虑raid5在写操作的时候，那2个读操作也可能发生命中，所以更精确的计算为：

单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120

= (4200 + 5600 + 8000)/120

= 148

计算出来单个盘的iops为148个，基本达到磁盘极限

raid10

单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120

= (4200 + 8000)/120

= 102

可以看到，因为raid10对于一个写操作，只发生2次io，所以，同样的压力，同样的磁盘，每个盘的iops只有102个，还远远低于磁盘的极限iops。

在一个实际的case中，一个恢复压力很大的standby(这里主要是写，而且是小io的写)，采用了raid5的方案，发现性能很差，通过分析，每个磁盘的iops在高峰时期，快达到200了，导致响应速度巨慢无比。后来改造成raid10，就避免了这个性能问题，每个磁盘的iops降到100左右。

参考：
磁盘 吞吐量   谷歌

磁盘阵列的性能

http://baike.baidu.com/view/2302083.htm#1
=================================================================

Wikepedia上有关IOPS 的说明

链接如下：http://en.wikipedia.org/wiki/IOPS

 IOPS (Input/Output OperationsPer Second, pronounced i-ops)

IOPS (Input/OutputPer Second)

IOPS 即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP(OnlineTransaction Processing)，IOPS是关键衡量指标。

另一个重要指标是数据吞吐量(Throughput)，指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如VOD(Video On Demand)，则更关注吞吐量指标。

参考：

磁盘性能 -- IOPS 和 吞吐量 说明