存储性能测试

摘自 ：http://blog.itpub.net/8816728/viewspace-927245/

存储性能好坏无非看三个参数，存储性能直接影响主机的性能好坏与否

–
Bandwidth (MB/s) 
•Important for backups, DSS operations, rich media access

Throughput (IOPS) 
•Important for filesystem access, RDBMS; small requests (2-16KB) 
Response time 
•A key measurement of quality of service; an array can offer a high max IOPS figure, but deliver consistently slow response time

Bandwidth (MB/s)

[@more@]

测试linux下的性能一般就用dd了，taobao就这么做。如果dd的性能都不行，其他就免谈了。

上海linktone测试时候用了vmstat看包的数量，然后用bonnie++测。最快的dd速度有160MB。(CX700+SUN 10K)

此类测试常在流媒体点播，或者大块文件备份。Raid种类有讲究。

Throughput (IOPS)

如果是小块随机，比较麻烦，10K的硬盘120 IOPS，15K的就180 IOPS。可以估算个大概。

以前一直疑惑，为什么flarecode升级时候，前面5个盘必须小于100 IOPS，原来留了20 IOPS给升级的用了。

注意，host IO必须转换到storage IO，两者有区别，读写比例和Raid种类有讲究。

Response time

结果可以从Clariion的analyzer里面读到存储的响应时间。

超过200 IOPS也是有可能的，因为FC硬盘是支持queuing，老的ATA不支持。但是response time会超长。

cache里面响应大约是0.5ms，一般FC磁盘I/O是6-8ms，但看到taobao的CX700实测是4ms，10K盘。

另外，EMC有cache的优化方案，比如prefetch， coalescing, read/write cache merge.

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

其他：

EMC有专门的IO触发机制，装在异构平台主机端。

Open Systems I/O Driver and Measurement Tool

ftp://ftp.emc.com/pub/elab/iorate/ 有机会看看。

看看EMC的best practise R19，是性能调整的最好文章。要熟练背诵。

H519_6_CLARiiON_Best_Prac_Fibre_ldv.pdf

MetaLUN今年出了新的更新，值得关注。

H1024.1_clariion_metaluns_cncpt_wp_ldv.pdf

区分ATA和FC硬盘差异，看下面文章

Understanding the CLARiiON™ Advanced Technology Attachment (ATA) Drive Implementation C-SPEED Report, v. 1.2

H2207_A_look_CLARiiON_W_CXseries_ldv.pdf

EMC官方认可的测试工具

H1714.1_consid_bnchmrk_mdrange_wp_ldv.pdf

单个硬盘的性能，值得记住其中的参数，出去跟客户吹牛时候派用场。

H519_6_CLARiiON_Best_Prac_Fibre_ldv.pdf

EMC有个CSPEED组织，很牛叉的测试组织。那些见不得人，但非常真实的测试报告就是他们干的。

Extensive test data available to the CSPEED (CLARiiON SPEED) engineers

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

EMC的性能调整的确是把存储相关的技术用到极致，

从主机硬件到存储硬件，从主机应用软件，OS ,firmware,到EMC的flarecode，涵盖所有的知识点。

===================================================
经验：
Raid5 建议使用5个 or 9个 disks 理由：0s(win/unix) 一般是64K/io 
256K:用4个disk操作,则64K*4=256K， Raid5一次完成
384K:256一个io，剩余的一个io

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

Check ESM to follow the proper firmware, driver and Powerpath version for the installation
Check Pamail6 for the HBA path
Change LUN22-29 “Auto Assign” to “Disable”
Monitor the SP logs for “soft media warning”
Distribute the large IO to the different RG. 15K FC HDD has better throughput. (IOPS) 
Change the Raid type according to the different application characterized. Raid 1/0 is best for random write. Raid5 has high bandwidth.
Use “diskpar” for the sector alignment

与其他组件相比，更多时候会涉及硬盘优化，因此首先讨论该主题。通常，以下最佳做法适用于硬盘优化： 
·容量规划是存储规划的重要方面。为了优化 Exchange 服务器性能，应该购买很多快速硬盘（更高的磁盘访问速度）。
·对于事务日志卷（顺序磁盘访问），请使用转速更快的磁盘。对于数据库驱动器（随机磁盘访问），请使用寻道更快的磁盘。
·使用能够检测即将出现的故障以及可以抢救或重定位受影响数据的磁盘系统。大多数磁盘驱动器都具备此功能。
·根据所使用的具体硬件 RAID 配置，对 I/O 限制进行规划。通常，对于每个写入请求，硬件 RAID 生成以下 I/O：
· RAID-0 = 1 次写入
· RAID-1 或 RAID-10 = 2 次写入
· RAID-5 = 4 次写入
使用以下公式计算 I/O 限制：
(IOPS/邮箱×读取比率) + ((IOPS/邮箱×写入比率) ×RAID 限制)
例如，如果每个邮箱有 1,500 IOPS（使用本指南前面介绍的步骤计算得到），读取比率是 66%/33%（每三个请求中有两个是读取请求，另一个是写入请求），并且使用 RAID-1 或 RAID-10 阵列，则实际硬件 IOPS 是：
(1,500 × 2/3) + ((1,500 × 1/3) × 2) = 2,000 
对 RAID-5 阵列应用相同情形，实际硬件 IOPS 是：
(1,500 × 2/3) + ((1,500 × 1/3) × 4) = 3,000
如果所有驱动器都是 10,000 RPM，则至少需要 30 个驱动器才能在 RAID-5 配置中获得必需的 IOPS。如果实现 RAID-1 或 RAID-10，则需要至少 20 个驱动器（在 RAID-1 或 RAID-10 解决方案中，磁盘数不能为奇数）。
· 大多数情况下，应使用 DiskPar 来使硬盘磁道与物理磁盘分区对齐。由于 Windows 2000 和 Windows Server 2003 将最大隐藏扇区数限制为 63，因此，对于每个磁道具有 63 个以上扇区的磁盘，其默认启动扇区是第 64 个扇区。Windows 2000 和 Windows Server 2003 所创建的所有分区都从第 64 个扇区开始，这使得写入磁盘的每八个数据块中有一个数据块会跨越两个磁道。要使用 DiskPar 来对齐硬盘，请执行以下步骤。
a. 备份硬盘上的所有数据，然后删除所有分区。
b. 在命令提示符处，键入 diskpar -s <驱动器号>，然后确认您要对磁盘分区。
c. 键入该硬盘的新起始偏移量和分区大小。由于 Exchange 以 4 KB 数据块为单位写入数据，因此所键入的起始偏移量的值必须是 4 KB 的倍数。
d. DiskPar 对齐磁盘之后，在命令提示符处，键入 diskpar -i <驱动器号>，以验证磁盘已正确对齐。
e. 使用磁盘管理器对硬盘进行分区。将分区配置为使用 NTFS，并使用 4096 (4 KB) 作为分配单位大小。
f. 使用 DiskPar 提高磁盘性能并格式化磁盘分区。使用 DiskPar 之前，务必备份想要保留的所有数据。DiskPar 是 Windows 2000 资源工具包的一部分。有关使用 Diskpar.exe 的详细信息，请参阅 Microsoft Windows 2000 资源工具包的帮助。