逻辑盘性能问题梳理

最近两个月出差处理了逻辑盘性能问题两次，这类问题说简单也简单，说麻烦也麻烦，简单在于多数情况下可能硬件不存在问题，麻烦在于要去证明没问题这个过程，或者当发现真的有问题以后，需要供应商投入时容易出现都不认是自己产品问题的情况，好在这两次问题最终其实都是没有问题的。梳理下问题的处理过程和经验

1. 第一个问题是反馈逻辑盘raid5性能很低，算了一下理论值，确实差的比较远，并且是只有两台机器有问题，想当然认为是单体硬件问题，通过阵列卡更换线缆背板更换都无法解决，最终去了现场定位到是因为这个raid5是12块盘做的，创建逻辑盘后初始化需要十几个小时，初始化过程中测试结果自然是很低的，这一点之前确实不太了解，咨询内部测试团队也没提到这点，有一点无语，对内部一些团队的专业性印象很差。除开初始化过程不能测试以外，现场也确实存在一种情况，就是直接对裸盘测试性能达标，但是创建文件系统并挂载，然后对挂载点的文件测试，IOPS就从100K降到50K了，这一点最终并没能定位到原因，因为实验室里没有复现到，暂且归结于是现场系统环境或文件系统的原因
2. 第二个问题是对2块SSD组的raid1逻辑盘做测试带宽会不稳定,上下波动，最大能到几千MB，最小只有十几MB，最大几千MB通过调整size参数变正常了，即最大可以保持在逻辑盘的spec，也就是1000MB/s，因为size设置过小跑到了操作系统缓存上，速度自然很快了。接下来就是波动问题，更换硬盘阵列卡测试都还是有问题，还是去现场定位，这种波动通常和是否预写没有关系了，在系统下通过iostat观察确实没有异常现象，并且阵列卡日志和系统日志也都是正常的，波动时使用三星的硬盘检测工具也确认了盘状态正常。于是和用户提出更换系统做测试，更换系统测试后问题不复现了，之后再进一步更换成用户自身使用的系统，只是重新安装了一个，不带业务的，原先的环境是带业务的生产机器，测试下来还是不复现问题，这样基本可以判断和硬件无关，是kernel层面处理io异常导致的。还有个判断办法可以使用，blktrace工具，之前也用过，因为现场看到带宽波动到低的时候，延时也会很大，IOPS很小，说明IO过程中肯定有异常的地方，可惜客户业务系统内没有这个工具，就没有尝试使用。同时内部讨论时同事也提到blktrace工具曾经遇到过看到延时集中在驱动应用层，实际还是kernel层参数影响的问题，因此也不一定能说明是硬件问题，容易挖坑

除了出差的两次外，也远程处理了一次完全是因为友商性能更好导致的客户问题，友商的18i PMC芯片阵列卡性能确实很优异，实测汇总如下可供参考

厂商	配置	随机读	随机写	混合读写（写70%）	混合读写（读70%）
XXX	B1H(9460 14块raid50)	161K	24.2K	10.3K 24.1K	57.1K 24.5K
	B2H(9361 12块riad50)	134K	8.6K	3.6K 8.4K	26K 11.2K
XXX	B1H(9560 14块raid50)	134K	28.9K	14.1K 32.9K	52.4K 22.5K
XXX	B1H(RM24QB-18i 14块raid50)	278K	66.5K	27K 63.1K	121K 51.8K

总结

1.遇到此类问题先算下理论值应该是多少，不同raid类型如下，N是成员盘数，但实际上通常不太能达到这种理论值，能有70%就很好了

raid 0 读写都是N倍

raid1读是N倍，写是N/2倍

RAID5读是N-1倍，写是N/4倍

RAID6读是N-2倍，写是N/6倍

RAID 10 读是N倍，写是N/2倍

2.如果是SSD盘，需要先保证预写的过程，是影响比较大的因素

3.fio的参数要合理，测试指定盘符为目标测试，排除其它因素先确认硬件本身没有问题

4.要注意阵列卡不处于CC/PR的状态，逻辑盘也正常初始化完成，逻辑盘初始化在阵列卡日志中会打印完整过程

5.总的来说目前业界垄断大厂的阵列卡做的逻辑盘在性能这一块基本是不存在什么问题的，软件层面也基本没有多少调优空间，可能以后国产化过程中才会真的遇到

PS:

出差过程中也被问到一个问题，为什么iostat显示硬盘利用率都是99%的情况下带宽表现差异会很大？通过实测和查资料反馈客户：

利用率反应的是硬盘处理IO的时间占比，表示每时每刻都在处理，但是处理多少，处理的快慢不体现，显示百分百不等于此时硬盘达到最大工况，比如客户可以对一块盘FIO，IOPS达到一定数值时就能看到利用率百分百了，后面保持IO带宽不变增大队列深度或者线程数，IOPS持续增高，利用率一直是百分百