openstack 关于磁盘性能问题

使用的工具：fio
安装fio

yum install libaio libaio-devel
wget https://brick.kernel.dk/snaps/fio-3.10.tar.gz
tar xf fio-3.10.tar.gz
./configure
make && make install

命令：fio -filename=/dev/vda -direct=1 -iodepth 1 -thread -rw=write -ioengine=libaio -bs=1024k -size=2G -numjobs=4 -runtime=60 -group_reporting -name=mytest

filename=/bdata/test.big 测试文件名称，通常选择需要测试的盘所在的目录。
direct=1 测试过程绕过机器自带的buffer。使测试结果更真实。
rw=randwrite 测试随机写的I/O
rw=randrw 测试随机写和读的I/O
bs=4k 单次io的块文件大小为4k
size=2g 本次的测试文件大小为2g，以每次4k的io进行测试。
numjobs=64 本次的测试线程为64. 【建议设置为CPU的CORE数量一致】
runtime=20 测试时间为20秒，如果不写则一直将2g文件分4k每次写完为止。
ioengine=psync io引擎使用pync方式 ，此外还有libaio 异步方式。
rwmixwrite=30 在混合读写的模式下，写占30%
group_reporting 关于显示结果的，汇总每个进程的信息。
sync=1 设置异步io
fsync=1 一个io就同步数据

使用glance镜像和MV磁盘基于qcow2

iops在20左右

使用glance镜像基于raw，MV磁盘基于qcow2（图片忘记截图了。。。）

iops在100左右

glance镜像和MV基于raw

iops在150左右

在看下阿里云的测试

iops在150左右

总结：

[libvirt]
images_type=raw
#glance镜像和mv磁盘都要基于raw格式

glance镜像和MV基于qcow2，iops达到20左右（不推荐使用）
glance镜像基于raw，iops能达到100左右 （优先考虑，拥有qcow2特性）
glance镜像和MV基于raw，iops能达到150左右（真实磁盘性能，对于应用高性能推荐，失去qcow2特性）

如果开启images_type=raw，同时要关闭cow镜像use_cow_images =false，否则resize会把磁盘文件转换为qcow2，导致系统无法启动（但是可以通过格式转换修复，qemu-img convert -Oraw disk disk.raw）

iops的计算参考：https://blog.csdn.net/tianlesoftware/article/details/6908603

补充资料

openstack理想存储环境还是共享存储比如开源ceph

如果选择本地存储，影响磁盘性能的还存在机器的本身raid模式，raid5测试下来iops随机写也就在60左右，相比raid0相差太远，至少一倍多，但是raid0有存在单点故障，所有合理的本地存储就是raid10，还是比较费硬盘空间的（前提是需要高读写性能）