ceph高可用测试

暂停ceph中的某个服务

systemctl stop ceph-{种类}@结点名称

1. mon结点因为是Paxos算法，所以必须保证一半以上的结点可以用才行

2. mds（也就是文件系统）只需要保证一个结点可以使用就行

3. rgw需要搭载负载均衡才能在一个挂掉的情况下进行访问，否则指向挂掉的那个结点是无法进行访问的

4. 当关掉osd集群中的一部分结点时是可以正常进行读写的，但是在osd比较少的情况下，比如有6个osd，你关掉了4个，那么可以对集群的访问是比较卡的，但是实际上是可以进行读写操作的。

5. 读写测试(一般来说numjobs最好和cpu的核数相同，iodepth是2的倍数)

   1. 4K随机写-iops

      fio -fifilename=/mnt/rbd-test/fifio.img -direct=1 -iodepth 32 -thread -rw=randwrite -ioengine=libaio -bs=4k -size=200m -numjobs=8 -runtime=60 -group_reporting -name=mytest

   2. 4k随机读-iops

      fio -fifilename=/mnt/rbd-test/fifio.img -direct=1 -iodepth 32 -thread -rw=randread -ioengine=libaio -bs=4k -size=200m -numjobs=8 -runtime=60 -group_reporting -name=mytest

   3. 4k随机读写-iops

      fio -fifilename=/mnt/rbd-test/fifio.img -direct=1 -iodepth 32 -thread -rw=randrw -rwmixread=70 -ioengine=libaio -bs=4k -size=200m -numjobs=8 -runtime=60 -group_reporting -name=mytest

   4. 1M顺序写-吞吐

      fio -fifilename=/mnt/rbd-test/fifio.img -direct=1 -iodepth 32 -thread -rw=write -ioengine=libaio -bs=1M -size=200m -numjobs=8 -runtime=60 -group_reporting -name=mytest

   观测性能的指令

   • 查看性能

     iostate -x 1查看

   • 读写延迟情况

     ceph osd perf

   5. 也可以使用ceph自带的工具 rbd bench以及rados bench