ceph性能调优

1- 硬件选型

• 原则：根据存储需求和企业的使用场景
• 企业选择：TCO低，高性能，高可靠
• ceph上线历程：
  • 硬件选型
  • 部署调优
  • 性能测试
  • 架构灾备设计
  • 部分业务上线测试
  • 运行维护（故障处理、预案演练等）

1.1- 企业场景

• 高性能：在低TCO下每秒拥有最高的IOPS。 一般使用更快的SSD硬盘，PCIe SSD, NVMe作数据存储的高性能节点。用于快存储，或者高IOPS的工作负载上。
• 通用场景：高吞吐量和单位吞吐量的低功耗。一般使用一个高带宽、物理隔离的双重网络、使用SSD和PCIe SSD作OSD的日志盘。用于快存储。也可以用于高性能的对象存储和文件存储。
• 大容量场景：数据中心每TB存储的低成本，以及机架单元物理空间的低成本。也称为经济存储、廉价存储、存档/长期存储。一般上使用插满机械硬盘的密集服务器，一个机架8-14台服务器，每台服务器24-72TB的物理硬盘空间。用于低功耗，大存储容量的对象存储和文件存储。

1.2- 依赖因素

• CPU:

  Ceph OSD运行RADOS服务，需要通过CRUSH来计算数据的存放位置，复制数据，以及维护Cluster Map的拷贝。建议每个OSD进程至少用一个CPU核。Metadata和Monitors也用计算资源。

• 内存

  OSD在日常操作时不需要过多的内存(每进程500MB)；但在执行恢复操作时，就需要大量的内存（每进程每TB数据需要约1GB内存）。通常内存越多越好。

• 数据存储

  规划数据存储时要考虑成本和性能的权衡。进行系统操作时，同时多个后台程序对单个驱动器进行读写操作会显著降低性能，也有文件系统的限制考虑。例如：BTRFS对于生产环境来说不是很稳定，但有能力记录journal和并行的写入操作。 XFS和EXT4会更好。

• 网络

  网卡能处理所有OSD硬盘总吞吐量，推荐最少安装两个千兆网卡，最好时万兆网卡。

• 硬盘

  Ceph集群性能很大程度取决于存储介质的有效选择。应该在选择存储介质之前了解集群的工作负载和性能需求。

• ceph OSD日志盘

  • 建议SSD做日志盘。好处时减少访问使劲，降低写延迟，大幅提升吞吐量。

  • 对每个物理SSD创建多个逻辑分区，每个逻辑分区映射到一个OSD数据盘。一般10-20G逻辑分区对应一个OSD.

  • 使用更大的SSD时，为OSD增加filestore最大和最小的同步时间间隔。