分布式存储CephFS最佳实践

文章来源于知乎文章：

分布式存储CephFS最佳实践

背景

近日，一朋友说他们企业内部想落地CephFS，让我帮忙写一份能落地的CephFS最佳实践。然后就顺便把文章整理到了这里。因能力水平以及认知有限，如有错漏烦请指正。

简介

CephFS是Ceph项目的一个组成部分，它是一个高性能、可扩展的分布式文件系统，提供POSIX语义。它建立在Ceph的RADOS对象存储之上，通过Ceph的MDS(元数据服务器)来管理文件系统的元数据。CephFS支持海量数据规模，具有数据自动复制和故障域感知的特性，确保数据的高可用性和持久性。此外，CephFS还支持快照功能，可以用于数据备份和一致性视图的创建。它的设计目标是为了满足现代云计算环境中对存储系统的需求。

选型

软件选型

• Ceph版本

当前业内线上使用的主流版本应该是L，N，O。初步来看，N的应用目前应该是最广泛的，所以本文也主要以N版本展开。

如下图是Ceph社区当前版本演进情况：

Ceph版本演进

• Ceph Client端选型

CephFS支持两种模式的挂载，kenel挂载以及fuse挂载，如下列出了两者的一些对比：

特性/挂载方式	内核方式 (Kernel Mount)	用户态方式 (FUSE Mount)
性能	高	较低(大概为内核版本1/3)
内核依赖性	高	较低
升级复杂性	较高	较低
运维复杂度	高	较低
爆炸半径	大	较小

• 操作系统版本

不同发行版选取的内核主线一般不同，不过大体大同小异，这里以debian发行版本为例。Debian8是3.16内核，debian9是4.9内核，debian10是4.19内核,debian11则是5.10，debian12则是6.1。

一般来说，更高的内核版本会有更多更优秀的feature，比如4.20版本引入了fuse的max_page机制，该机制对Cephfs的吞吐可以得到极大的提升。

但是更高的版本可能稳定性还不够，所以线上一般是建议使用上一个稳定版本。

硬件选型

Ceph的一个优点就是其很灵活，没有那么吃资源，可以适用于更类硬件。

如下展示了Ceph的最低硬件配置建议。客户可以根据对性能或者存储容量的需求，升级相关硬件配置。

....................................