Ceph 十年演进的经验教训 —— 磁盘文件系统并不适合作为分布式存储后端

十年来之不易的经验教训总结成了17页的论文(除去参考文献有13页)，完整的 PDF 可以从这里下载。这篇论文可以大大的节省你研究的时间，同时也是一个分布式存储系统研究非常好的例子。在这个例子中，我们明确整个分布式存储系统是基于操作系统原生的文件系统之上。而由于种种的问题，Ceph 现在已经引入一个新的名为 BlueStore 的存储后端，该后端具有更好的性能和可预测性，并能够支持不断变化的存储硬件格局。自发布以来的两年中，已经有 70% 的Ceph用户在生产系统中使用 BlueStore 这个存储后端。

Ceph 是一种广泛使用的、开源的分布式文件系统，十年来一直都是在本地文件系统上构建分布式存储。Ceph 团队在使用几种流行的文件系统后，通过很长时间吸取的非常多的教训，这些教训使得他们质疑文件系统是否是作为存储后端的合适选择。而我们事后看来，这并不奇怪。

可是有时候，事后看来并不奇怪的事情可能也是最难发现的事情！

什么是分布式存储后端？

分布式文件系统提供了来自多个物理机的聚合存储的统一视图。它应提供高带宽，水平可伸缩性，容错性和强一致性。所述存储后端是软件模块直接管理连接至物理机的存储装置。

尽管不同的系统从存储后端需要不同的功能，但是其中两个功能(1)高效的事务处理和(2)快速的元数据操作 是最为普遍的；另一个新出现的要求是(3)支持最新出现的，而且无法向后兼容的存储硬件。

我们假设你已经知道了什么是“高效交易”和“快速元数据操作”。但是在继续之前，让我们快速看一下不断变化的硬件格局。

不断变化的硬件格局

为了增加容量，硬盘驱动器(