如何将千亿文件放进一个文件系统，EuroSys‘23 CFS 论文背后的故事

1. 引言

本文的主要目的是解读百度沧海·存储团队发表于 EuroSys 2023 的论文《CFS: Scaling Metadata Service for Distributed File System via Pruned Scope of Critical Sections》，论文全文可以在 CFS: Scaling Metadata Service for Distributed File System via Pruned Scope of Critical Sections | Proceedings of the Eighteenth European Conference on Computer Systems 下载。

论文披露了百度智能云文件存储 CFS 的元数据系统的核心设计，对⻓期困扰文件系统元数据领域的 POSIX 兼容性和高扩展性（特别是写扩展性）难以兼顾的问题进行了解答。这是一个大规模分布式文件系统能否扩展到百亿甚至千亿级别文件数，同时保持高性能稳定性的一个关键问题。

作为一种高度凝练的体裁，论文除了展示必要的分析过程，并不会告知读者这些创新是如何被想到的。我们认为讲清楚这次创新的整个过程，既有助于理解论文本身，也是对论文内容的重要补充。基于这个考虑，我们将整篇文章按照以下结构组织内容:

• 首先，我们概括介绍了文件系统元数据问题产生的背景和业界对该问题的探索，并特别对本文着重解决的写扩展性问题进行了定量分析；

• 然后，我们通过介绍 CFS 元数据架构的演进历史，向读者展示了我们探索的过程以及对元数据问题本质的思考，最终引出论文里介绍的系统架构；

• 最后，我们详细介绍了论文架构的整体设计和其中关键的细节。