vivo 轩辕文件系统：AI 计算平台存储性能优化实践

在早期阶段，vivo AI 计算平台使用 GlusterFS 作为底层存储基座。随着数据规模的扩大和多种业务场景的接入，开始出现性能、维护等问题。为此，vivo 转而采用了自研的轩辕文件系统，该系统是基于 JuiceFS 开源版本开发的一款分布式文件存储方案。

本文将介绍 vivo 轩辕文件系统在 JuiceFS 基础之上开发的新特性。以及 vivo 针对一些关键场景，如样本数据读取速度慢和检查点写入环节的优化措施。此外，文章还将介绍 vivo 的技术规划包括 FUSE、 元数据引擎及 RDMA 通信等方面，希望能为在大规模 AI 场景使用 JuiceFS 的用户提供参考与启发。01 计算平台引入轩辕文件存储的背景

01 计算平台引入轩辕文件存储的背景

最初，vivo 的 AI 计算平台 使用 GlusterFS ，并由该团队自行维护。在使用过程中，团队遇到了一些问题。一是处理小文件时速度变得非常缓慢；二是当需要对 GlusterFS 进行机器扩容和数据平衡时，对业务产生了较大的影响。

随后，由于早期集群容量已满且未进行扩容，计算团队选择搭建了新的集群。然而，这导致了多个集群需要维护，从而增加了管理的复杂度。此外，作为平台方，他们在存储方面的投入人力有限，因此难以进行新特性开发。

他们了解到我们互联网部门正在研发文件存储解决方案，经过深入交流和测试。最终，他们决定将其数据存储迁移至我们的轩辕文件存储系统。

轩辕文件系统基于 JuiceFS 开源版，进行了二次开发，支持多种标准访问协议，包括 POSIX、HDFS 以及 Windows 上的 CIFS 协议。此外，我们还提供了文件恢复功能，该功能参考了商用解决方案，能够按照原路径进行数据恢复。

同时，我们的系统支持客户端热升级，这一功能在开源版本中也已经实现。另外，我们还支持用户名权限管理，默认使用本地 uid/gid 进行鉴权。在此基础上，我们还参考 JuiceFS 企业版实现了用户名鉴权功能。

下图是轩辕文件系统的架构图，与 JuiceFS 类似。在底层基座方面，我们使用 TikV 存储元数据，而数据则存储在我们自研的