在高密服务器上对 CephFS 的性能与成本进行评估

新钛云服已为您服务1418天

摘要

CephFS 是建立在可靠自主分布式对象存储 (RADOS) 之上的网络文件系统。在 CERN，我们已经在几个运行 100 到 1000TB 的集群上展示了它的可靠性和弹性，这些集群为基础设施应用程序和服务提供类似 NFS 的存储。同时，我们实验室开发了 EOS，以极低的成本为 LHC 提供高性能的 百PB 级存储，同时还为用户社区提供所需的全套安全和功能 API。

这项工作旨在评估 CephFS 在这种高性价比的硬件上与 EOS 结合以支持缺失的功能时的性能。为此，我们在 100Gig-E 网络的高密度 JBOD 服务器（每台 840 TB）上搭建以及验证 Ceph Octopus 集群。该系统使用 EOS 为 HTTP(S) 和 XROOTD 提供覆盖的命名空间和协议网关，并使用 CephFS 作为纠错码对象存储后端。

该解决方案还使运营商能够聚合多个CEPFS实例，并添加了诸如第三方拷贝、SCIToken以及高级用户和配额管理等功能。我们使用简单的基准测试来衡量不同擦除编码布局的成本/性能权衡，以及这些编码方案的网络开销。我们演示了CEPFS元数据服务器的一些相关限制，并提供了可普遍适用的改进的调整。最后，我们反思了与此架构相关的优点和缺点，例如RADOS级别的自由空间要求和双重网络惩罚，并提出了未来改进的想法。

介绍

在未来几年，大型粒子对撞机获取的大量数据将对CERN的存储吞吐量、容量和存储的耐久性提出更高的要求。开源存储系统的最新状态展示了令人信服的功能和成熟度。同时，我们也关注这些组件是否以及如何在未来的物理存储系统中发挥作用的问题。

现成的软件缺少重要的高级功能，而且对LHC物理项目至关重要的成本优化硬件的效率证据有限；然而，一个完整的解决方案可以通过在开源产品的基础上分层HEP特定的网关来构建。在本文中，我们描述并评估了一种新的开源集群存储系统CEPFS与EOS的组合，EOS是CERN为LHC数据采集设计的高性能低成本存储解决方案。

CephFS 及其在 CERN 的应用

CephFS 是一个现代集群文件系统，在单个数据中心的典型计算场景中充当 NFS 替代品，包括主目录、HPC 暂存区或其他分布式应用程序的共享存储。该软件为数据和元数据 IOPS 实现了横向扩展架构：数据和元数据被持久保存在分布式对象存储 RADOS ，并且元数据由少量可替换的 MDS 服务器进行管理。

容量和性能可以在不停机的情况下动态增加：通过将服务器添加到 RADOS 后端来扩展原始容量和 IOPS，通过将文件系统子树重新分配给新的 MDS 服务器来扩展元数据。RADOS 使用副本（通常是 3 个副本）或纠错码提供持久对象存储，例如使用四个数据条带和两个奇偶校验条带 (EC4,2)。RADOS 使用 CRUSH  将对象放置在故障域中：通过这种方式，系统可以设计为基于磁盘、主机、机架、电源或交换机级别容忍故障。

CephFS 旨在提供与本地文件系统相同的一致性保证。为了实现这一点，MDS 将一系列 IO 功能委托给客户端，这些功能根据对目录和文件的并行访问的实时需求，授予同步或异步执行不同的 POSIX 操作。例如，由一个没有其他客户端的写入器打开的文件可以通过客户端缓冲快速写入并仅定期持久化，而具有并发写入/读取的文件必须同步持久化，并且不允许客户端缓存其读取。

自 2017 年以来，CERN 在生产中运行了多个 CephFS 集群，截至 2021 年，我们在三种环境中使用 CephFS：

• HPC Scratch使用位于 SLURM 计算节点上的 Ceph OSD 构建的全闪存集群，使用本地空闲节点作为 MDS；3 副本，可用容量约为 110 TiB；

• OpenStack Manila 混合 HDD/SSD 集群，为 IT 和科学应用提供通用共享存储；3 副本，可用容量约为 1 PiB；

• 企业群件：一个全闪存集群，位于 OpenStack 管理程序上，专门为 CERN 社区提供新的集群解决方案；EC2,2 可用容量约为 100 TiB。

在这些环境中，CephFS已在多年的运行中证明了其健壮性和性能。CERN的这些和其他Ceph集群经历了几次外部中断，并经历了三个硬件采购周期：在此期间，我们注意到与数据可用性、丢失或损坏相关的事件很少。

尽管有这些优势，CephFS 目前在 CERN 仅限于之前列出的用例，因为缺少一些对高能物理社区至关重要的功能：

• 身份验证机制和用户/组管理：SciTokens 、X.509、Kerberos、配额和通过 eGroups 进行的访问控制；

• 存储协议和特性：HTTPS、XRootD、第三方拷贝；

此外，CephFS 尚未在 CERN 进行广泛的高吞吐量 LHC 数据采集测试，例如写入速率超过 20 GiB/s。

EOS简介

EOS 是 CERN 开发的一个大规模存储系统，目前为物理实验和 CERN 基础设施的普通用户提供 350 PB 的容量。自 2010 年首次部署以来，EOS 已经发展并适应了不断增长的存储容量要求所带来的挑战。

EOS 作为 XR