cephfs_您应该了解的CephFS

最新推荐文章于 2024-04-27 14:26:37 发布

cumo7370

最新推荐文章于 2024-04-27 14:26:37 发布

阅读量311

点赞数

文章标签：分布式 java 大数据 python linux

原文链接：https://opensource.com/article/17/8/ceph

版权

cephfs

如今，定期创建新的存储系统接口以解决分布式存储中出现的挑战。例如，Amazon Simple Storage Service [S3]（不透明的对象存储）和Amazon Elastic Block Storage [EBS]（虚拟机映像提供者）都在云生态系统内提供了基本的，可扩展的存储服务。但是，即使有了这些新技术，常规文件系统仍然是计算中使用最广泛的存储接口。

实际上，所有程序都在某种程度上被编写为使用文件系统。这使文件系统成为任何计算设备上所有存储访问的通用语言，从智能手机等小型设备到CERN和国家实验室的大型高性能计算（HPC）群集。由于程序的便利性，熟悉性和互操作性，它们仍被编写为通过文件系统进行通信和存储数据。

人们通常对计算系统如何提供他们所熟悉的熟悉环境的细节不怎么考虑。尽管文件系统是所有计算类型的基础，以一种持久，有组织和有用的方式存储数据，但这并不是大多数人关注的问题。这就是为什么自UNIX在1970年代开始主导多用户系统以来，甚至在当今的Android和iOS移动设备上运行以来，便携式操作系统接口（ POSIX ）一直是使用最广泛的文件系统类型的原因。

与智能手机不同，HPC集群需要可扩展，可用和协作（共享）的存储。分布式文件系统为来自多个独立系统的程序提供了一个接口，以使它们可以运行，并使它们能够以一致，持久和可靠的方式共享存储。

Ceph分布式文件系统

自从加利福尼亚大学圣克鲁斯分校的研究人员开发 Ceph分布式存储系统以来，它就已经包含了一个分布式文件系统（CephFS）。实际上，它的对象存储RADOS（代表可靠的自治分布式对象存储）最初是为在国家实验室的HPC集群中使用CephFS而设计和实现的。

自2006年以来，CephFS发生了增量变化，主要是为了提高稳定性。 Ceph的开发专注于云存储的新兴趋势，预计其分布式对象存储技术将在此领域大放异彩。特别是，RADOS块存储（RBD）和RADOS网关（RGW）分别为不透明块设备和对象存储提供了存储解决方案。这些技术表明，Ceph是商业和专有云存储解决方案的合适开源替代方案。

由于文件存储仍然是分布式系统中的主要趋势，因此Ceph团队已重新致力于CephFS的开发。 Ceph于2016年4月发布的Jewel 引入了CephFS，它稳定且可以在黄金时段使用，但需要注意一些警告。也就是说，提供可伸缩性的多个活动元数据仍被认为是实验性的。

CephFS的架构

CephFS是Ceph的文件存储解决方案的一部分。它充当系统中的高级组件，在RADOS之上提供文件存储，RADOS是构建所有Ceph存储解决方案的对象存储。两种类型的实体协作以提供文件系统接口：客户端和元数据服务器（MDS）。

MDS是文件系统所有元数据的同步点和缓存层。它的主要功能是允许客户端安全地存储有关文件系统的元数据（例如，目录包含哪些文件）而不会变得不一致（例如，两个客户端不同意目录中的哪些文件）。

CephFS的一个显着特征是客户端读取和写入文件的能力，而无需从MDS大量掌握。客户端只需要打开一个文件（即，告诉MDS它要使用该文件），然后根据需要进行读/写，而只是偶尔对MDS进行更新。

这种设计的结果是提高了系统的可伸缩性，其中客户端可以执行大型读取/写入，该读取/写入与RADOS群集中对象存储设备的数量成线性比例（但每个客户端都受到其网络链接带宽的限制）。

Ceph的下一步是什么

Ceph的发光版本将为CephFS提供许多重要的增强。

多个活动元数据服务器

最重要的变化是多个活动元数据服务器导出CephFS文件系统的稳定性。管理员可以启动多个元数据服务器，并将文件系统配置为一起使用这些服务器来平均分散元数据负载。此更改是开发人员进行广泛测试和错误修复的产物。文档中提供了有关配置群集以使用多个活动元数据服务器的信息。

目录碎片

现在默认在Luminous中启用目录分段。此更改使目录可以在内部分割成较小的目录，从而可以提高性能并允许在多个服务器之间分配目录的元数据负载。与多个活动元数据服务器一样，此功能自开始以来就已在CephFS中提供，但由于增加了测试和错误修复，因此现在被认为是稳定的。此功能是透明的，不需要任何管理员或用户输入。