MooseFS 相关概念

最新推荐文章于 2024-04-18 02:40:51 发布

panbuhei

最新推荐文章于 2024-04-18 02:40:51 发布

阅读量194

点赞数

分类专栏： MooseFS

本文链接：https://blog.csdn.net/qq_43584691/article/details/117410155

版权

MooseFS 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

官方地址：https://moosefs.com/
常见问题地址：https://moosefs.com/faq/

MooseFS 相关概念

MooseFS 是一种容错的分布式文件系统。它将数据分布在多个物理位置，用户可以将这些物理位置视为一个资源(可以理解为：共享的是一个根目录，也可以共享它的子目录)。

使用场景(个人觉得)：管理员控制 MooseFS 共享的根目录，然后通过子目录来控制各个程序或者客户端共享权限。

MooseFS 的显著特征是

高可靠性
可动态扩展容量(添加新的节点 or 磁盘)
删除的文件将保留一段可配置的时间(回收站)
文件的一致快照，即使文件正在被写入 or 访问

MooseFS 的组成

管理服务器(master)：存储每个文件的元数据(有关大小、属性和文件位置的信息，包括有关非常规文件的所有信息，即目录、套接字、管道和设备)
数据服务器(chunkserver)：存储文件数据并在它们之间进行同步。
元数据备份服务器(metalogger)：存储元数据更改日志并定期下载 master 元数据文件。
客户端服务器(client)：使用 mfsmount 进程与 master(接收和修改文件元数据) 和
chunkservers(交换实际文件数据) 通信的服务器。

MooseFS 读写原理

在这里插入图片描述

MooseFS 读操作原理解释：

client 通过 master 访问数据
master 返回给数据存在的 chunkserver 地址
client 向 chunkserver 访问数据
chunkserver 返回给 client 数据

在这里插入图片描述

MooseFS 写操作原理解释：

client 询问 master 将数据写入至哪里
master 会告知 chunkserver 创建一个块
chunkserver 创建好块之后，告知 master
master 告知 client 要将数据写入的位置信息(chunkserver)
client 在 chunkserver 写入数据
多个 chunkserver 之间同步副本
同步成功后返回 client 成功信息，写操作完成

Metalogger 相关概念

MooseFS 集群中，所有写操作的元数据存储在 master 的内存中，并在一段时间内保存到磁盘(作为定期更新的二进制文件和立即更新的增量日志)。默认情况下 master 每一个小时会将内存中保存的元数据刷新到 metadata.mfs.back 二进制文件中。

如果配置了 metalogger 节点，那么 master 上的二进制文件和日志会同步到 metalogger 中。metalogger 只是从 master 收集元数据备份，因此硬件要求并不高于 master 本身，但是至少应具有与 master 相同的 HDD 空间(尤其是 /var/lib/mfs 中的可用空间，可以考虑将工作目录作为挂载点)；如果您想在 master 发生故障时将 metalogger 用作 master，那么它应至少具有与 master 相同的内存大小。