MFS 存储简介

MFS 存储简介

MFS：MooseFS 是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本，然而对于访问 MFS 的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样，从其对文件系统的情况看 MooseFS 就相当于 UNIX 的文件系统

冗余：一个文件可以在多台服务器同时保存 （副本数、期望值）
可以设置文件副本数目大于1个
容错：清空策略有延迟时间，容管理员的错 （删除文件后不会直接删除，会放到类似于垃圾箱的功能【有实效】，可以在一定时间内找回）
分布式：把数据分散到不同的服务器，不再是一个服务器承接数据

冗余：可以设置文件副本数目大于 1 个
容错：当删除数据后，可以通过机制进行数据恢复
分布式：把整体数据分散至不同的服务器磁盘或者分区

特性-优点：

a.高可靠性：每一份数据可以设置多个备份（多分数据），并可以存储在不同的主机上

b.高可扩展性：可以很轻松的通过增加主机的磁盘容量或增加主机数量来动态扩展整个文件系统的存储量

c.高可容错性：我们可以通过对mfs进行系统设置，实现当数据文件被删除后的一段时间内，依旧存放于主机的回收站中，以备误删除恢复数据

d.高数据一致性：即使文件被写入、访问时，我们依然可以轻松完成对文件的一致性快照

缺点：

Master 目前是单点，虽然会把数据信息同步到备份服务器，但是恢复需要时间 （社区版）
Master 服务器对主机的内存要求略高
默认 Metalogger 复制元数据时间较长（可调整）

缺点
社区版：Master 单节点
内存要求略高，所有的元数据信息全部写入至内存
默认元数据备份时间略长

内存使用问题：
处理一百万个文件chunkserver，大概需要300M的内存空间。据此，推算如果未来要出来1个亿的文件chunkserver，大概需要30G内存空间

应用场景：

1. 大规模高并发的线上数据存储及访问（小文件，大文件都适合）
2. 大规模的数据处理，如日志分析，小文件强调性能不用 HDFS

MFS 组件说明：

管理服务器 managing server 简称 master ：
这个组件的角色是管理整个mfs文件系统的主服务器，除了分发用户请求外，还用来存储整个文件系统中每个数据文件的 metadata 信息，metadate（元数据）信息包括文件（也可以是目录，socket，管道，块设备等）的大小，属性，文件的位置路径等

元数据备份服务器 Metadata backup servers 简称 metalogger ：
这个组件的作用是备份管理服务器 master 的变化的 metadata 信息日志文件，文件类型为 changelog_ml.*.mfs 。以便于在管理服务器出问题时，可以经过简单的操作即可让新的主服务器进行工作

数据存储服务器组 data servers（chunk servers）简称 data：
这个组件就是真正存放数据文件实体的服务器了，这个角色可以有多台不同的物理服务器或不同的磁盘及分区来充当，当配置数据的副本多于一份时，数据写入到一个数据服务器后，会根据算法在其他数据服务器上进行同步备份

客户机服务器组（client servers）简称 client：
这个组件就是挂载并使用 mfs 文件系统的客户端，当读写文件时，客户端首先会连接主管理服务器获取数据的 metadata 信息，然后根据得到的 metadata 信息，访问数据服务器读取或写入文件实体，mfs 客户端通过 fuse mechanism 实现挂载 mfs 文件系统的，因此，只有系统支持 fuse，就可以作为客户端访问 mfs 整个文件系统