MFS分布式文件系统（1）——基本知识

1.什么是MFS(分布式文件系统)？

MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源

常规特征

对标准的文件操作来说，mfs用起来跟其它的类unix系统类似：
1、分层次的结构（目录树）
2、存储POSIX文件属性（权限、最后访问和修改时间）
3、支持特殊文件（块和字符设备、管道以及套接字）
4、符号连接和硬连接
5、对文件系统的访问可以通过IP地址和（或者）密码进行限制

独有特征

1、高可靠（数据的多个拷贝被存储在不同的计算机上）
2、通过附加新的计算机或者硬盘可以实现容量的动态扩展
3、删除的文件可以根据一个可配置的时间周期进行保留（一个文件系统级别的回收站）
4、不受访问和写入影响的文件连贯快照

（1）分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内， 用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。
（2）MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。

2.MFS的组成

元数据服务器（master）	在整个体系中负责管理文件系统，维护元数据，目前不支持高可用
元数据日志服务器（MetaLogger）	备份Master服务器的变化日志文件，当master服务器损坏，可以从日志服务器中取得文件恢复
数据存储服务器（Chunk Server）	真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好
客户端（client）	可以像挂载NFS一样 挂载MFS文件系统

3.MFS读数据的处理过程

客户端向元数据服务器发出读请求
元数据服务器把所需数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端
客户端向已知的Chunk Server请求发送数据
Chunk Server向客户端发送数据

4.写入的过程

客户端向元数据服务器发送写入请求
元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks，
创建成功后由hunk Servers告知元数据服务器操作成功
元数据服务器告知客户端，可以在哪个Chunk Server的哪些Chunks写入数据
客户端向指定的Chunk Server写入数据
该Chunk Server与其他Chunk Server进行数据同步，同步成功后Chunk Server告知客户端数据写入成功
客户端告知元数据服务器本次写入完毕

5、MFS数据处理过程

如下图中 Master Server用三角形表示，Chunk Server用圆形表示，Client 用方形表示。

5.1 读过程过程
读过程，有以下四个步骤：

- client客户端访问主服务器master，获取文件实体的位置等相关信息。

 - 主服务器master查询缓存记录，把文件实体的位置等相关信息（Chunk Server的IP地址和Chunk编号）发给client客户端。

 - Client客户端根据拿到的信息去访问对应的存储实体数据的服务器（data servers或者chunk servers）。

 - 存储实体数据的服务器（data servers或者chunk servers）把对应的数据返回给Client客户端。

5.2 写过程过程
写过程，如下图：

- Client客户端访问主服务器master，请求写入数据。
 
 - 主服务器master查询缓存记录，如果是新文件，则会联系后面的数据服务器创建对应的chunk对象准备存放文件。
 
 - 数据服务器返回创建对应的chunk对象成功给主服务器。
 
 - 主服务器master把文件实体的位置等相关信息发给client客户端。
 
 - Client客户端访问对应的数据服务器写数据。
 
 - 数据服务器之间进行数据同步，互相确认成功。
 
 - 数据服务器返回成功写入信息给Client客户端。
 
 - Client客户端回报给主服务器master写入结束。

5.3 删除数据过程

5.4 修改数据过程

6、MFS默认端口

端口	功能
9419	metalogger 监听的端口地址(默认是9419)，和源数据日志结合。定期和master端同步数据
9420	用于chunkserver 连接的端口地址（默认是9420），通信节点
9421	用于客户端对外连接的端口地址（默认是9421）
9422	MFS chunck 和MFS Client端通信端口
9425	MFS master web界面监听端口，查看整体运行状态