MFS分布式系统

mfs 分布式系统 （moose File System）
一、什么是分布式系统
分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据
分布式计算
分布式存储
软件：hadoop mfs
优点：
提升性能和并发
提升系统的可用性
二、工作原理
分布式原理
分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。
MFS原理
MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。
三、分布式组成
mfs的组成：
1、元数据服务器（Master Sserver）
整个体系中负责管理文件系统
2、元数据日志服务器 （metalogger Server）
备份Master服务器的变化日志文件，master死掉之后，可以metalogger服务器提取文件
3、数据存储服务器（Chunk Server）
后端的真实服务器， 服务器越多越好… 力度就越大
4、客户端（client）
类似挂载nfs一样，挂载mfs文件系统
1）MFS的组成
元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。
元数据日志服务器（MetaLogger）：备份Master服务器的变化日志文件，当master服务器损坏，可以从日志服务器中取得文件恢复。
数据存储服务器（Chunk Server）：真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好。
客户端（Client）： 可以像挂载NFS一样 挂载MFS文件系统
2）MFS读数据的处理过程
客户端向元数据服务器发出读请求
元数据服务器把所需数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端
客户端向已知的Chunk Server请求发送数据
Chunk Server向客户端发送数据
.
3）写入的过程
客户端向元数据服务器发送写入请求
元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks，创建成功后由hunk Servers告知元数据服务器操作成功
元数据服务器告知客户端，可以在哪个Chunk Server的哪些Chunks写入数据
客户端向指定的Chunk Server写入数据
该Chunk Server与其他Chunk Server进行数据同步，同步成功后Chunk Server告知客户端数据写入成功
客户端告知元数据服务器本次写入完毕