企业—MFS分布式文件系统

1.什么是分布式？

分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以看到所有链接到此文件夹内的共享文件夹。

2.什么是MFS?

MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个服务器上，而呈现给用户的则是一个统一的资源。

具有的独有特征：
1）高可靠（数据的多个拷贝被存储在不同的计算机上）
2）通过附加新的计算机或者硬件可用实现容量的动态扩展
3）删除的文件可用根据一个可配置的时间周期进行保留（一个文件系统级别的回收站）
4）不受访问和写入影响的文件连贯快照。

3.MFS的组成

<1>元数据服务器（Master):在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。
<2>元数据日志服务器（MetaLogger):备份Master服务器的变化日志文件，当master服务器损坏，可以从日志服务器中取得文件恢复。
<3>数据存储服务器（Chunk Server)：真正存储数据的服务器，服务器越多，容量越大，可靠性越高，性能越好
<4>客户端（Client)：可用像挂载NFS一样，瓜子啊MFS文件系统。

4.MFS的元数据服务器Master的搭建

vim /etc/hosts  ##编辑解析文件

5.MFS的数据存储服务器（Chunk server)的安装

【安装环境】：server2和server3都安装chunkserver作数据存储服务器




安装好chunserver之后，也会生成一个mfs用户，注意：master和chunkserver的mfs用户应该uid和gid都一致，不然后面会出问题。


同理，chunkserver也需要作解析

vim /etc/hosts  ##编辑解析文件

硬盘可用根文件系统也就是系统文件系统，也可以自己新建一块硬盘。下面分俩种情况讨论：

<1>第一种情况:
给server2加一块硬盘

fdisk -l  ##查看硬盘的情况

vim /etc/mfs/mfshdd.cfg    ##编辑配置文件

上面server2数据存储服务器已经安装配置好了。

<2>第二种情况：
server3用自己的根文件系统作为数据硬盘

vim /etc/hosts  ##编辑解析文件

systemctl start moosefs-chunkserver  ##开启chunserver服务

前面master和chunkserver我们都已经搭建好了，现在需要一个客户端用来做测试

6.Client客户端做测试，实验MFS的存储与查看

【环境】：用server6做客户端

vim /etc/hosts  ##编辑解析文件

以上操作就是MFS的存储与查看！！！
读取数据过程：
（1）客户端向元数据服务器发出读请求
（2）元数据服务器把所有数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端
（3）客户端向已知的Chunk Server请求发送数据
（4）Chunk Server向客户端发送数据

写入数据的过程：
（1）客户端向元数据服务器发送写入请求。
（2）元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks
（3）创建成功后由Chunk Server告知元数据服务器操作成功。
（4）元数据服务器告知客户端，可以在那个Chunk Server的那些Chunks写入数据。
（5）客户端向指定的Chunk Server写入数据。
（6）该Chunk Server与其他Chunk Server进行数据同步，同步成功后Chunk Server告知客户端数据写入成功。
（7）客户端告知元数据服务器本次写入完毕。

7.存储类（storage class)和标签（label）

【实验环境】：
server2: 标签 A S 指A机房固态硬盘
server3:标签 B S 指B机房固态硬盘
server4:标签 A H 指A机房机械硬盘
server5:标签B H 指B机房机械硬盘




前面server2和server3的标签都设置好了，server4我们还没有配置chunkserver，这里我们先来配置一下

vim /etc/hosts  ##编辑解析文件

systemctl start moosefs-chunkserver ##开启chunkserver服务

再将server5也安装配置上chunkserver服务器

vim /etc/hosts  ##编辑一下解析文件

然后server4和server5分别打上标签

vim /etc/mfs/mfschunkserver.cfg  ##编辑配置文件

以上4台主机的标签都打好了，现在4台主机都分别重启一下chunkserver服务





上面标签设置好了，现在来测试一下！！！
设置四类文件存储方式：
1.文件都存在机房A上
2.文件都存在机房B上
3.文件一个放在A机房上，一个放在B机房上
4.文件一个放在A机房的固态硬盘上，一个放在B机房的机械硬盘上。

在客户端测试，首先将客户端之前设置的数据清理一下。

cd /mnt/mfs  ##进入之前的挂载目录下
rm -fr *  ##将所有数据清理一下
umount /mnt/mfs  ##卸载
mount /mnt/mfs  ##再重新挂载

存储类的一些参数的设定,如:create、keep、archive

8.master的异常退出

首先我们需要将客户端server6的/mnt/mfs卸载掉，以免带来影响

umount /mnt/mfs  ##卸载掉
mount  ##查看是否还有被挂载

接着我们来看一下master

vim /usr/lib/systemd/system/moosefs-master.server ##编辑一下master的启动脚本，将-a参数加进去

9.数据恢复

mkdir /mnt/mfsmeta  ##建立数据恢复目录
mfsmount -m /mnt/mfsmeta  ##挂载目录