MFS分布式文件系统一

MFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本。

一、MFS组成简介
Master servers：管理服务器，在整个体系中负责管理文件系统，控制多chunk server节点的数据拷贝。

Chunk Servers：数据存储服务器，存放数据文件实体的服务器，真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好。
Metaloggers：元数据日志服务器，类似Mysql的主从同步，作用是备份管理服务器master的变化的metadata信息日志文件。
Clients：客户端，挂载并使用mfs文件系统的客户端，当读写文件时，客户端首先连接主管理服务器获取数据的metadata信息，然后根据得到的metadata信息，访问数据服务器读取或写入文件实体。

二、MFS安装和部署
需要准备：三台虚拟机server1、2、3和本机的真实主机，server1负责master、server2、3负责数据存储，真实主机负责客户端client。

server1:yum install -y moosefs-master-3.0.115-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.115-1.rhsystemd.x86_64.rpm

mfs主配置文件存放目录etc/mfs/
vim /etc/hosts 配置解析，使其解析到mfsmaster

启动服务，查看端口systemctl start moosefs-master systemctl start moosefs-cgiserv.service
netstat -antlp 9425是mfs所占用的端口

测试，firefox:172.25.9.1:9425

server2:安装相关rpm包yum install -y moosefs-chunkserver.x86_64 lsof

vim /etc/mfs/mfshdd.cfg修改配置文件，指向挂载目录/mnt/chunk1 再创建挂载目录

创建磁盘，分区 格式化磁盘分区，并挂载

修改挂载目录用户和用户组chown mfs.mfs /mnt/chunk1/
编辑解析，使master指向172.25.9.1

启动服务systemctl start moosefs-chunkserver

测试：firefox:172.25.9.1:9425 +server 可以看到172.25.9.2

server3操作与server2一样

真实主机client端：下载rhel8相关的client文件yum install moosefs-client-3.0.115-1.rhsystemd.x86_64.rpm -y

编辑配置文件，指向挂载目录vim /etc/mfs/mfsmount.cfg /mnt/mfs/

编辑解析，

创建目录并mfs命令挂载mkdir /mnt/mfsmfsmount

server1查看端口

测试：进入目录存储文件，查看文件存储内容cd /mnt/mfs/

将dir1设定到mfs文件系统进行访问

获取副本数设定

查看文件信息

三、客户端删除文件并恢复
将源数据挂载到客户端mkdir /mnt/mfsmeta mfsmount -m /mnt/mfsmeta/

恢复：

四、storage class ---->通过标签确定
设定chunk端的标签vim /etc/mfs/mfschunkserver.cfg
server2:LABELS = A server3:LABELS = B server4:LABELS = A
systemctl reload moosefs-chunkserver.service
client端：

mfsscadmin create 2A class2A 需要在文件目录中进行
mfssetsclass -r class2A fstab 将fstab转换存储为2A方式

vim /etc/mfs/mfschunkserver.cfg
server2:LABELS = A S server3:LABELS = B H server4:LABELS = A H

网页查看端口设定情况

client端：mfsscadmin create AS,2H[A+B] classAS2HAB #需要在文件目录中进行
mfssetsclass -r classAS2HAB fstab #将fstab转换存储为2A方式

server2:LABELS = A S server3:LABELS = A B H S server4:LABELS = A H
client端：mfsscadmin create -C 2AS -K AS,BS -A AH,BH -d 7 classABSH #需要在文件目录中进行
mfssetsclass -r classABSH fstab #将fstab转换存储为2A方式

五、共享文件iscsi实现mfs高可用
server3:为iscis主机，为其添加虚拟磁盘
设置iscis，

server1:master需要备份的机器yum install -y iscsi-*
cd /etc/iscsi/ cat initiatorname.iscsi

iscsiadm -m discovery -t st -p 172.25.9.3

登陆成功后会生成以下文件

server1中多了一块sda1磁盘 分区并挂载

查看文件，并将master文件复制到iscsi的挂载目录中

server2:负责备份server1中的master信息yum install -y moosefs-master.x86_64
下载iscsi相关安装包yum install -y iscsi-*

配置iscscat /etc/iscsi/initiatorname.iscsi

连接iscsi主机server3iscsiadm -m discovery -t st -p 172.25.9.3
查看磁盘，多了一块sda1，将其挂载
启动master服务systemctl start moosefs-master
server1中的master备份均完成。

六、双机热备份
安装需要的模块yum install -y pacemaker pcs psmisc policycoreutils-python
设置server1与server2免密登陆

将仓库文件scp给server2，并且在server1中通过ssh远程安装需要的部分,并远程开启服务pcsd
ssh server2 yum install -y pacemaker pcs psmisc policycoreutils-python

server1和server2均设定需要认证的用户和密码

认证server1和server2

设置server1和server2为mycluster集群

启动集群

设定后警告取消pcs property set stonith-enabled=false

设定vip模块 监控时间间隔为30s，此处ip是未占用的ip用于mfsmaster。

查看Filesystem使用方法pcs resource describe ocf💓Filesystem

down掉server1后vip会自动转移到server2

pcs node unstandby #启动server1

查看状态，vip不会回到server1上，配置成功。
若是回到server1上，磁盘会脑裂，坏掉。

设置集群操作前两个master关闭所有mfs服务并关闭开机自启
设定mfsdata

查看状态成功后，会按照状态提示挂载到某个master主机上，此处自动挂载到server1上，