存储组件之MFS详解

一、引言

MFS：MooseFS是一个具有冗余容错功能的分布式网络文件系统，具有高可靠性，高可扩展性，高可容错性和高数据一致性
应用场景：
1、大规模高并发的线上数据存储及访问（不论大文件还是小文件）
2、大规模的数据处理，如日志分析、小文件强调性能不用HDFS

二、组件

网络架构：

管理服务器 managing server，简称master：它是管理整个mfs文件系统的主服务器，出了分发用户请求外，还用来存储整个文件系统的metadata信息，包括目录、socket、管道、块设备等的大小、属性、文件路径等内容
元数据备份服务器 metadata backup server，简称metalogger：此组件作用是备份管理服务器master的metadata信息日志文件，文件类型为changelog_ml.*.mfs，用于在管理服务器出现问题时，可以经过简单的操作让新的主服务器进行工作
数据存储服务器 data server(chunk server)，简称data：该组件是存放数据文件的实体服务器，可以由多台不同的物理服务器或不同的磁盘充当，当配置数据的副本多余一份时，或数据写入到另一台数据服务器后，会根据算法在其他数据服务器进行同步备份
客户机服务器组 client server，简称client：此组件是用于挂载使用mfs文件系统的客户端，当读写文件时，客户端会连接到主管理服务器获取数据的metadata信息，然后根据得到的元数据信息访问数据服务器读取或写入文件实体，mfs客户端通过fuse机制实现挂载mfs文件系统的目的。因此，只要系统支持fuse，就可以作为客户端访问mfs整个文件系统

三、安装使用

实验环境：
|IP|备注|
|–|--|
| 192.168.43.200 | master节点 |
| 192.168.43.201 | Metalogger节点 |
| 192.168.43.202 | chunk server节点1 |
| 192.168.43.203 | chunk server节点2 |
| 192.168.43.204 | client节点 |

1. 前期准备
   准备yum源，以centos7为例

   curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
   curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
   

2. Master主节点

   安装主程序

   yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
   

   修改解析/etc/hosts

   192.168.43.200 mfsmaster
   

   启动服务

   systemctl start moosefs-master
   systemctl start moosefs-cgiserv
   

   访问http://192.168.43.20:9425，出现则表示主节点部署完成
   

3. 元数据节点Metaloger Server部署
   安装软件 yum install -y moosefs-metalogger
   修改解析/etc/hosts

   192.168.43.200   mfsmaster
   

   启动服务

   systemctl start moosefs-metalogger
   

4. 存储服务器chunk server部署
   存储节点1：
   安装软件包yum install -y moosefs-chunkserver
   修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
   配置数据目录
   bash mkdir /mnt/chunk1 chown mfs.mfs /mnt/chunk1 #存储是mfs的块文件 echo '/mnt/chunk1'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
   启动服务
   bash systemctl start moosefs-chunkserver
   存储节点2：
   安装软件包yum install -y moosefs-chunkserver
   修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
   配置数据目录
   bash mkdir /mnt/chunk2 chown mfs.mfs /mnt/chunk2 #存储是mfs的块文件 echo '/mnt/chunk2'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
   启动服务
   bash systemctl start moosefs-chunkserver
   验证
   
   

5. client客户端部署
   安装软件包yum install -y moosefs-client
   修改解析/etc/hosts

   192.168.43.200   mfsmaster
   

   定义客户端默认挂载vi /etc/mfs/mfsmount.cfg

   mfsmaster=mfsmaster # 挂载地址
   /mnt/mfs # 挂载目录
   

   创建挂载目录 mkdir -p /mnt/mfs
   挂载到系统 mfsmount /mnt/mfs/

6. 安装总体验证
   
   
   
   
   

四、数据同步高可用配置

高可用：keepalive 主从节点
数据同步：rsync
详见：转载
待续。。。