分布式存储系统------mfs的部属

1.mfs的概述

1.1mfs的特性

MFS：（MooseFS)，是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本。对于访问的客户端来说，整个分布式网络文件系统集群如一个整体资源，可从中调取相应资源。

相关解释: 冗余：文件可以在多台服务器同时保存，意味着设置文件副本数目可以大于 1 个 容错；清空策略有延迟，对于失误型操作，如删除文件可以及时召回 ；分布式：把整体数据分散到不同的服务器的磁盘中

优势与不足:
优势：

MFS部署简单并提供Web界面的方式进行管理与监控，支持在线扩容，可以通过增加主机的磁盘的容量或数量，进行横向动态扩展文件系统的存储量
MFS还具有极高容错性可找回用户失误操作删除的文件，相当于一个回收站，在一段时间内，以进行删除的文件的恢复
MFS对于海量小文件的读写要比大文件读写的效率高的多
MFS具有高可靠性和高效性：每一份数据可以设置数个备份（多分数据），并可以存储在不同的主机上；同时对于海量小文件的读写比大文件读写的效率高

不足：

MFS的主备架构情况类似于MySQL的主从复制，从可以扩展，主却不容易扩展下
MFS体系架构中存储是在内存的要求很高，随着储存文件的曾加，Master Server对内存的需求量会不断增大，同时内存的使用效率会降低。
Master Server存在单点问题，如果Master Server出问题，那么整个服务就会无法使用
官方解决方式是把数据信息从Master Server同步到Metalogger Server上，Master Server一旦出问题Metalogger Server可以恢复升级为Master Server，但是需要恢复时间，解决方式属于冷备

1.2.mfs架构组成

管理服务器（Master Servers）

在整个体系中负责管理文件系统，维护元数据，目前不支持高可用
元数据（metadata）信息包括文件（也可以是目录、socket、管道、设备等）的大小、属性、文件位置路径等，以及文件空间的回收和恢复，控制多chunk server节点的数据拷贝
原文链接：https://blog.csdn.net/csdnlb/article/details/105057179

数据存储服务器 （Chunk Servers）

存放数据文件实体的服务器了，这个角色可以有多台不同的物理服务器或不同的磁盘及分区来充当
当配置数据的副本多于一份时，在写入到一个数据服务器后，会根据算法在其他数据服务器上进行同步备份
真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好
原文链接：https://blog.csdn.net/csdnlb/article/details/105057179

元数据日志服务器 （Metaloggers）

作用是备份管理服务器master的变化的metadata信息日志文件，文件类型为changelog_ml.*.mfs，以便于在主服务器出现问题的时候，可以经过简单的操作即可让新主服务器进行工作
类似Mysql的主从同步，只不过他不像mysql从库那样在本地应用数据，而只是接收主服务器上文件写入时记录的文件相关的metadata信息
这个backup可以有一台或多台
原文链接：https://blog.csdn.net/csdnlb/article/details/105057179

客户端 （Clients）

挂载并使用mfs文件系统的客户端，当读写文件时，客户端首先连接主管理服务器获取数据的metadata信息，然后根据得到的metadata信息，访问数据服务器读取或写入文件实体
mfs客户端通过FUSE mechanism实现挂载MFS文件系统的。因此，只要系统支持FUSE，就可以作为客户端访问MFS整个文件系统。所谓的客户端并不是网站用户，而是前端访问文件系统的应用服务器，如web
原文链接：https://blog.csdn.net/csdnlb/article/details/105057179

1.3 mfs处理逻辑

数据读取

数据输入

1.4. mfs工作场景

• 大规模高并发的线上数据存储及访问
• 大规模的数据处理，如日志分析，小文件强调性能不用 HDFS

2. MFS的部署

2.1 实验环境

ip	主机	用途	安装软件
172.25.6.1	server1	Master Server	moosefs-master\moosefs-cgi\moosefs-cgiserv\moosefs-cli
172.25.6.2	server2	Chunk Servers	moosefs-chunkserver
172.25.6.3	server3	Chunk Servers	moosefs-chunkserver
172.25.6.4	server4	Chunk Servers	moosefs-chunkserver
172.25.6.250	foundation6	Clients	moosefs-client

2.2 Master Server的部署

1.下载并安装moosefs-master\moosefs-cgi\moosefs-cgiserv\moosefs-cli，这里我使用yum源的方式直接安装，在Chunk Servers上依旧如此

[root@server1 yum.repos.d]# vim MooseFS.repo    
[MooseFS]
name=MooseFS
baseurl=http://ppa.moosefs.com/moosefs-3/yum/el7
gpgcheck=0

[root@server1 ～]# yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y 

2.进行域名解析并启动
域名解析在/etc/hosts中，为Master Server即server1添加域名mfsmaster，在Chunk Servers上同样添加

[root@server1 mfs]# vim /etc/hosts         
添加server1的解析  172.25.6.1 server1 mfsmaster
[root@server1 mfs]# scp /etc/hosts server2:/etc/ ：由于hosts文件的解析内容相同，故可以直接发送到Chunk Servers    
[root@server1 mfs]# scp /etc/hosts server3:/etc/
[root@server1 mfs]# systemctl start moosefs-master.service ：启动moosefs-master服务
[root@server1 mfs]# systemctl start moosefs-cgiserv.service      %开启相关cgi服务，此服务提供可视化界面
[root@server1 mfs]# netstat -antulp 查看开启的端口（9419，9420，9421，9425，端口若出现，则为正常开启）

2.2 chunk Server的部署

1.下载并安装，这里我使用yum源的方式直接安装moosefs-chunkserver ,yum源与master Server 所使用相同，故可以直接传输

[root@server1 yum.repos.d]# scp /etc/yum.repos.d/MooseFS.repo server2:/etc/yum.repos.d/
[root@server1 yum.repos.d]# scp /etc/yum.repos.d/MooseFS.repo server3:/etc/yum.repos.d/

在主机server2，server3上均下载yum install -y moosefs-chunkserver
启动服务：systemctl start moosefs-chunkserver
2.chunk server是存放数据文件实体的服务器，所以需要进行磁盘的分区挂载
1.添加10G的磁盘并设置分区，采用图形方式添加：/dev/vdb

[root@server