MFS即moosefs,可以提供容量PB级别的共享存储,无需昂贵的专业硬件设备,自身拥有冗余功能及动态扩容功能,保证数据的安全性。分布式文件系统把数据分散存储在不同的服务器上,读取数据的时候相当于同时读取,不像NFS是一对多的关系,而是多对多的关系,这样可以使得性能得到大幅提升。本篇博客将使用MFS搭建分布式文件系统,使其具有容错功能,高可用,可扩展的功能。
一、工作原理
1. 分布式原理
分布式文件系统(Distributed File System)就是把一些分散在多台计算机上的共享文件夹,集合到一个文件夹内(虚拟共享文件夹),用户要访问这些共享文件夹的时候,只要打开虚拟共享文件夹,就可以的看到所有链接到此文件夹内的共享文件夹,用户感觉不到这些共享文件夹是分散于各个计算机上的。分布式文件系统的好处是集中访问、简化操作、数据容灾、提高文件夹存取性能
2. MFS原理
MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。
(1)MFS文件系统的组成
元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据,目前不支持高可用。
元数据日志服务器(MetaLogger):备份Master服务器的变化日志文件,当master服务器损坏,可以从日志服务器中取得文件恢复。
数据存储服务器(Chunk Server):真正存储数据的服务器,服务器越多,容量就越大,可靠性越高,性能越好。
客户端(Client):可以像挂载NFS一样 挂载MFS文件系统
(2)MFS读数据的处理过程
1)客户端向元数据服务器发出读请求
2)元数据服务器把所需数据存放的位置(Chunk Server的IP地址和Chunk编号)告知客户端
3)客户端向已知的Chunk Server请求发送数据
4)Chunk Server向客户端发送数据
(3)MFS写入数据的处理过程
1)客户端向元数据服务器发送写入请求
2)元数据服务器与Chunk Server进行交互,但元数据服务器只在某些服务器创建新的分块Chunks,创建成功后由Chunk Servers告知元数据服务器操作成功
3)元数据服务器告知客户端,可以在哪个Chunk Server的哪些Chunks写入数据
4)客户端向指定的Chunk Server写入数据
5)该Chunk Server与其他Chunk Server进行数据同步,同步成功后Chunk Server告知客户端数据写入成功
6)客户端告知元数据服务器本次写入完毕
二、实验案例
公司之前的存储服务器采用的是NFS,随着业务的增加,多台服务器通过NFS共享一个服务器的存储空间,使得NFS服务器不堪重负,经常出现超时的问题。且存在着单点故障问题,尽管可以用rsync同步数据到另外一台服务器上做备份,但性能方便没有任何提升。基于这一需求,选择的解决方案是采用MFS分布式文件系统,服务器间的数据访问不再是一对多的关系,而是多对多的关系,这样可以使得性能得到大幅提升。具体的拓扑图如下图所示:
主机 | IP地址 | 主要软件 |
Master | 192.168.1.100 | mfs-1.6.27-5.tar.gz |
MetaLogger | 192.168.1.101 | mfs-1.6.27-5.tar.gz |
Chunk Server1 | 192.168.1.102 | mfs-1.6.27-5.tar.gz |
Chunk Server2 | 192.168.1.103 | mfs-1.6.27-5.tar.gz |
Client | 192.168.1.104 | mfs-1.6.27-5.tar.gz fuse-2.9.2.tar.gz |
实验步骤:
1. 搭建Master Server
[root@localhost ~]# service iptables stop [root@localhost ~]# yum -y install zlib-devel [root@localhost ~]# useradd -s /sbin/nologin mfs [root@localhost ~]# tar zxf mfs-1.6.27-5.tar.gz -C /usr/src/ [root@localhost ~]# cd /usr/src/mfs-1.6.27/ [root@localhost mfs-1.6.27]# ./configure --prefix=/usr/local/mfs \ > --with-default-user=mfs \ //指定程序运行用户 > --with-default-group=mfs \ //指定程序运行组 > --disable-mfschunkserver \ //禁用Chunk功能 > --disable-mfsmount \ //禁用mfsmount功能 [root@localhost mfs-1.6.27]# make && make install [root@localhost mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/ [root@localhost mfs]# ls mfsexports.cfg.dist mfsmaster.cfg.dist mfsmetalogger.cfg.dist mfstopology.cfg.dist [root@localhost mfs]# cp mfsmaster.cfg.dist mfsmaster.cfg //主配置文件 [root@localhost mfs]# cp mfsexports.cfg.dist mfsexports.cfg //被挂载目录及权限配置文件 [root@localhost mfs]# cp mfstopology.cfg.dist mfstopology.cfg [root@localhost mfs]# cd /usr/local/mfs/var/mfs/ [root@localhost mfs]# ls metadata.mfs.empty [root@localhost mfs]# cp metadata.mfs.empty metadata.mfs //存放master的变化信息 [root@localhost mfs]# /usr/local/mfs/sbin/mfsmaster start //启动mfsmaster服务 loading sessions ... file not found //第一次启动mfsmaster服务会出现错误 [root@localhost mfs]# /usr/local/mfs/sbin/mfsmaster restart //重启服务就OK了 [root@localhost mfs]# netstat -anpt |grep mfs tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 10204/mfsmaster tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 10204/mfsmaster tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 10204/mfsmaster
2. 搭建Metalogger Server
[root@localhost ~]# service iptables stop [root@localhost ~]# yum -y install zlib-devel [root@localhost ~]# useradd -s /sbin/nologin mfs [root@localhost ~]# tar zxf mfs-1.6.27-5.tar.gz -C /usr/src/ [root@localhost ~]# cd /usr/src/mfs-1.6.27/ [root@localhost mfs-1.6.27]# ./configure --prefix=/usr/local/mfs \ > --with-default-user=mfs \ //指定程序运行用户 > --with-default-group=mfs \ //指定程序运行组 > --disable-mfschunkserver \ //禁用Chunk功能 > --disable-mfsmount \ //禁用mfsmount功能 [root@localhost mfs-1.6.27]# make && make install [root@localhost mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/ [root@localhost mfs]# ls mfsexports.cfg.dist mfsmaster.cfg.dist mfsmetalogger.cfg.dist mfstopology.cfg.dist [root@localhost mfs]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg [root@localhost mfs]# vim mfsmetalogger.cfg //修改配置文件 MASTER_HOST = 192.168.1.100 //去掉注释,添加master服务器的ip地址 [root@localhost mfs]# /usr/local/mfs/sbin/mfsmetalogger start root@localhost mfs]# netstat -anpt |grep mfs tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 13456/mfsmetalogger
3. 搭建Chunk Server(二台chunk的搭建步骤相同)
[root@localhost ~]# service iptables stop [root@localhost ~]# yum -y install zlib-devel [root@localhost ~]# useradd -s /sbin/nologin mfs [root@localhost ~]# tar zxf mfs-1.6.27-5.tar.gz -C /usr/src/ [root@localhost ~]# cd /usr/src/mfs-1.6.27/ [root@localhost mfs-1.6.27]# ./configure --prefix=/usr/local/mfs \ > --with-default-user=mfs \ //指定程序运行用户 > --with-default-group=mfs \ //指定程序运行组 > --disable-mfsmaster \ //禁用mfsmaster功能 > --disable-mfsmount \ //禁用mfsmount功能 [root@localhost mfs-1.6.27]# make && make install [root@localhost mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/ [root@localhost mfs]# ls mfschunkserver.cfg.dist mfshdd.cfg.dist [root@localhost mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg [root@localhost mfs]# cp mfshdd.cfg.dist mfshdd.cfg [root@localhost mfs]# vim mfschunkserver.cfg MASTER_HOST = 192.168.1.100 //去掉注释,添加master服务器的ip地址 [root@localhost mfs]# vim mfshdd.cfg //添加一行 /data //这是给MFS的分区,生产环境下最好使用独立的分区或磁盘挂载到此目录下 [root@localhost mfs]# mkdir /data [root@localhost mfs]# chown -R mfs:mfs /data [root@localhost mfs]# /usr/local/mfs/sbin/mfschunkserver start [root@localhost mfs]# netstat -anpt | grep mfs tcp 0 0 0.0.0.0:9422 0.0.0.0:* LISTEN 9668/mfschunkserver tcp 0 0 192.168.1.102:41168 192.168.1.100:9420 ESTABLISHED 9668/mfschunkserver
4. 客户端配置
[root@localhost ~]# service iptables stop [root@localhost ~]# yum -y install zlib-devel [root@localhost ~]# tar zxf fuse-2.9.2.tar.gz -C /usr/src/ [root@localhost ~]# cd /usr/src/fuse-2.9.2/ //MFS依赖于FUSE [root@localhost fuse-2.9.2]# ./configure && make && make install [root@localhost fuse-2.9.2]# vim /etc/profile //设置环境变量,添加两行 export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH export PATH=/usr/local/mfs/bin:$PATH [root@localhost fuse-2.9.2]# source /etc/profile [root@localhost fuse-2.9.2]# useradd -s /sbin/nologin mfs [root@localhost fuse-2.9.2]# tar zxf /root/mfs-1.6.27-5.tar.gz -C /usr/src/ [root@localhost fuse-2.9.2]# cd /usr/src/mfs-1.6.27/ [root@localhost mfs-1.6.27]# ./configure --prefix=/usr/local/mfs \ > --with-default-user=mfs \ //指定程序运行用户 > --with-default-group=mfs \ //指定程序运行组 > --disable-mfsmaster \ //禁用mfsmaster功能 > --disable-mfschunkserver \ //禁用Chunk功能 > --enable-mfsmount \ //启用mfsmount功能 [root@localhost mfs-1.6.27]# make && make install [root@localhost mfs-1.6.27]# mkdir /mnt/mfs //创建挂载点 [root@localhost mfs-1.6.27]# modprobe fuse //加载fuse模块 [root@localhost mfs-1.6.27]# mfsmount /mnt/mfs/ -H 192.168.1.100 //挂载 mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root [root@localhost mfs-1.6.27]# df -Th //查看挂载情况 192.168.1.100:9421 fuse.mfs 24G 0 24G 0% /mnt/mfs [root@localhost mfs-1.6.27]# mfsgetgoal -r /mnt/mfs/ //查询文件被复制的份数 /mnt/mfs/: directories with goal 1 : //生产环境下Chunk Server节点数量应大于2,文件副本数小于Chunk server服务器的数量 //由于我有二台Chunk Server 我将副本数量设置为1 [root@localhost mfs-1.6.27]# mfssetgoal -r 1 /mnt/mfs/ //设置文件被复制的份数 /mnt/mfs/: inodes with goal changed: 1 inodes with goal not changed: 0 inodes with permission denied: 0 [root@localhost mfs-1.6.27]# cd /mnt/mfs/ [root@localhost mfs]# touch test //创建测试文件 [root@localhost mfs]# mfsgetgoal test test: 1
分别打开两台chunk查看/data下,都产生了加密的数据
[root@localhost ~]# cd /data/ [root@localhost data]# ls 00 0A 14 1E 28 32 3C 46 50 5A 64 6E 78 82 8C 96 A0 AA B4 BE C8 D2 DC E6 F0 FA 01 0B 15 1F 29 33 3D 47 51 5B 65 6F 79 83 8D 97 A1 AB B5 BF C9 D3 DD E7 F1 FB 02 0C 16 20 2A 34 3E 48 52 5C 66 70 7A 84 8E 98 A2 AC B6 C0 CA D4 DE E8 F2 FC 03 0D 17 21 2B 35 3F 49 53 5D 67 71 7B 85 8F 99 A3 AD B7 C1 CB D5 DF E9 F3 FD 04 0E 18 22 2C 36 40 4A 54 5E 68 72 7C 86 90 9A A4 AE B8 C2 CC D6 E0 EA F4 FE 05 0F 19 23 2D 37 41 4B 55 5F 69 73 7D 87 91 9B A5 AF B9 C3 CD D7 E1 EB F5 FF 06 10 1A 24 2E 38 42 4C 56 60 6A 74 7E 88 92 9C A6 B0 BA C4 CE D8 E2 EC F6 07 11 1B 25 2F 39 43 4D 57 61 6B 75 7F 89 93 9D A7 B1 BB C5 CF D9 E3 ED F7 08 12 1C 26 30 3A 44 4E 58 62 6C 76 80 8A 94 9E A8 B2 BC C6 D0 DA E4 EE F8 09 13 1D 27 31 3B 45 4F 59 63 6D 77 81 8B 95 9F A9 B3 BD C7 D1 DB E5 EF F9
5. mfs监控
mfscgiserv是用python编写的一个web服务器,其监听端口是9425,可以再masster server 上通过 /usr/local/mfs/sbin/mfscgiserv来启动,用户利用浏览器就可以完全监控所有客户挂接、Chunk server、Master server等。
在Masster Server执行以下命令
[root@localhost ~]# /usr/local/mfs/sbin/mfscgiserv lockfile created and locked starting simple cgi server (host: any , port: 9425 , rootpath: /usr/local/mfs/share/mfscgi) [root@localhost ~]# iptables -I INPUT -p tcp --dport 9425 -j ACCEPT
在一台客户端上通过浏览器访问http://192.168.1.100:9425,如下图所示:
其中各部分含义如下:
Info:显示了MFS的基本信息
Servers:列出现有的Chunk Server
Disks:列出现有的Chunk Server硬盘信息
Exports:列出了可被挂载的目录
Mounts:列出了被挂载的目录
Operations:显示正在执行的操作
Master charts:显示了Master Server的操作情况,读、写删除等操作
Server charts:显示了Chunk Server的操作情况、传输速率及系统状态
6. MFS维护及灾难恢复
1)MFS集群的启动与停止
MFS集群的启动顺序如下:
(1)启动mfsmaster进程
(2)启动所有的mfsChunkserver进程
(3)启动mfsmetalogger进程
(4)在所有客户端上挂载NFS文件系统
MFS集群的停止顺序如下:
(1)在所有客户端卸载MFS挂载
(2)停止Chunkserver进程
(3)停止mfsmetalogger进程
(4)停止mfsmaster进程
2)MFS灾难恢复
整个MFS体系中,直接断电只有master server进程有可能无法启动,可以在master上使用命令/usr/local/mfs/sbin/mfsmetarestore -a修复
我们将master server 直接断电,在重新开机,结果如下:
[root@localhost ~]# /usr/local/mfs/sbin/mfsmaster start //启动失败 init: file system manager failed !!! error occured during initialization - exiting [root@localhost ~]# /usr/local/mfs/sbin/mfsmetarestore -a //修复 [root@localhost ~]# /usr/local/mfs/sbin/mfsmaster start //启动成功
MFS元数据通常有两部分的数据,分别如下:
(1)主要元数据文件metadata.mfs,当mfsmaster运行时会被命名为metadata.back.mfs。
(2)元数据改变日志 changelog.*.mfs,存储了过去N小时的文件变更。
在Master 发生故障时,可以从MetaLogger中恢复,步骤如下:
(1)安装一台mfsmaster,利用同样的配置来配置这台mfsmaster,mfsmaster进程先不要启动
(2)将metalogger上/usr/local/mfs/var/mfs/目录下所有文件复制到mfsmaster相应的目录中。
(3)利用mfsmetarestore命令合并数据元changelogs。
[root@localhost ~]# scp root@192.168.1.101:/usr/local/mfs/var/mfs/* /usr/local/mfs/var/mfs/ [root@localhost ~]# /usr/local/mfs/sbin/mfsmetarestore -m metadata_ml.mfs.back -o metadata.mfs changelog_ml.*.mfs [root@localhost ~]# /usr/local/mfs/sbin/mfsmaster start
注意:如果是全新安装的master,恢复数据后,需要更改metalogger和chunkserver,配置MASTER_HOST的IP地址,客户端也需要重新挂载mfs目录。
转载于:https://blog.51cto.com/yangshufan/2083086