CentOS 6.5 搭建Mfs

MFS服务器基本角色介绍

1、 元数据服务器(managing server ,习惯性叫它master)。在整个体系中负责管理管理文件系统,不管多少存储服务器,挂载时候使用的都是这台服务器的IP。
2、 元数据日志服务器(Metalogger server(Metalogger))。备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs。当元数据服务器数据丢失或者损毁，可从日志服务器取得文件进行恢复。
3、 数据存储服务器(chunkserver)。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。

4、 客户端(client)。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。

安装与配置

1.元数据服务器:管理服务器Master
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
#make && make install
#chown -R mfs:mfs /usr/local/mfs

# cp mfsmaster.cfg.sample  mfsmaster.cfg
# cp mfstopology.cfg.sample  mfstopology.cfg
# cp mfsexports.cfg.sample mfsexports.cfg
加入
192.168.0.0/24      /          rw,alldirs,maproot=0
#cd /usr/local/mfs/var/mfs
# cp metadata.mfs.empty metadata.mfs


启动:    mfsmaster命令：/usr/local/mfs/sbin/mfsmaster start
停止：    mfsmaster:/usr/local/mfs/sbin/mfsmaster stop



2.元数据日志服务器:Metalogger server
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
#make && make install
#chown -R mfs:mfs /usr/local/mfs

# cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
# vim mfsmetalogger.cfg
加入
# 元数据备份下载请求频率，设置为1小时；
META_DOWNLOAD_FREQ = 1

MASTER_RECONNECTION_DELAY = 5

MASTER_HOST = 192.168.0.220
MASTER_PORT = 9419

启动： # /usr/local/mfs/sbin/mfsmetalogger start
停止： # /usr/local/mfs/sbin/mfsmetalogger stop



3.存储:chunkservers(可多台)
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
#make && make install
#chown -R mfs:mfs /usr/local/mfs

# cp mfshdd.cfg.sample mfshdd.cfg
加入
/data/mfsdata

# cp mfschunkserver.cfg.sample  mfschunkserver.cfg
加入
MASTER_HOST = 192.168.0.220
MASTER_PORT = 9420

启动： /usr/local/mfs/sbin/mfschunkserver start
停止： /usr/local/mfs/sbin/mfschunkserver stop




MFS Client安装与配置：

#yum -y install fuse fuse-devel
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount
#make && make install
#chown -R mfs:mfs /usr/local/mfs

#mkdir /mnt/mfs
#/usr/local/mfs/bin/mfsmount /mnt/mfs/ -H 192.168.0.220

MFS启动顺序

1.管理服务器:Master

2.存储服务器:chunkservers

3.元日志服务器:mfsmetalogger

4.客户端挂载

关于副本(都是在客户机上操作):

设定副本个数命令:

# /usr/local/mfs/bin/mfssetgoal  2 /data/mnt/test

比如如果新增一台存储服务器(更改现有服务器副本数为3,并且新增文件副本数为3)
# /usr/local/mfs/bin/mfssetgoal  -r 3 /data/mnt/test

查看副本命令:

# /usr/local/mfs/bin/mfsgetgoal -r /data/mnt/test
/data/mnt/test:
 files with goal        2 :          1
 directories with goal  2 :          1

查看文件存储了几个副本:

# /usr/local/mfs/bin/mfsfileinfo /data/mnt/test/test.txt
/data/mnt/test/test.txt:
    chunk 0: 0000000000000004_00000001 / (id:4 ver:1)
        copy 1: 192.168.0.218:9422 (status:VALID)
        copy 2: 192.168.0.220:9422 (status:VALID)

关于灾难恢复

两种情况

1.Master日志还在

# cd /usr/local/mfs/var/mfs/

# /usr/local/mfs/sbin/mfsmetarestore -a

2.Master日志不在了

去元日志服务器,讲/usr/local/mfs/var/mfs/下的文件全部考过来,修改文件名

比如

# mv changelog_ml.1.mfs changelog.1.mfs

再执行

# /usr/local/mfs/sbin/mfsmetarestore -a

关于安全性

mfs自带的web监听,功能相对简单,而且没有认证,所以我用apache加认证来代替mfs的web监听

这个需要cgi支持,让服务器上的Nginx支持cgi还有点麻烦,而且我还很懒,所以直接用apache了,我这里是yum安装的apache,一般默认就支持cgi了

# apachectl -M |grep cgi
 cgi_module (shared)
Syntax OK

# vim httpd.conf
将这行取消注释
AddHandler cgi-script .cgi



创建带加密认证的虚拟主机

<VirtualHost *:9425>
    DocumentRoot /usr/local/mfs/share/mfscgi
    ServerName localhost
    Alias /cgi-bin "/usr/local/mfs/share/mfscgi/"
    ErrorLog logs/mfs-error_log
    CustomLog logs/mfs-access_log common

<Directory "/usr/local/mfs/share/mfscgi">
AllowOverride None
Options ExecCGI
Order allow,deny
Allow from all
AuthName "Mfs access"
AuthType Basic
AuthUserFile /usr/local/mfs/share/mfscgi/.passwd
Require valid-user
</Directory>
</VirtualHost>


# pwd
/usr/local/mfs/share/mfscgi
# htpasswd -bc .passwd mfsuser mfspwd

第一次加-c是创建密码文件,如果再为mfs的web监听添加用户,直接-b就行了

关闭自带监听

先关闭自带的web监听

# /usr/local/mfs/sbin/mfscgiserv stop

启动httpd配置的mfs监听

# /etc/init.d/httpd restart