本文主要讲解如何安装MooseFS 3.0.x版本或者如何从v1.6.27版本升级到v3.0.94。
一、服务器配置
序号 | 服务名 | IP地址 | 备注 |
1 | mfsmaster | 192.168.2.36 | |
2 | mfsmetalogger | 192.168.2.37 | |
3 | chunkservers01 | 192.168.2.38 | |
4 | chunkservers02 | 192.168.2.39 | |
5 | mfsmount | 192.168.2.16 | |
6 | mfsmount | 192.168.2.20 |
二、备份文件
重点备份以下文件:
a) 配置文件目录中所有*.cfg文件;
b) metadata数据文件目录中的metadata.mfs文件;
说明:
1)v1.6.27版本配置文件位于:$MFS_HOME/etc/mfs/;v2.0版本以上配置文件位于:/etc/mfs/
2)v1.6.27版本metadata.mfs文件位于:$MFS_HOME/var/mfs/; v2.0版本以上metadata.mfs文件位于:/var/llib/mfs/
* 一定注意,备份文件的时候,必须关闭了所有MFS服务再进行备份操作,否则找不到metadata.mfs文件。
三、前置条件
1) 下载YUM的key认证文件
# curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
2) 下载YUM的repo配置文件,这里为EL6(对应CentOS6.*):
# curl "http://ppa.moosefs.com/MooseFS-3-el6.repo" > /etc/yum.repos.d/MooseFS.repo
# 其他版本系统参考:https://moosefs.com/download/centosfedorarhel.html
3) 更新repo配置(可选)
#yum update
4) 配置hosts(可选,在所有mfs server上配置)
# vim /etc/hosts
192.168.2.36 mfsmaster
192.168.2.37 mfsmetalogger
192.168.2.38 mfschunk01
192.168.2.39 mfschunk02
5) 防火墙配置
重要!!!所有MFS服务器中,均需要开放防火墙访问权限。
6) 添加mfs用户
#useradd -s /sbin/nologin mfs
如果服务器是内网环境,无法访问外网,则需要自行下载rpm文件并上传到需要安装或升级的服务器。
1) 复制安装文件
复制rpm文件到各服务器:
#scp -r /home/username/mfs3.0.94 username@{IP}:/home/username/
注:Rpm文件可以从http://ppa.moosefs.com/MooseFS-2-el6.repo中获取。
可以连外网的服务器还是建议yum安装方式,具体参见官方文档。
2) 添加mfs用户
#useradd -s /sbin/nologin mfs
3) 安装RPM的KEY
#cp /home/username/mfs3.0.94/RPM-GPG-KEY-MooseFS /etc/pki/rpm-gpg/
rpm --import /etc/pki/rpm-gpg/RPM*
4) 安装依赖库
#yum install libpcap libpcap-devel –y
其他部分与前面配置相同。记得,一定要把前置配置工作做好,检查仔细,否则影响后续的安装。
四、安装或升级安装MFS
4.1 MFSMaster安装
1) 安装mfsmaster:
# yum install moosefs-master moosefs-cli moosefs-cgi moosefs-cgiserv
若无外网,则使用如下方法:
[root@mfsmastermfs3.0.94]# rpm -ivh moosefs-master-3.0.94-1.rhsysv.x86_64.rpm
Preparing... ########################################### [100%]
1:moosefs-master ########################################### [100%]
2) 确认配置文件
在 /etc/mfs 下生成了相关的配置文件(mfsexports.cfg、mfsmaster.cfg 等)
以下配置文件均采用默认值,不做修改:
mfsmaster.cfg 不需要修改
mfsexports.cfg 不需要修改
mfstopology.cfg 不需要修改
3) 更改权限
#chown -R mfs:mfs /var/lib/mfs
#chown -R mfs:mfs /etc/mfs
4) 复制metadata.mfs文件到新目录:
注意!必须先停止mfsmaster服务后再复制出来!如果在不同主机迁移,需要使用scp命令
#/usr/local/mfs/sbin/mfsmasterstop
#cp /usr/local/mfs-1.6.27/var/mfs/metadata.mfs /var/lib/mfs
#chown -R mfs.mfs /var/lib/mfs
5) 移除mfs旧版本:
# rm -rf/usr/local/mfs
# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmaster
6) 启动mfsmaster
#mfsmaster start
启动日志:
[root@mfsmastermfs3.0.94]# mfsmaster start
openfiles limit has been set to: 16384
working directory: /var/lib/mfs 注意这里的目录是否正确,如果还是旧版本的目录则不正确。
lockfilecreated and locked
initializingmfsmaster modules ...
exportsfile has been loaded
topologyfile has been loaded
loadingmetadata ...
loadingsessions data ... ok (0.0000)
loadingstorage classes data ... ok (0.0000)
loadingobjects (files,directories,etc.) ... ok (0.0613)
loadingnames ... ok (0.0619)
loadingdeletion timestamps ... ok (0.0000)
loadingquota definitions ... ok (0.0000)
loadingxattr data ... ok (0.0000)
loadingposix_acl data ... ok (0.0000)
loadingopen files data ... ok (0.0000)
loadingflock_locks data ... ok (0.0000)
loadingposix_locks data ... ok (0.0000)
loadingchunkservers data ... ok (0.0000)
loadingchunks data ... ok (0.0603)
checkingfilesystem consistency ... ok
connectingfiles and chunks ... ok
allinodes: 2254
directoryinodes: 13
fileinodes: 2241
chunks:2241
metadatafile has been loaded
statsfile has been loaded
master<-> metaloggers module: listen on *:9419
master<-> chunkservers module: listen on *:9420
mainmaster server module: listen on *:9421
mfsmasterdaemon initialized properly
7) 安装监控(mfscgiserv)
MooseFS cgi server用于使用web端查看监控。安装如下:
# rpm –ivh moosefs-cgi-3.0.94-1.rhsysv.x86_64.rpm
# rpm –ivh moosefs-cgiserv-3.0.94-1.rhsysv.x86_64.rpm
注:
a) 如果装错,卸载(rpm -e --allmatches --nodeps moosefs-master-3.0.94-1.rhsysv.x86_64)
b) mfscgiserv安装位置:/usr/share/mfscgi
启动监控:#service moosefs-cgiserv start
查看监控:
cgi服务启动后通过URL查看:http://IP:9425/mfs.cgi。
如果提示没有配置DNS,则需要修改hosts文件:
# vim /etc/hosts
192.168.2.36 mfsmaster
192.168.2.37 mfsmetalogger
192.168.2.38 mfschunk01
192.168.2.39 mfschunk02
启动后监控页面显示:
4.2 MFS Metalogger安装
1) 安装mfs3.0新版本的Metalogger:
# yum install moosefs-metalogger
若无外网,则使用如下方法:
#rpm –ivh moosefs-metalogger-3.0.94-1.rhsysv.x86_64.rpm
2) 修改mfsmetalogger.cfg文件,配置master_host的IP:
# vim /etc/mfs/mfsmetalogger.cfg
注:mfametalogger必须修改MASTER_HOST为mfsmaster的IP(192.168.2.36),除非配置了hosts。
另外,注意各文件权限及属主:
# chown -R mfs:mfs /var/lib/mfs
# chown -R mfs:mfs /etc/mfs
3) 复制metadata.mfs文件到新目录:
注意!必须先停止mfsmetalogger服务后再复制出来!
#/usr/local/mfs/sbin/mfsmetalogger stop
# cp /usr/local/mfs-1.6.27/var/mfs/* /var/lib/mfs/
# chown -R mfs.mfs /var/lib/mfs
说明:这里的metadata可以从mfsmaster中直接复制过来。
4) 移除mfs旧版本:
# rm -rf /usr/local/mfs
# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmetalog
注:这个步骤主要是针对旧版本升级到新版本时才需要操作。
5) 移除mfs旧版本的启动配置:
注释掉/etc/profile 和/etc/rc.local 中关于MFS部分的内容,然后执行source使其生效:
#source /etc/profile
#source /etc/rc.local
6) 启动metalogger:
#mfsmetalogger start
启动日志:
[root@mfs-metalogmfs]# mfsmetalogger start
openfiles limit has been set to: 4096
workingdirectory:/var/lib/mfs
lockfilecreated and locked
initializingmfsmetalogger modules ...
mfsmetaloggerdaemon initialized properly
7) 启动后监控页面显示:
4.3 MFS ChunkServer安装
1) 安装mfs3.0新版本的ChunkServer:
#yum install moosefs-chunkserver
若无外网,则使用如下方法:
# rpm -ivh moosefs-chunkserver-3.0.94-1.rhsysv.x86_64.rpm
Preparing... ###########################################[100%]
packagemoosefs-chunkserver-3.0.94-1.rhsysv.x86_64 is already installed
2) 修改mfschunkserver.cfg文件,配置master_host的IP:
# vim /etc/mfs/mfschunkserver.cfg
注:必须修改MASTER_HOST为mfsmaster的IP(192.168.2.36),除非配置了hosts。
另外,注意各文件权限及属主:
# chown -R mfs:mfs /var/lib/mfs
# chown -R mfs:mfs /etc/mfs
3) 修改mfshdd.cfg文件,增加挂载点:/mnt/mfschunk
# vim /etc/mfs/mfshdd.cfg
注:增加或修改挂载点为:/mnt/mfschunk。并创建该挂载点目录及修改属主(mfs)。
同时,创建挂载点目录 :
# mkdir /mnt/mfschunk
# chown -R mfs:mfs /mnt/mfschunk
4) 移除mfs旧版本:
# rm -rf /usr/local/mfs
# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakchunk
5) 移除mfs旧版本的启动配置:
注释掉/etc/profile 和/etc/rc.local 中关于MFS部分的内容,然后执行source使其生效:
#source /etc/profile
#source /etc/rc.local
6) 启动chunkserver:
#mfschunkserver start
启动日志:
[root@mfs-chunk0*~]# mfschunkserver start
openfiles limit has been set to: 16384
workingdirectory: /var/lib/mfs
lockfilecreated and locked
settingglibc malloc arena max to 4
settingglibc malloc arena test to 4
initializingmfschunkserver modules ...
hddspace manager: path to scan: /mnt/mfschunk/
hddspace manager: start background hdd scanning (searching for available chunks)
mainserver module: listen on *:9422
nocharts data file - initializing empty charts
mfschunkserverdaemon initialized properly
7) 启动后监控页面显示:
Server标签
Disk标签:
4.4 Clients升级
1) 升级mfs3.0的clients:
#yum install moosefs-client
若无外网,则使用如下方法:
#rpm -ivh moosefs-client-3.0.94-1.rhsysv.x86_64.rpm
2) 移除mfs旧版本
#rm -rf /usr/local/mfs
#mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmount
3) 移除mfs旧版本的启动配置:
注释掉/etc/profile和 /etc/rc.local 中关于MFS部分的内容,然后执行source使其生效:
#source /etc/profile
#source /etc/rc.local
4) 启动mfsmount:
#mfsmount /mnt/mfsdata -H 192.168.2.36
启动日志:
#mfsmount /mnt/mfsdata -H 192.168.2.36
mfsmasteraccepted connection with parameters: read-write,restricted_ip,admin ; root mappedto root:root
启动后监控页面显示:
五、其他
所有的mfs服务都可以通过命令查看运行状态:
# tail -100f /var/log/message
可以通过web portal查看所有服务运行状态:
https://ip或域名:9425/mfs.cgi
MFS服务启动或关闭顺序:
1)启动顺序:
Matseràmetaloggeràchunkeràclient
2)关闭顺序:
clientàchunkàmetaloggeràmaster
另外,如果升级在同一台服务器上进行,则还需要将旧版本移除掉:
#rm -rf /usr/local/mfs
#mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmaster
另外,mfs旧版本的启动配置也需要移除:
注释或移除掉/etc/profile 和 /etc/rc.local 中关于MFS部分的内容,然后执行source使其生效。