MooseFS3.0分布式文件系统安装升级

最新推荐文章于 2024-08-07 10:03:20 发布
最新推荐文章于 2024-08-07 10:03:20 发布
阅读量370 收藏
点赞数
分类专栏： MooseFS 文章标签： MooseFS

本文主要讲解如何安装MooseFS 3.0.x版本或者如何从v1.6.27版本升级到v3.0.94。

一、服务器配置

  序号  

服务名

IP地址

    备注    

1

 mfsmaster

192.168.2.36

 

2

 mfsmetalogger

192.168.2.37

 

3

 chunkservers01    

    192.168.2.38     

 

4

 chunkservers02

192.168.2.39

 

5

 mfsmount

192.168.2.16

 

6

 mfsmount

 192.168.2.20  


二、备份文件

重点备份以下文件：

a) 配置文件目录中所有*.cfg文件；

b) metadata数据文件目录中的metadata.mfs文件；

说明：

1）v1.6.27版本配置文件位于：$MFS_HOME/etc/mfs/；v2.0版本以上配置文件位于：/etc/mfs/

2）v1.6.27版本metadata.mfs文件位于：$MFS_HOME/var/mfs/; v2.0版本以上metadata.mfs文件位于：/var/llib/mfs/

* 一定注意，备份文件的时候，必须关闭了所有MFS服务再进行备份操作，否则找不到metadata.mfs文件。

三、前置条件

1)  下载YUM的key认证文件

# curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

2)  下载YUM的repo配置文件，这里为EL6(对应CentOS6.*)：

# curl "http://ppa.moosefs.com/MooseFS-3-el6.repo" > /etc/yum.repos.d/MooseFS.repo

# 其他版本系统参考：https://moosefs.com/download/centosfedorarhel.html

3)  更新repo配置(可选)

#yum update

4)  配置hosts（可选，在所有mfs server上配置）

# vim /etc/hosts

192.168.2.36   mfsmaster

192.168.2.37   mfsmetalogger

192.168.2.38   mfschunk01

192.168.2.39   mfschunk02

5)  防火墙配置

重要！！！所有MFS服务器中，均需要开放防火墙访问权限。

6） 添加mfs用户

#useradd -s /sbin/nologin mfs

如果服务器是内网环境，无法访问外网，则需要自行下载rpm文件并上传到需要安装或升级的服务器。

1)  复制安装文件

复制rpm文件到各服务器：

#scp  -r /home/username/mfs3.0.94 username@{IP}:/home/username/

注：Rpm文件可以从http://ppa.moosefs.com/MooseFS-2-el6.repo中获取。

可以连外网的服务器还是建议yum安装方式，具体参见官方文档。

2)  添加mfs用户

#useradd -s /sbin/nologin mfs

3)  安装RPM的KEY

#cp /home/username/mfs3.0.94/RPM-GPG-KEY-MooseFS /etc/pki/rpm-gpg/

rpm --import /etc/pki/rpm-gpg/RPM*

4)  安装依赖库

#yum install libpcap libpcap-devel –y

其他部分与前面配置相同。记得，一定要把前置配置工作做好，检查仔细，否则影响后续的安装。

四、安装或升级安装MFS

4.1 MFSMaster安装

1)  安装mfsmaster：

# yum install moosefs-master moosefs-cli moosefs-cgi moosefs-cgiserv

若无外网，则使用如下方法：

[root@mfsmastermfs3.0.94]# rpm -ivh moosefs-master-3.0.94-1.rhsysv.x86_64.rpm

Preparing...               ########################################### [100%]

   1:moosefs-master        ########################################### [100%]

2)  确认配置文件

在 /etc/mfs 下生成了相关的配置文件（mfsexports.cfg、mfsmaster.cfg 等） 

以下配置文件均采用默认值，不做修改：

mfsmaster.cfg          不需要修改

mfsexports.cfg         不需要修改

mfstopology.cfg       不需要修改

 

3)  更改权限

#chown -R mfs:mfs /var/lib/mfs 

#chown -R mfs:mfs /etc/mfs

4)  复制metadata.mfs文件到新目录：

注意！必须先停止mfsmaster服务后再复制出来！如果在不同主机迁移，需要使用scp命令

#/usr/local/mfs/sbin/mfsmasterstop

#cp /usr/local/mfs-1.6.27/var/mfs/metadata.mfs /var/lib/mfs

#chown -R mfs.mfs /var/lib/mfs

5)  移除mfs旧版本:

# rm -rf/usr/local/mfs

# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmaster

 

6)  启动mfsmaster

#mfsmaster start

启动日志：

[root@mfsmastermfs3.0.94]# mfsmaster start

openfiles limit has been set to: 16384

working directory: /var/lib/mfs            注意这里的目录是否正确，如果还是旧版本的目录则不正确。

lockfilecreated and locked

initializingmfsmaster modules ...

exportsfile has been loaded

topologyfile has been loaded

loadingmetadata ...

loadingsessions data ... ok (0.0000)

loadingstorage classes data ... ok (0.0000)

loadingobjects (files,directories,etc.) ... ok (0.0613)

loadingnames ... ok (0.0619)

loadingdeletion timestamps ... ok (0.0000)

loadingquota definitions ... ok (0.0000)

loadingxattr data ... ok (0.0000)

loadingposix_acl data ... ok (0.0000)

loadingopen files data ... ok (0.0000)

loadingflock_locks data ... ok (0.0000)

loadingposix_locks data ... ok (0.0000)

loadingchunkservers data ... ok (0.0000)

loadingchunks data ... ok (0.0603)

checkingfilesystem consistency ... ok

connectingfiles and chunks ... ok

allinodes: 2254

directoryinodes: 13

fileinodes: 2241

chunks:2241

metadatafile has been loaded

statsfile has been loaded

master<-> metaloggers module: listen on *:9419

master<-> chunkservers module: listen on *:9420

mainmaster server module: listen on *:9421

mfsmasterdaemon initialized properly

 

7)   安装监控(mfscgiserv) 

MooseFS cgi server用于使用web端查看监控。安装如下：

# rpm –ivh moosefs-cgi-3.0.94-1.rhsysv.x86_64.rpm 

# rpm –ivh moosefs-cgiserv-3.0.94-1.rhsysv.x86_64.rpm 

注： 

      a) 如果装错，卸载(rpm -e --allmatches --nodeps moosefs-master-3.0.94-1.rhsysv.x86_64)

b) mfscgiserv安装位置：/usr/share/mfscgi

 

启动监控：#service moosefs-cgiserv start

查看监控：

       cgi服务启动后通过URL查看：http://IP:9425/mfs.cgi。

 

如果提示没有配置DNS，则需要修改hosts文件：

# vim /etc/hosts

192.168.2.36   mfsmaster

192.168.2.37   mfsmetalogger

192.168.2.38   mfschunk01

192.168.2.39   mfschunk02

启动后监控页面显示：


4.2 MFS Metalogger安装

1)  安装mfs3.0新版本的Metalogger：

# yum install moosefs-metalogger

若无外网，则使用如下方法：

#rpm –ivh moosefs-metalogger-3.0.94-1.rhsysv.x86_64.rpm

 

2)  修改mfsmetalogger.cfg文件，配置master_host的IP：

# vim /etc/mfs/mfsmetalogger.cfg

注：mfametalogger必须修改MASTER_HOST为mfsmaster的IP（10.51.37.183），除非配置了hosts。

另外，注意各文件权限及属主：

# chown -R mfs:mfs /var/lib/mfs 

# chown -R mfs:mfs /etc/mfs

3)  复制metadata.mfs文件到新目录：

注意！必须先停止mfsmetalogger服务后再复制出来！

#/usr/local/mfs/sbin/mfsmetalogger stop

# cp /usr/local/mfs-1.6.27/var/mfs/* /var/lib/mfs/

# chown -R mfs.mfs /var/lib/mfs

说明：这里的metadata可以从mfsmaster中直接复制过来。

 

4) 移除mfs旧版本：

# rm -rf /usr/local/mfs

# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmetalog

注：这个步骤主要是针对旧版本升级到新版本时才需要操作。

5) 移除mfs旧版本的启动配置:

注释掉/etc/profile 和/etc/rc.local 中关于MFS部分的内容，然后执行source使其生效：

#source /etc/profile

#source /etc/rc.local

6) 启动metalogger：

#mfsmetalogger start

启动日志：

[root@mfs-metalogmfs]# mfsmetalogger start

openfiles limit has been set to: 4096

workingdirectory:/var/lib/mfs

lockfilecreated and locked

initializingmfsmetalogger modules ...

mfsmetaloggerdaemon initialized properly

7)  启动后监控页面显示：


4.3 MFS ChunkServer安装

1) 安装mfs3.0新版本的ChunkServer：

#yum install moosefs-chunkserver

若无外网，则使用如下方法：

# rpm -ivh moosefs-chunkserver-3.0.94-1.rhsysv.x86_64.rpm

Preparing...          ###########################################[100%]

       packagemoosefs-chunkserver-3.0.94-1.rhsysv.x86_64 is already installed

 

2)  修改mfschunkserver.cfg文件，配置master_host的IP：

# vim /etc/mfs/mfschunkserver.cfg

注：必须修改MASTER_HOST为mfsmaster的IP（10.51.37.183），除非配置了hosts。

另外，注意各文件权限及属主：

# chown -R mfs:mfs /var/lib/mfs 

# chown -R mfs:mfs /etc/mfs

3) 修改mfshdd.cfg文件，增加挂载点：/mnt/mfschunk

# vim /etc/mfs/mfshdd.cfg

注：增加或修改挂载点为：/mnt/mfschunk。并创建该挂载点目录及修改属主（mfs）。

同时，创建挂载点目录 ：

# mkdir /mnt/mfschunk

# chown -R mfs:mfs /mnt/mfschunk 

4) 移除mfs旧版本：

# rm -rf /usr/local/mfs

# mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakchunk

5) 移除mfs旧版本的启动配置:

注释掉/etc/profile 和/etc/rc.local 中关于MFS部分的内容，然后执行source使其生效：

#source /etc/profile

#source /etc/rc.local

 

6) 启动chunkserver：

#mfschunkserver start

启动日志：

[root@mfs-chunk0*~]# mfschunkserver start

openfiles limit has been set to: 16384

workingdirectory: /var/lib/mfs

lockfilecreated and locked

settingglibc malloc arena max to 4

settingglibc malloc arena test to 4

initializingmfschunkserver modules ...

hddspace manager: path to scan: /mnt/mfschunk/

hddspace manager: start background hdd scanning (searching for available chunks)

mainserver module: listen on *:9422

nocharts data file - initializing empty charts

mfschunkserverdaemon initialized properly

7)  启动后监控页面显示：

Server标签


Disk标签：


4.4 Clients升级

1)  升级mfs3.0的clients：

#yum install moosefs-client

若无外网，则使用如下方法：

#rpm -ivh moosefs-client-3.0.94-1.rhsysv.x86_64.rpm

2) 移除mfs旧版本

#rm -rf /usr/local/mfs

#mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmount

3) 移除mfs旧版本的启动配置:

注释掉/etc/profile和 /etc/rc.local 中关于MFS部分的内容，然后执行source使其生效：

#source /etc/profile

#source /etc/rc.local

 

4)  启动mfsmount：

#mfsmount /mnt/mfsdata -H 192.168.2.36

启动日志：

#mfsmount /mnt/mfsdata -H 192.168.2.36

mfsmasteraccepted connection with parameters: read-write,restricted_ip,admin ; root mappedto root:root

 

启动后监控页面显示：


五、其他

所有的mfs服务都可以通过命令查看运行状态：

# tail -100f /var/log/message

 

可以通过web portal查看所有服务运行状态：

https://ip或域名:9425/mfs.cgi

        

MFS服务启动或关闭顺序：

1）启动顺序：

      Matseràmetaloggeràchunkeràclient

2）关闭顺序：

     clientàchunkàmetaloggeràmaster


另外，如果升级在同一台服务器上进行，则还需要将旧版本移除掉：

#rm -rf /usr/local/mfs

#mv /usr/local/mfs-1.6.27 /usr/local/mfs-1.6.27_bakmaster

另外，mfs旧版本的启动配置也需要移除：

注释或移除掉/etc/profile 和 /etc/rc.local 中关于MFS部分的内容，然后执行source使其生效。

--------------------- 
作者：我晕死哦 
来源：CSDN 
原文：https://blog.csdn.net/faye0412/article/details/75451963 
版权声明：本文为博主原创文章，转载请附上博文链接！

qin_weilong
关注
专栏目录
MooseFs 3.X 安装（Centos7）
zhaishujie的博客
08-23 1035
参考官方文档：https://moosefs.com/download/#older 环境： IP hostname 系统 192.168.3.23 node3 Centos7.2 192.168.3.24 node4 Centos7.2 192.168.3.25 node5 Centos7.2 节点分布：   Maste...
MooseFS3.0分布式文件系统安装升级手记【安装升级03】
阿飞的专栏
07-19 3824
本文主要讲解如何安装MooseFS 3.0.x版本或者如何从v1.6.27版本升级到v3.0.94。
MooseFS3.0分布式文件系统安装升级手记【开篇01】
阿飞的专栏
07-16 974
一直以来都想写一系列关于MooseFS分布式文件系统的文章，但是这几年被开发和业务缠身（本质：懒），上周把线上环境的系统做了全面的升级（服务器迁移、MFS版本升级），过程非常的顺利，在这里分享给同行，希望使用MFS的朋友少走点弯路。 本系列文章重点内容如下： 1）MFS服务器迁移； 2）MFS版本升级（v1.6.27-->v3.0.94） 3）MFS3.0版本安装手册
moosefs升级到1.6.27版本
weixin_33714884的博客
01-02 134
公司用的低版本的moosefs在使用的过程中，有时候会碰到如下情况：正常读取存储文件时，发生存储硬盘失去挂载的情况，但是监控平台却是正常的，为了解决该问题，建议升级软件到最新版本，大概过程如下。准备文件：mfs-1.6.27-1.tar.gz （在我的资料中有下载）上传安装文件后，先修改文件名然后再解压：mv mfs-1.6.27-1.tar.gzmfs-1.6.27.t...
MooseFS3.0分布式文件系统安装升级手记【迁移02】
阿飞的专栏
07-17 1398
在实际运营中，可能会面对不同的问题和情况，比如MFS（Master、Chunk及Client）服务器迁移、MFS ChunkServer维护关停等，本文重点说明MooseFS是如何应对这些情况及如何完成相应的操作。
Changes in MooseFS 3.0
fei的专栏
08-24 2573
链接：https://moosefs.com/documentation/changes-in-moosefs-3-0.html Changes in MooseFS 3.0 This page lists noteworthy changes in MooseFS 3.0: MooseFS 3.0.81-1 (2016-07-25) (mount) fixed o
MFS(moosefs)分布式文件系统最简单的搭建
01-07
MooseFS(即Moose File System，简称MFS)是一个具有容错性的网络分布式文件系统，它将数据分散存放在多个物理服务器或单独磁盘或分区上，确保一份数据 有多个备份副本，对于访问MFS的客户端或者用户来说，整个分布式...
mfs（moosefs）分布式文件系统安装手册
08-23
**mfs（MooseFS）分布式文件系统安装手册** MooseFS，简称mfs，是一种高性能、可伸缩、容错性强的分布式文件系统。它将数据分散存储在多个服务器上，提供高可用性和可扩展性，适用于大数据处理、云计算环境以及需要...
MooseFS分布式文件系统源码分析
02-24
MooseFS，简称MFS，是一款高性能、可扩展的分布式文件系统，被广泛应用于大数据处理、云计算环境以及大规模存储需求的场景。通过深入分析MooseFS的源代码，我们可以了解到其内部工作原理，这对于理解分布式文件系统...
MooseFS网络分布式文件系统用户手册
11-17
MooseFS是一种网络分布式文件系统，用户可以通过本手册了解如何安装部署和使用MooseFS 3.0版本。用户手册提供了系统架构、工作原理、容错性、平台兼容性等基础知识点，同时提供了对MooseFS系统硬件要求的详细说明，...
MooseFS 3.0.101 分布式文件系统压缩包发布
资源摘要信息:"MooseFS是一个开源的分布式文件系统，版本号为3.0.101。该版本的文件包为tar.gz格式。在描述部分，未提供额外的详细信息，但根据标签中的信息，我们可以推断出MooseFS具备分布式存储系统的特性，并且...
moosefs安装使用手册
04-07
moosefs中文安装使用文档,些为分布式文件存储解决方案
moosefs分布式文件系统_moosefs 2024，2024年最新全网疯传
2401_83973995的博客
04-18 359
root@server1 ~]# systemctl start moosefs-master # 开启服务。[root@server2 ~]# fdisk -l #这里我加入了10g的vdb。这里注意需要把gpg检测关掉。
MooseFS3.0分布式文件系统安装
weixin_33811539的博客
05-09 154
为什么80%的码农都做不了架构师？>>> ...
mooseFS3.0+安装部署
qq_27699835的博客
09-26 1008
MFS3.0+安装部署 角色分配      10.119.119.141      mfsmaster      10.119.119.142       mfsmetalogger      10.119.119.143       mfschunkserver      10.119.119.144       mfsclient 一．mfsmaster安装 1.安装包拷贝到/o...
如何搭建MFS分布式文件系统
weixin_43546282的博客
11-06 319
1什么是分布式文件系统？ 是一个具有容错性的网络分布式文件系统，它将数据分散存放在多个物理服务器或单独磁盘或分区上，确保一份数据 有多个备份副本，对于访问MFS的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样，也就是说呈现给用户的是一个统一的资源。 2.MooseFS的特性？ 高可靠性 高可扩展性 高可容错性 高数据一致性 通用文件系统 可以在线扩容 部署简单 提...
MooseFS高可用部署
博客
10-21 1441
MFS高可用部署
moosefs安装
热门推荐
liaoyuanzi的专栏
01-07 2万+
在服务器较多，且服务器上硬盘剩余空间较大的情况下。为了更充分的利用资源，我们可以使用分布式的文件系统将这些空间整合起来。而在众多的分布的文件系统中，笔者经过反正的比较和尝试最终选择了moosefs(以下简称mfs). 为什么选择mfs而不是其它的什么系统呢？     1.安装简单方便(易用性)。这点是其它系统所不及的。你只需要像安装普通的服务那样安装mfs,不需要修改内核！     2.扩容
MooseFS 分布式文件系统安装与使用指南
最新发布
gitblog_00351的博客
08-07 398
MooseFS 分布式文件系统安装与使用指南 moosefsMooseFS - 这是一个分布式文件系统，用于在多个服务器上存储和管理数据。适用于大规模数据存储、分布式计算、备份等场景。特点包括高可用性、数据冗余、易于使用。项目地址:https://gitcode.com/gh_mirrors/mo/moosefs 1. 项目介绍 MooseFS 是一个分布式文件系统，设计用于在多个物理服务器上分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值