MFS

最新推荐文章于 2022-07-12 12:20:03 发布
最新推荐文章于 2022-07-12 12:20:03 发布
阅读量662 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w20010106/article/details/87949478
版权

MFS分布式文件系统

文件系统:ext4、xfs、ext3

mooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类UNIX文件系统一样，包含了层级结构（目录树），存储着文件属性（权限、最后访问和修改时间），常见特殊的文件（块设备、字符设备、管道、套接字），符号链接，硬链接。

MooseFS[MFS]是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，但呈现给用户的则是一个统一的资源

当我们存储服务器的容量达到瓶颈之后，那我们就需要采用分布式的文件系统来扩大存储容量，类似与百度云的存储，也是采用分布式存储。

MFS特征：
1、层析结构（目录树）
2、存储文件属性（权限、访问和修改时间）
3、支持特殊文件（块设备，字符设备，管道）
4、符号链接，软硬链接
5、对文件系统访问可以通过IP地址或者密码进行访问限制
6、高可靠（数据的多个拷贝存储在不同的计算机上）
7、通过附加新的计算机或者硬盘可以实现容量的动态扩展
8、删除文件可以根据一个可配置的时间周期进行保留
9、不受访问和写入影响的文件连贯快照

应用场景：分布式文件系统的应用场景
1、大规模高并发的数据存储及访问（小文件，大文件）
2、大规模的数据处理，如日志分析

官方网站：https://moosefs.com

MFS分布式文件系统部署方案：
Moosefs是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色：
1、管理服务器 managing server（master）
负责各个数据存储服务器的管理，文件读写调度，文件空间回收以及恢复，多节点拷贝

2、元数据日志服务器 Metalogger Server（Metalogger）
负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在master server出问题的时候接替其进行工作。

3、数据存储服务器data servers（chunk servers）
听从管理服务器调度，提供存储空间，并为客户提供数据传输。真正存储用户数据的服务器。
存储文件时，首先把文件分出块，然后这些块在数据服务区chunk server之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。

4、客户机挂载使用client computers
客户端挂载远程mfs服务器共享出的存储并使用。
通过fuse内核接口挂载进程管理服务器上所管理的数据存储服务器共享出的硬盘。
共享的文件系统的用法和nfs相似。
使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂载MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了

分布式文件系统原理

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。就是把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合到一个文件夹内(虚拟共享文件夹)。对于用户来说,要访问这些共享文件夹时,只要打开这个虚拟共享文件夹,就可以看到所有链接到虚拟共享文件夹内的共享文件夹,用户感觉不到这些共享文件是分散于各个计算机上的。

分布式文件系统优势：
集中访问
简化操作
数据容灾
提高文件存取性能、在线扩容

MFS读取数据原理

1.客户端向元数据服务器发出读请求
2.元数据服务器把所需数据存放的位置(Chunk Servert的IP地址和Chunk编号)告知客户端
3.客户端向己知的Chunk Serve请求发送数据
4.Chunk Server向客户端发送数据

过程：
1.客户端向元数据服务器发送写请求
2.元数据服务器与Chunk Server进行交互(只有当所需的分块Chunks存在的时候才进行这个交互),但元数据服务器只在某些服务器创建新的分块Chunks,创建完告知元数据服务器操作成功
3.元数据服务器告知客户端,可以在哪个Chunk Server的哪些Chunks写入数据
4.客户端向指定的Chunk Server写入数据
5.该Chunk Serve与其他Chunk Serve进行数据同步，之后Chunk Server告知客户端数据写入成功
6.客户端告知元数据服务器本次写入完毕

端口号：
9420：MFS master和MFS chunk通信端口
9421：MFS master和MFS client端通信端口
9419：MFS master和MFS metalogger端通信端口
9422：MFS chunk和MFS client端通信端口
9425：MFS master web界面监听端口，查看整体运行状态

系统环境
主机 操作系统 ip地址 软件包
master centos7.4 192.168.80.100 mfs
metalogger centos7.4 192.168.80.101 mfs
chunk01 centos7.4 192.168.80.102 mfs
chunk02 centos7.4 192.168.80.103 mfs
chunk03 centos7.4 192.168.80.104 mfs
client centos7.4 192.168.80.105 mfs、fuse

一、搭建master server

1、安装相关编译器、工具包（所有服务器都得安装）

yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -y

2、创建进程用户

useradd   -s   /sbin/nologin   mfs

3、安装mfs软件包

unzip   moosefs-master.zip    -d /opt
 
cd  /opt/moosefs-master
 
./configure    --prefix=/usr/local/mfs  \
--with-default-user=mfs  \
--with-default-group=mfs

make && make install#编译及编译安装

4、修改相关文件信息

cd   /usr/local/mfs/etc/mfs

cp mfsexports.cfg.dist mfsexports.cfg #输出目录配置文件，定义挂载以及权限设定文件

cp mfsmaster.cfg. mfsmaster.cfg #主配置文件

cp mfstopology.cfg. mfstopology.cfg #元数据日志文件

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs #master元数据文件

5、详解主配置文件
cd /usr/local/mfs/etc/mfs/

vi mfsmaster.cfg #此文件中，有注释符号的就是默认配置

WORKING_USER = mfs #运行master服务的用户

WORKING_GROUP = mfs #运行master服务的组

SYSLOG_IDENT = mfsmaster #在syslog中表示是mfsmaster产生的日志，在syslog的标识，说明由master服务产生的

LOCK_MEMORY = 0 #是否执行mlockall(),避免master进程溢出(默认为0)

NICE_LEVEL = -19 #运行的优先级(如果可以，默认是-19；注意进程必须是root启动)

EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg #被挂载目录及其权限控制文件的存放位置

TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg

DATA_PATH = /usr/local/mfs/var/mfs #数据存放位置

BACK_LOGS = 50 #metadata改变的log文件数目(默认是50)

BACK_META_KEEP_PREVIOUS = 1

REPLICATIONS_DELAY_INIT = 300

REPLICATIONS_DELAY_DISCONNECT = 3600

MATOML_LISTEN_HOST = * #metalogger监听的IP地址(默认是*，代表任何IP)

MATOML_LISTEN_PORT = 9419 #metalogger监听的端口地址(默认是9419)

MATOML_LOG_PRESERVE_SECONDS = 600

MATOCS_LISTEN_HOST = * #用于chunkserver连接的IP地址(默认是*，代表任何IP)

MATOCS_LISTEN_PORT = 9420 #用于chunkserver连接的端口IP地址(默认是9420)

MATOCL_LISTEN_HOST = *

MATOCL_LISTEN_PORT = 9421

CHUNKS_LOOP_MAX_CPS = 100000

CHUNKS_LOOP_MIN_TIME = 300 #chunks的回环频率(默认是300秒)

CHUNKS_SOFT_DEL_LIMIT = 10

CHUNKS_HARD_DEL_LIMIT = 25

CHUNKS_WRITE_REP_LIMIT = 2 #在一个循环里复制到一个chunkserver的最大chunk数

CHUNKS_READ_REP_LIMIT = 10 #在一个循环里从一个chunkserver复制的最大chunk数

ACCEPTABLE_DIFFERENCE = 0.1

SESSION_SUSTAIN_TIME = 86400

REJECT_OLD_CLIENTS = 0

deprecated:

CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead

LOCK_FILE - lock system has been changed, and this option is used only to search for old lockfile

6、详解被挂载目录及权限配置文件

cd /usr/local/mfs/etc/mfs/



vi mfsexports.cfg

Allow everything but “meta”.

  •                   /       rw,alldirs,maproot=0

Allow “meta”.

  •                   .       rw

#详解
根据文件的显示，可以看出，该文件每一个条目分为三个部分
第一部分：客户端的IP地址
第二部分：被挂载的目录
第三部分：客户端拥有的权限

客户端的IP地址部分
*：代表所有的IP地址
192.168.100.71：代表单个IP地址
192.168.100.0/24：代表整个网段
192.168.100.71-192.168.100.100：代表指定网段

被挂载的目录部分
/：标识MFS根
.：标识MFSMETA文件系统

客户端拥有的权限部分
ro：代表只读模式
rw：代表读写方式共享
alldirs：允许挂载任何指定的子目录
admin：管理员权限
maproot：映射为root，还是指定的用户
Password：指定客户端的密码

7、授权、优化路径

chown  -R mfs.mfs /usr/local/mfs
ln -s /usr/local/mfs/sbin/* /usr/local/bin/

8、启动服务

mfsmaster start
netstat -anpt | grep 'mfs'

在这里插入图片描述

9、编辑启动脚本
方法一：

vi   /lib/systemd/system/mfs.service
 
[Unit]
Description=mfs
After=network.target
 
[Service]
Type=forking
ExecStart=/usr/local/mfs/sbin/mfsmaster start   #启动服务
ExecStop=/usr/local/mfs/sbin/mfsmaster stop    #关闭服务
PrivateTmp=true
 
[Install]
WantedBy=multi-user.target
 
systemctl enable mfs.service #服务开机自启动
systemctl stop mfs.service #关闭服务
systemctl start mfs.service #启动服务

方法二：
echo “/usr/local/mfs/sbin/mfsmaster start” >> /etc/rc.d/rc.local
chmod +x /etc/rc.local

在这里插入图片描述

二、搭建MetaLogger Server(元数据日志服务器)
1、安装相关编译器、工具包

yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -y

2、创建进程用户

useradd -s /sbin/nologin  -M mfs

3、安装mfs软件包

unzip``   moosefs-master.zip    -d /opt



cd  /opt/moosefs-master



./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \

make && make install

4、修改主配置文件
c

d /usr/local/mfs/etc/mfs/
 
cp mfsmaster.cfg.sample mfsmaster.cfg
cp mfsexports.cfg.sample mfsexports.cfg
cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
 
cd /usr/local/mfs/var/mfs
cp metadata.mfs.empty metadata.mfs
 
 
cd /usr/local/mfs/etc/mfs/
vi mfsmetalogger.cfg

修改以下内容:
MASTER_HOST = 192.168.80.100 执行master服务器的ip地址,去掉注释符号
META_DOWNLOAD_FREQ = 24 #备份频率时间

在这里插入图片描述

5、授权、优化路径

chown  -R mfs.mfs  /usr/local/mfs
ln -s /usr/local/mfs/sbin/* /usr/local/bin/

6、启动服务

mfsmetalogger start



netstat -anpt | grep  mfsmetalogger

在这里插入图片描述

echo "/usr/local/mfs/sbin/mfsmetalogger start" >> /etc/rc.local
chmod +x /etc/rc.local

三、搭建Chunk Server（三台Chunk Server主机搭建步骤相同）

安装数据服务器（chunkservers），这些机器的磁盘上要有适当的剩余空间，而且操作系统要遵循POSIX标准（验证了的有这些：Linux、FreeBSD、Mac OS X and OpenSolaris）。

chunkserver存储数据时，是在一个普通的文件系统如ext4上存储数据块或碎片（chunks/fragments）作为文件。你在chunkserver上看不到完整的文件。

1、安装相关编译器、工具包

yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -y

2、创建程序用户

useradd -s /sbin/nologin  -M mfs

3、安装mfs软件包

unzip   moosefs-master.zip    -d /opt
 
cd  /opt/moosefs-master
 
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
 
make && make install

4、修改相应配置文件

cd /usr/local/mfs/etc/mfs/
 
cp mfschunkserver.cfg.sample mfschunkserver.cfg
cp mfshdd.cfg.sample mfshdd.cfg
 
vi mfschunkserver.cfg

修改以下内容：

在这里插入图片描述
MASTER_HOST = 192.168.80.100 指向master服务器的ip地址,去掉注释符号
MASTER_PORT = 9420

vi mfshdd.cfg
添加一行：
/data 这是一个给MFS的分区，生产环境中最好使用独立的分区，或者磁盘挂载到此目录下

在这里插入图片描述

5、创建MFS分区目录

mkdir /data
 
chown -R mfs:mfs /data/

6、授权、优化路径

chown -R mfs.mfs /usr/local/mfs
ln -s /usr/local/mfs/sbin/* /usr/local/bin/

7、启动服务

mfschunkserver start

在这里插入图片描述

四、配置客户端

1、安装相关编译器、工具包

yum  install gcc gcc-c++ make   zlib-devel  fuse-devel -y

4、创建进程用户

useradd -s /sbin/nologin  -M mfs

5、安装mfs软件包

unzip   moosefs-master.zip    -d /opt
 
cd  /opt/moosefs-master



./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--enable-mfsmount
 

make && make install
 
ln -s  /usr/lcoal/mfs/bin/* /usr/local/bin

6、挂载MFS文件系统

mkdir /opt/mfs #创建挂载点

modprobe fuse #加载fuse模块到内核

mfsmount /opt/mfs/ -H 192.168.80.100 #挂载MFS

df -h #查看挂载情况

在这里插入图片描述
cd /opt/moosefs-master

echo “modprobe fuse” >> /etc/rc.local
echo “/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.80.100” >> /etc/rc.local

在chunkserver上查看：
tree /data

7、在master上开启web监控服务
mfscgiserv start

8、访问MFS监控工具
http://192.168.80.100:9425 #client端访问web

在这里插入图片描述

whx0608
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mfs-1.6.20-2源代码
08-12
需要了解Moosefs的具体实现，相关的设计文档是没有的，只能去看源代码。下载了最新的MooseFS（mfs-1.6.20-2）的源代码，仔细看了下，源代码里面的注释非常少。 上网搜了一下相关的评论，曰：MooseFS的代码注释率大大低于一般的开源软件。
mfs-1.6.27-5.tar.gz
05-21
《mfs：轻量级文件系统与mfs-1.6.27-5.tar.gz详解》 在信息技术领域，文件系统（File System）扮演着至关重要的角色，它负责管理和组织计算机上的数据存储，使用户能够高效地访问和管理文件。mfs（Memory File ...
mfs安装源码编译
weixin_34192732的博客
02-26 423
https://pan.baidu.com/s/1RY1emqQHM-Mq3nq1NP5PUw //软件百度网盘连接 MFS分布式文件系统文件系统:ext4、xfs、ext3 mooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类UNIX文件系统一样，包含了层级结构（目录树），存储着文件属性（权限、最后访...
MFS源码编译安装配置
qq_35734972的博客
02-27 946
https://pan.baidu.com/s/1-qeGCqjg40fz5NywL32pxA //安装包链接 首先准备四台虚拟机 分别是 192.168.80.110 搭建master server 192.168.80.111 :元数据日志服务器 192.168.80.112 数据服务器（chunkservers） 192.168.80.115 客户端 步骤: 一、搭建...
分布式文件系统mfs（moosefs）搭建与配置
weixin_33905756的博客
01-14 160
一 MFS介绍：Distinctive features of MooseFS are:MooseFS优越特性如下：- higher reliability (data can be stored in several copies on separate computers)高可用性(数据可以存储在多个机器上的多个副本)- dynamically expanding d...
mfs端口
weixin_33785972的博客
06-16 450
为什么80%的码农都做不了架构师？>>> ...
MFS部署脚本及MFS部署包
最新发布
12-06
**MFS部署脚本及MFS部署包详解** MFS，全称为 Modular File System，是一种模块化的文件系统，常用于分布式存储环境中。它允许用户在不同的硬件和软件平台上灵活地组织和管理数据。MFS部署脚本和MFS部署包是实现MFS...
mfs.rar_libmfs_mfs
09-14
**mfs.rar_libmfs_mfs** 本文将详细介绍“mfs.rar_libmfs_mfs”这一文件系统，它是一个轻量级、可移植的文件系统，完全由C语言编写，适用于多种不同的硬件和软件平台。这个名为“mfs”的文件系统设计目标是提供基本...
mfs安装教程
08-03
这是对于mfs安装的一篇文档，它能帮助你很快的搭建好mfs分布式储存管理系统
mfs源码分析，学习笔记
mwx1234的专栏
08-29 1505
MFS架构 mfsmout向master获取chunk信息，向mfschunkserver发出读写数据的命令，chunkserver是磁盘IO的执行者。mfsmount是用户发出IO请求的命令接收者，master是mfs所有chunk和node信息的维护者。mfsmount：本地文件系统代理，挂接FUSE，监听文件系统IO。mfschunckserver：本地数据代理，数据节点间的数
MFS启动及停止
guo_yang的博客
05-02 1087
启动MooseFs 1. 启动mfsmaster 2. 启动chunkserver 3. 启动mfsmetalogger 4. 挂载客户端 停止 MooseFS为了安全停止MooseFS 集群，建议执行如下的步骤:1. 在所有客户端用Unmount 命令先卸载文件系统(本例将是: umount /mnt/mfs)2.停止chunk server 进程: /usr/sbin/mfsch...
mfs挂载
aokedlpxv22775032的博客
11-15 263
安装客户端，客户端安装见官网 记住mfs需要dns或者修改hosts文件，实现主机名和ip对应 在mfsmaster修改mfsexports.cfg 修改挂载参数，根须需要 10.0.67.0/24 /imges-compress rw,alldirs,admin,maproot=1000:1000 在客户端挂载： mfsmount mfsmaster:9421...
MFS部署
weixin_30716141的博客
09-21 116
MFS部署 部署环境：RHEL6.1 mfs版本：mfs-1.6.17.tar.gz 官网地址：www.moosefs.org 官网最新版本为v1.6.26 说明：实验过程元数据服务器和元日志服务器在一台机器即Master管理服务器上，在生产环境中建议元数据服务器和元日志服务器分开，这样安全性相对会高 IP部署 ------------------------------...
mfs的使用
淼祺的博客
07-12 854
mfs
MFS分布式文件系统服务搭建
weixin_33806300的博客
07-26 144
分布式原理 通过计算机网络与节点相连，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。 分布式文件系统的好处是集中访问、简化操作、数据容灾以及提高文件的存取性能。 MFS原理 元数据服务器（master）：在整个体系中负责管理文件系统，维护元数据。 元数据日志服务器（metalogger）：备份master服务器的变化日志文件，文件类型为cha...
MFS主服务器启动失败
qq_42819081的博客
09-30 753
[root@bogon mfs]# /usr/local/mfs/sbin/mfsmaster start working directory: /usr/local/mfs/var/mfs lockfile created and locked initializing mfsmaster modules … loading sessions … ok sessions file has bee...
mfs客户端挂载
aokedlpxv22775032的博客
06-21 366
1.安装fuse yum install fuse fuse-devel 2.加载fuse模块 modprobe fuse 3.创建mfs用户 useradd mfs -s /sbin/nologin 4.下载mfs客户端源码包，对应mfs集群版本 解压编译 ./configure --prefix=/opt/app/mfs --with-default-user=mfs...
MFS文件系统详解及安装指南
"MFS文件系统使用手册，PDF版本的，包含MFS的介绍、结构、安装配置以及元数据服务的详细说明。" MFS（ MooseFS）是一种分布式文件系统，设计用于在网络环境中提供高可用性、可扩展性和容错性。它将文件分布在多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值