MFS文件系统

最新推荐文章于 2023-11-21 20:17:16 发布
最新推荐文章于 2023-11-21 20:17:16 发布
阅读量743 收藏
点赞数
分类专栏： 分布式存储之MFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44729743/article/details/101034708
版权

文章目录

1. MFS概述

  • 角色功能分布
    在这里插入图片描述
  • 工作原理
    读
    在这里插入图片描述
    写
    在这里插入图片描述
    原始的读/写速度很明显是主要取决于所使用的硬盘的性能、网络的容量和拓扑结构的，使用的硬 盘和网络的吞吐量越好，整个系统的性能也就会越好。

2. 环境部署

  • 先搭建单机版文件系统，测试性能
  • master、metalogger与chunkerser部署到同一台机器，client部署到另一台机器，启动并可以访问可视化监控页面。
  • 将一份大于100G的数据进行mfs文件系统的write与read，并记录其性能参数（如：读写速度、cpu消耗、内存等）

2.1 准备工作

  • 机器信息（操作系统均为centos7.6）：

    ip角色
    172.20.117.34master、metalogger、chunkserver
    172.20.117.15client

  • 安装方式
    可以采用源码包编译安装，也可以使用yum仓库进行安装，本次测试是采用yum进行安装，点击查看安装文档

2.2 安装

根据官网文档，安装很简单…

Add the key:
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

Add an appropriate repository entry:
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

# mfsmaster安装，web-gui也在master上安装
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

# mfschunkserver安装
yum install moosefs-chunkserver

# mfsmetalogger安装
yum install moosefs-metalogger

# client客户端安装
yum install moosefs-client

2.3 配置

  • mfsmaster修改配置
[root@localhost ~]# grep -v '^#' /etc/mfs/mfsmaster.cfg |grep -v '^$'
#运行master server 的用户
WORKING_USER = mfs
#运行master server 的组
WORKING_GROUP = mfs
#master server 在syslog 中的标识，说明是由master serve 产生的
SYSLOG_IDENT = mfsmaster
#数据存放路径
DATA_PATH = /var/lib/mfs
#被挂接目录及其权限控制文件的存放位置
EXPORTS_FILENAME = /etc/mfs/mfsexports.cfg


[root@localhost ~]# grep -v '^#' /etc/mfs/mfsexports.cfg|grep -v '^$'
#客户端IP        允许挂载的目录          客户端拥有的权限
*			/	rw,alldirs,admin,maproot=0:0
*			.	rw
=============================解释一下======================================
IP格式			说明
*			所有的ip 地址
n.n.n.n			单个ip 地址
n.n.n.n/b			IP 网络地址/位数掩码
n.n.n.n/m.m.m.m			IP 网络地址/子网掩码
f.f.f.f-t.t.t.t			IP 段
===============================解释一下====================================
权限			说明
ro			只读模式
rw			读写模式
alldirs		许挂载任何指定的子目录
maproot		映射为root，还是指定的用户
password	指定客户端密码
  • metalogger修改配置
[root@localhost ~]# grep -v '^#' /etc/mfs/mfsmetalogger.cfg|grep -v '^$'
WORKING_USER = mfs
SYSLOG_IDENT = mfsmetalogger
#数据目录，存放日志数据
DATA_PATH = /var/lib/mfs
BIND_HOST = 172.20.117.34
#做单机 ,MASTER_HOST 不能为localhost或127.0.0.1
MASTER_HOST = 172.20.117.34
#master对外监听的端口
MASTER_PORT = 9420
#元数据备份文件下载请求频率。\
默认为24小时，即每隔一天从元数据服务器(MASTER)下载一个metadata.mfs.back 文件。\
当元数据服务器关闭或者出故障时，matedata.mfs.back 文件将消失，那么要恢复整个mfs,则需从metalogger 服务器取得该文件。\
请特别注意这个文件，它与日志文件一起，才能够恢复整个被损坏的分布式文件系统。
META_DOWNLOAD_FREQ = 24
  • chunkserver修改配置
[root@localhost ~]# grep -v '^#' /etc/mfs/mfsmetalogger.cfg|grep -v '^$'
WORKING_USER = mfs
SYSLOG_IDENT = mfsmetalogger
DATA_PATH = /var/lib/mfs
BIND_HOST = 172.20.117.34
#元数据服务器的名称或地址，可以是主机名，也可以是ip地址(做单机 ,MASTER_HOST 不能为localhost或127.0.0.1)
MASTER_HOST = 172.20.117.34
#为Matser中 MATOCS_LISTEN_PORT指定的端口
MASTER_PORT = 9420
[root@localhost ~]# vim /etc/mfs/mfschunkserver.cfg
[root@localhost ~]# grep -v '^#' /etc/mfs/mfschunkserver.cfg|grep -v '^$'
WORKING_USER = mfs
WORKING_GROUP = mfs
#数据存储服务器标识
SYSLOG_IDENT = mfschunkserver
DATA_PATH = /var/lib/mfs
#分配给MFS 使用的磁盘空间配置文件的位置
HDD_CONF_FILENAME = /etc/mfs/mfshdd.cfg
MASTER_HOST = mfsmaster
MASTER_PORT = 9420
这个监听端口用于与其它数据存储服务器间的连接，通常是数据复制
CSSERV_LISTEN_PORT = 9422

#/data 是一个给mfs 的分区，最好是一个单独的硬盘或者一个raid 卷，最低要求是一个分区，本机是将一块磁盘挂接给/data1目录，作为数据存储。
[root@localhost ~]# grep -v '^#' /etc/mfs/mfshdd.cfg|grep -v '^$'
/data1
#没有这一操作，会出现写权限问题，因进程是用mfs运行的。
chown -R mfs:mfs /data1

2.4 启动&停止服务

服务启动顺序依次为：master、metalogger、chunkserver
服务停止顺序依次为：chunkserver（一定要先卸载客户端挂载）、metalogger、master

#启动
[root@MiWiFi-R4CM-srv ~]# mfsmaster start
#如果报错：
can't find metadata.mfs - try using option '-a'
init: metadata manager failed !!!
error occurred during initialization - exiting
解决：[root@MiWiFi-R4CM-srv ~]# mfsmaster -a

[root@MiWiFi-R4CM-srv ~]# mfsmetalogger start

[root@MiWiFi-R4CM-srv ~]# mfschunkserver start
#如果报错：hdd space manager: can't create lock file '/data1/.lock': EACCES (Permission denied)
#解决：数据目录权限有误，chmod 755 /data1 ; chown -R mfs.mfs /data1
#停止服务时，按顺序进行，mfs** stop即可

2.5 客户端挂载

#配置yum源
[root@MiWiFi-R4CM-srv ~]# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  1796  100  1796    0     0   1624      0  0:00:01  0:00:01 --:--:--  1625
[root@MiWiFi-R4CM-srv ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   169  100   169    0     0    343      0 --:--:-- --:--:-- --:--:--   343
#yum下载客户端程序
yum install moosefs-client
#客户端/etc/hosts配置mfsmaster 192.168.31.207解析
#挂在mfs文件系统，记得先ping mfsmaster一下看通不通
[root@MiWiFi-R4CM-srv ~]# mfsmount -H mfsmaster /mfsdata/
mfsmaster accepted connection with parameters: read-write,restricted_ip,admin ; root mapped to root:root
[root@MiWiFi-R4CM-srv ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
#显示已经挂载
mfsmaster:9421            28G  302M   28G   2% /mfsdata

2.6 mfs监控

地址：http://192.168.31.207:9425
在这里插入图片描述

3. MFS的性能测试

说明：测试本地磁盘以及mfs文件系统的io以及iops，并且测试，进行文件读写时的cpu内存使用率
关于iostat、vmstat请戳：

  • MFS文件系统的性能测试（测试前一定要检查磁盘容量，否则很容易撑爆磁盘）

    测试项命令数据
    大块文件写dd if=/dev/zero of=/mfsdata/10G.img bs=1M count=9000 oflag=direct26.6 MB/s

    [root@MiWiFi-R4CM-srv ~]# dd if=/dev/zero of=/mfsdata/10G.img bs=1M count=9000 oflag=direct
    9000+0 records in
    9000+0 records out
    9437184000 bytes (9.4 GB) copied, 355.118 s, 26.6 MB/s

    测试项命令数据
    大块文件读dd of=/dev/null if=/mfsdata/10G.img bs=1M count=9000 iflag=direct36.3 MB/s

    [root@MiWiFi-R4CM-srv ~]# dd of=/dev/null if=/mfsdata/10G.img bs=1M count=9000 iflag=direct
    9000+0 records in
    9000+0 records out
    9437184000 bytes (9.4 GB) copied, 260.053 s, 36.3 MB/s

    测试项命令数据
    4k小文件随机读（需要安装fio软件包）fio read4kiops:4148
    [root@MiWiFi-R4CM-srv test]# cat read4k 
[global]
randrepeat=1
filename=/dev/sdb1
#directory=/
ioengine=libaio
bs=4k
ba=4k
size=8G
direct=1
gtod_reduce=1
norandommap
iodepth=64
runtime=100
[read]
rw=randread
[root@MiWiFi-R4CM-srv test]# fio read4k 
read: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=64
fio-2.2.8
Starting 1 process
^Cbs: 1 (f=1): [r(1)] [11.0% done] [464KB/0KB/0KB /s] [116/0/0 iops] [eta 		01m:29s]  
fio: terminating on signal 2
Jobs: 1 (f=1): [r(1)] [12.0% done] [392KB/0KB/0KB /s] [98/0/0 iops] [eta 	01m:28s] 
read: (groupid=0, jobs=1): err= 0: pid=8846: Sat Sep 21 00:14:59 2019
read : io=199380KB, bw=16593KB/s, iops=4148, runt= 12016msec
    测试项命令数据
    4k小文件随机写（需要安装fio软件包）fio write4kiops:418
    [root@MiWiFi-R4CM-srv test]# cat write4k 
[global]
randrepeat=1
filename=/dev/sdb1
#directory=/
ioengine=libaio
bs=4k
ba=4k
size=8G
direct=1
gtod_reduce=1
norandommap
iodepth=64
runtime=100
[write]
rw=randwrite
[root@MiWiFi-R4CM-srv test]# fio write4k
write: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, 	iodepth=64
fio-2.2.8
Starting 1 process
Jobs: 1 (f=1): [w(1)] [2.3% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 	01h:21m:56s]   
write: (groupid=0, jobs=1): err= 0: pid=8828: Sat Sep 21 00:08:38 2019
write: io=197112KB, bw=1675.1KB/s, iops=418, runt=117613msec
cpu          : usr=2.16%, sys=51.87%, ctx=5069, majf=1, minf=22
IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
 submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
 complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
 issued    : total=r=0/w=49278/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
 latency   : target=0, window=0, percentile=100.00%, depth=64

4. MFS集群的维护

未完待续…

5. MFS的常见问题和建议对策

未完待续…

6. MFS的高级特性

未完待续…

熏卫
关注
专栏目录
MFS（文件系统）
Wk_yyy的博客
06-13 1352
一、MFS安装部署MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。配置环境172.25.77.250  mfsclient172.25.77.1   mfsmaster172.25.77.2和172.25.77.3  mfschunkserver1、采用源码包安装方式用rpmbuild创建二进制软件包和源码软件包安装所需的依...
MFS分布式文件系统
weixin_33849942的博客
09-03 198
Mfs分布式文件系统前言：前面我们学习过NFS，以及虚拟化课程的时候我们学习过openfiler，这两个都是属于存储服务器。但是他们有着共同的缺点，就是性能不好，因为都是通过共享方式共享一个存储空间，使得服务器不堪重负，会出现超时的问题，而且存在着单点故障问题，尽管可以用rsync同步数据到另外一台服务器上做备份，但性能方便没有任何提升。而分布式文件系统把数据分散存储在不同的...
MFS文件系统使用手册1
08-04
MFS文件系统使用手册 MFS文件系统是一种高可用、可扩展的分布式文件系统，主要用于大规模数据存储和共享。下面是对MFS文件系统使用手册的详细解释： 客户端的IP地址 在MFS文件系统中，客户端的IP地址是指客户机的...
MFS分布式文件系统实战（2）——搭建基本的MFS文件系统及配置
qq_42024433的博客
05-21 403
一、搭建基本的MFS系统 实验环境 172.25.2.1 mfs—master 172.25.2.2 mfs-chunk 172.25.2.3 mfs-chunk 172.25.2.5 mfs-client **sever1**: yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli moosefs-cgiserver -y 编辑本地解析 vim /etc/hosts scp /etc/host
Mfs分布式文件系统
period000的博客
08-26 425
Server1：master 172.25.77.1 Server2：chunkserver 172.25.77.2 Server3：chunkserver 172.25.77.4 物理机：172.25.77.250 ：测试       [root@mfs1 rhel6]# yum install moosefs-master-3.0.100-1.rhsysv.x86_64.rpm ...
Linux中的MFS分布式文件系统
最新发布
weixin_56744753的博客
11-21 749
MFS（Moose File System）是一个基于分布式网络文件系统的开源存储系统。MFS可以在多台计算机上组织文件并提供统一的文件系统访问。MFS的主要特点是高可用性、可靠性和扩展性。它使用存储在多个节点上的数据进行数据冗余，并使用快速而可靠的网络传输数据。MFS还支持在运行时动态添加和删除节点，以便随着系统需求的变化而进行快速和灵活的扩展。mfsmount：将 MooseFS 挂载到本地文件系统。mfsmetarestore：用于将备份中的元数据恢复到 MooseFS 文件系统中。
linux中的mfs文件系统
qwqq233的博客
05-22 806
MFS 1.什么是MFS文件系统： MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 2.MooseFS文件系统结构包括一下四种角色： （1）管理服务器master 管理服务器：负责各个数据存储服务的管理文件读写调度，文件空间回收以及恢复，多节点拷贝 （2）元数据日志服务器： 负责备份master服务器的变化日志文件，...
MFS分布式文件系统一
太阳晒的博客
01-09 1202
前言 本章我们学习MooseFS（MFS）分布式文件管理系统。 MFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本。 一、MFS组成简介 Master servers：管理服务器，在整个体系中负责管理文件系统，维护元数据，以及文件空间的回收和恢复，控制多chunk server节点的数据拷贝。 Chunk Servers：数据存储服务器，存放数据文件实体的服务器，真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好。
mfs文件系统与分布式存储的高可用
weixin_42709236的博客
11-13 603
什么是MFS文件系统： MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 MooseFS文件系统结构包括一下四种角色：     1.管理服务器master     管理服务器：负责各个数据存储服务的管理文件读写调度，文件空间回收以及恢复，多节点拷贝     2.元数据日志服务器：     负责备份master服务器的变...
MFS 分布式文件系统（理论+实验）
weixin_45726050的博客
03-28 2396
文章目录前言：一、MFS 介绍1.1 MFS 概述1.2 MFS特性1.2.1 MFS优势1.3 MFS文件系统组成1.4 MFS 工作读写原理二、MFS实验2.1 实验环境2.2 实验思路2.3 配置环境2.4 搭建Master服务2.5 搭建MetaLogger日志服务器2.6 搭建 Chunk 存储服务器2.7 部署client客户端2.8 开启MFS监控、访问测试三、MFS其他测试3.1 ...
MFS文件系统详解及安装指南
"MFS文件系统使用手册，PDF版本的，包含MFS的介绍、结构、安装配置以及元数据服务的详细说明。" MFS（ MooseFS）是一种分布式文件系统，设计用于在网络环境中提供高可用性、可扩展性和容错性。它将文件分布在多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值