MFS分布式存储

最新推荐文章于 2024-04-15 09:43:59 发布
最新推荐文章于 2024-04-15 09:43:59 发布
阅读量994 收藏 19
点赞数 18
分类专栏： 存储 文章标签： 分布式 服务器 linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68725019/article/details/125417074
版权

MFS分布式对象存储

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机、服务器模式。一个典型的网络可能包括多个用户访问服务器。

一、MFS优越性如下

  • Free通用文件系统

  • 可在线扩展，体系架构伸缩性极强

  • 部署简单

  • 高可用，可设置任意文件冗余程度（提供比raid10更高的冗余级别，而不影响读写性能，只会加速）

  • 可回收在指定时间内删除的文件

  • 提供了类似于EMC，IBM等商业存储的快照特性。（可对整个文件或正在读写的文件创建快照）

二、MFS工作原理和设计架构

角色角色作用
管理服务器managing server（master）负责整个数据存储服务器的管理，文件读写调度，文件空间回收以及恢复，节点拷贝
元数据服务器Metalogger server（Metalogger）负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs,以便于master server 出现问题的时候接替进行工作
数据存储服务器data server（chunk）负责链接管理服务器，听从于管理服务器调度，提供存储空间，并为客户提供数据传输
客户机挂载使用client computer通过fuse 内核接口远程管理服务器上所管理的数据存储服务器，看起来共享的文件系统和本地Unix文件系统使用一样的效果。

 

MFS读取数据的过程

当client需要数据时，首先向master server发起查询请求 ​ 管理服务器检索自己的数据，获取到数据所在的可用数据服务器位置ip|port|chunkid ​ 管理服务器将数据服务器的地址发送给客户端 ​ 客户端向具体的数据服务器发起数据获取请求 ​ 数据服务器将数据发送给客户端

MFS删除数据的过程

l 客户端有删除操作时，首先向Master发送删除信息

l Master定位到相应元数据信息进行删除，并将chunk server上块的删除操作加入队列异步清理

l 响应客户端删除成功的信号MFS修改文件内容的过程客户端有修改文件内容时，首先向Master发送操作信息

l Master申请新的块给.swp文件，客户端关闭文件后，会向Master发送关闭信息

l Master会检测内容是否有更新，若有，则申请新的块存放更改后的文件，删除原有块和.swp文件块

l 若无，则直接删除.swp文件块。

注：
​
l Master记录着管理信息，比如：文件路径|大小|存储的位置(ip,port,chunkid)|份数|时间等，元数据信息存在于内存中，会定期写入metadata.mfs.back文件中，定期同步到metalogger，操作实时写入changelog.*.mfs，实时同步到metalogger server中。master启动将metadata.mfs载入内存，重命名为metadata.mfs.back文件。
​
l 文件以chunk大小存储，每chunk最大为64M，小于64M的，该chunk的大小即为该文件大小（验证实际chunk文件略大于实际文件），超过64M的文件将被切分，以每一份（chunk）的大小不超过64M为原则；块的生成遵循规则：目录循环写入(00-FF 256个目录循环，step为2)、chunk文件递增生成、大文件切分目录连续。
​
l Chunkserver上的剩余存储空间要大于1GB，新的数据才会被允许写入，否则，你会看到No space left on device的提示，实际中，测试发现当磁盘使用率达到95%左右的时候，就已经不行写入了，当时可用空间为1.9GB。
​
l 文件可以有多份copy，当goal为1时，文件会被随机存到一台chunkserver上，当goal的数大于1时，copy会由master调度保存到不同的chunkserver上，goal的大小不要超过chunkserver的数量，否则多出的copy，不会有chunkserver去存。

三、MFS的安装、部署、配置

实验规划

身份IP
client server192.168.30.10
master server192.168.30.20
metalogger server192.168.30.30
chunk server1192.168.30.40
chunk server2192.168.30.50

安装包：Index of /src

步骤一：配置master server 192.168.30.20

  • 安装

[root@localhost ~]# yum -y install gcc zlib-devel
[root@localhost ~]# useradd -r -s /sbin.nologin mfs
[root@localhost ~]# tar -xf moosefs-3.0.101
[root@localhost ~]# cd moosefs-3.0.101
[root@localhost ~]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmount --disable-mfschunkserver
[root@localhost ~]# make && make install

  • 配置

[root@localhost ~]# ln -s /usr/local/mfs/bin/*  /usr/local/bin
[root@localhost ~]# ln -s /usr/local/mfs/sbin/* /usr/local/sbin
[root@localhost ~]# cd /usr/local/mfs/etc/mfs
[root@localhost mfs]# cp -a mfsmaster.cfg.sample   mfsmaster.cfg
[root@localhost mfs]# cp -a mfsexports.cfg.sample  mfsexports.cfg
[root@localhost mfs]# cp -a mfstopology.cfg.sample  mfstopology.cfg
[root@localhost mfs]# vim mfsexports.cfg
客户端IP            允许挂载的目录   客户端挂载的权限
*                       /         rw,alldirs,admin,maproot=0:0
*                       .         rw

  • 管理

[root@localhost ~]# cd /usr/local/mfs/var/mfs
[root@localhost mfs]# cp -a metadata.mfs.empty metadata.mfs
[root@localhost ~]# mfsmaster start
[root@localhost ~]# netstat -anpt
tcp     0   0 0.0.0.0:9419     0.0.0.0:*   LISTEN      15534/mfsmaster  tcp     0   0 0.0.0.0:9420     0.0.0.0:*   LISTEN      15534/mfsmaster  tcp     0   0 0.0.0.0:9421     0.0.0.0:*   LISTEN      15534/mfsmaster

步骤二：配置metalogger server 192.168.30.30

  • 安装moosefs-3.0.101（同上）

  • 配置

[root@localhost ~]# ln -s /usr/local/mfs/bin/*  /usr/local/bin
[root@localhost ~]# ln -s /usr/local/mfs/sbin/* /usr/local/sbin
[root@localhost ~]# cd /usr/local/mfs/etc/mfs/
[root@localhost mfs]# cp -a mfsmetalogger.cfg.sample  mfsmetalogger.cfg
[root@localhost mfs]# vim mfsmetalogger.cfg
META_DOWNLOAD_FREQ = 2
MASTER_HOST = 192.168.30.20
[root@localhost ~]# mfsmetalogger start
[root@localhost ~]# lsof  -i :9419
mfsmetalo 12659  mfs    8u  IPv4  44244      0t0  TCP localhost.localdomain:59956->192.168.30.20:9419 (ESTABLISHED)
​

步骤三：配置chunk server 192.168.30.40&50

  • 安装

[root@localhost ~]# yum -y install gcc zlib-devel
[root@localhost ~]# useradd -r -s /sbin/nologin mfs
[root@localhost ~]# tar -xf moosefs-3.0.101-1.tar.gz 
[root@localhost ~]# cd moosefs-3.0.101
[root@localhost moosefs-3.0.101]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfsmount
[root@localhost moosefs-3.0.101]# make
[root@localhost moosefs-3.0.101]# make install

  • 配置

[root@localhost moosefs-3.0.101]# ln -s /usr/local/mfs/bin/* /usr/local/bin/
[root@localhost moosefs-3.0.101]# ln -s /usr/local/mfs/sbin/* /usr/local/sbin/
[root@localhost moosefs-3.0.101]# cd /usr/local/mfs/etc/mfs
[root@localhost mfs]# cp -a mfschunkserver.cfg.sample mfschunkserver.cfg 
​
[root@localhost mfs]# vim mfschunkserver.cfg
MASTER_HOST = mfsmaster   #指明master server服务器地址
MASTER_PORT = 9420        #指明master server 端口
HDD_CONF_FILENAME = /usr/local/mfs/etc/mfs/mfshdd.cfg   #共享磁盘的配置文件
​
[root@localhost mfs]# cp -a mfshdd.cfg.sample mfshdd.cfg
[root@localhost mfs]# vim mfshdd.cfg
/chunkdir   #填写挂载点
​
[root@localhost mfs]# pvcreate /dev/sdb
[root@localhost mfs]# vgcreate vg01 /dev/sdb
[root@localhost mfs]# lvcreate  -L 18G -n lv01 vg01
[root@localhost mfs]# mkfs.ext4 /dev/vg01/lv01
[root@localhost mfs]# mkdir /chunkdir
[root@localhost mfs]# mount -t xfs /dev/vg01/lv01 /chunkdir #建议写入/etc/fstab
[root@localhost mfs]# chown -R mfs.mfs /chunkdir        
#注意在挂载完成后，修改目录归属
#添加一块磁盘并创建分区，然后挂载到指定的挂载点下（使用ext4文件系统格式化）

  • 管理

[root@localhost etc]# mfschunkserver start
[root@localhost etc]# ps -ef | grep mfs
405681002:14 ? 00:00:00 mfschunkserver startroot

步骤三：配置client server 192.168.30.10

  • 安装

[root@localhost ~]# yum -y install gcc zlib-devel fuse fuse-devel fuse-libs
[root@localhost ~]# useradd -r -s /sbin/nologin mfs
[root@localhost ~]# tar -xf moosefs-3.0.101-1.tar.gz 
[root@localhost ~]# cd moosefs-3.0.101
[root@localhost moosefs-3.0.101]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver
[root@localhost moosefs-3.0.101]# make
[root@localhost moosefs-3.0.101]# make install

  • 配置

测试
[root@localhost ~]# ln -s /usr/local/mfs/bin/* /usr/local/bin/
[root@localhost ~]# ln -s /usr/local/mfs/sbin/* /usr/local/sbin/
[root@localhost ~]# mfsmount /mfsdata/ -H 192.168.88.10
[root@localhost ~]# mfsmount /mfsmeta/ -H 192.168.88.10
[root@localhost ~]# mfsmount  -m  /mfsmeta/ -H 192.168.88.10
# -H 指定 master server IP
 Hzs
关注
  • 18
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
集群分布式存储-MFS
oschina_41926682的博客
07-17 606
概念：具备冗余功能的分布式存储，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 组件：管理服务器（master）、元数据备份服务器（matelogger）、数据存储服务器组（chunkserver）、客户机服务器组（client） 环境： centos7.6 关闭防火墙和selinux 优缺： 优点：高可靠性、高可扩展性、高数据一致性、高容错性 缺点：master单点，岁吧数据信息同步到备份服务器，但恢复依然需要很长时间；master服务器对主机内存要求相对较高；mas
【Linux集群教程】06 分布式存储 - MFS
Dragon的博客
09-16 1786
MooseFS 是一个具备冗余 (良性冗余：非常重要的文件备份多个) 容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本，然而对于访问 MFS 的客户端或者用户来说，整个 分布式网络文件系统集群看起来就像一个资源一样，从其对文件系统的情况看 MooseFS 就相当于 UNIX 的文件系统。MooseFS 是一种分布式文件系统，基于Linux内核，提供整套分布式文件服务。
MFS分布式存储-集群
Liang_GaRy的博客
03-07 623
MFS分布式存储-集群
MFS分布式文件存储架构搭建_fuse-2，2024年最新软件测试开发实战讲解
最新发布
2401_84254296的博客
04-15 631
和之前master节点安装类似，创建用户，解压安装包，编译安装。在主节点上输入开启控制开命令。10.创建程序型用户，解压安装包，编译安装。解压fuse-2.9.2安装包，并编译安装。#创建/data目录，并修改属主和属组。13.创建程序型用户，安装mfs客户端。14.创建一个挂载点，并挂载mfs。三个存储节点的安装过程都是一样的。这样mfs分布式存储就搭建好了。综合信息界面，包含节点概括信息。7.编译安装元数据日志端。#临时挂载，主节点IP地址。添加元数据节点IP地址。11.开启存储节点功能。
文件服务器mfs,MFS 分布式文件存储系统
weixin_34222309的博客
08-12 481
MFS分布式存储之 MFS介绍什么是MFSMFS: MooseFS 是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本,然而对于访问MFS 的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样，从其对文件系统的情况看MooseFS 就相当于UNIX 的文件系统单个文件是文件存储的最小单位MFS特性优点#高可靠...
MFS详解（一）——MFS介绍
热门推荐
永远是少年
05-15 1万+
今天继续给大家介绍Linux运维相关知识，本文主要内容是MFS介绍。 一、MFS系统简介 二、MFS系统优点 三、MFS系统缺点
分布式文件系统MFS实现存储共享
02-27
通过排查个服务器的情况，发现问题的根源在于共享存储服务器NFS。在我这个网络环境里，N个服务器通过nfs方式共享一个服务器的存储空间，使得NFS服务器不堪重负。察看系统日志，全是nfs服务超时之类的报错。一般情况...
MFS分布式文件系统的部署
01-09
一.MFS分布式文件系统详述 分布式简介 MFS分布式文件系统的原理 MFS文件系统的组成 MFS文件系统的工作过程 二.MFS分布式文件系统的部署 实验环境 配置Master Server 配置MetaLogger Server 配置Chunk Server1和Chunk...
MFS分布式文件系统
09-19
MFS分布式文件系统 在这篇文章中，我们将详细介绍MFS分布式文件系统的原理、架构、组成部分、读取和写入数据的处理过程、搭建Master Server、MetaLogger Server、Chunk Server和客户端配置等知识点。 分布式文件...
搭建MFS分布式文件系统
12-15
MooseFS是一个分布式存储的框架，其具有如下特性： Free(GPL) 通用文件系统，不需要修改上层应用就可以使用（那些需要专门api的dfs很麻烦。）。 可以在线扩容，体系架构可伸缩性极强。
MFS分布式文件系统搭建部署手册
04-24
mooseFS（moose 驼鹿）是一款...MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接字），符号链接，硬链接。
分布式文件系统MFS的基本用法以及高可用实现
Lockey23的博客
10-23 2738
分布式文件系统MFS的基本用法以及高可用实现；keepalived；MooseFS
详解MFS分布式存储系统
小米bb的博客
07-29 685
分布式原理 分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的优点是集中访问、简化操作、数据容灾，以及提高了文件的存取性能。 MFS分布式文件系统 MFS是一种半分布式文件系统，它是由波兰人开发的。MFS文件系统能够实现RAID的功能，不但能够更节约存储成本，而且不比专业的存储系统差，它还可以实现在线扩展。 MFS原理 ...
mfs分布式存储
我爱吃葱花的博客CSDN
03-04 1177
moosefs 分布式存储 MFS 特性: 1. Free(GPL) 2. 通用文件系统,不需要修改上层应用就可以使用 3. 可以在线扩容,体系架构可伸缩性极强。 4. 部署简单。 5. 高可用, 6. 可回收在指定时间内删除的文件(“回收站”提供的是系统级别的服务,不怕误操作了,) 7. 提供 web gui 监控接口。 8. 提高随机读或写的效率。 9. 提高海量小文件的读
mfs分布式文件系统，分布式存储，高可用（pacemaker+corosync+pcs），磁盘共享（iscsi），fence解决脑裂问题
wzt888的博客
04-06 1981
所有对分布式文件系统的改变记录 change 9421 #对外的连接端口 9420 # 9419 # moosefs-metalogger-3.0.97-1.rhsysv.x86_64.rpm #源数据日志，定期同步master数据日志，防止master挂掉 # master端 [root@server1 ~]# ls moosefs-cgi...
mfs分布式存储 --- 高可用配置
Logbook的博客
09-02 579
高可用： 真机设置iptables： [root@foundation38 dir1]# iptables -t nat -I POSTROUTING -s 172.25.254.0/24 -j MASQUERADE 保证westos1可以联网： [root@westos1 ~]# route add default gw 172.25.254.84 You have mai...
mfs分布式文件系统怎么手动切换主备
08-30
根据引用，MooseFS是一种分布式文件系统，用作共享存储服务器。要手动切换MooseFS的主备节点，可以按照以下步骤进行操作： 1. 首先，根据引用中的指示，需要通过运行"./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount"来配置MooseFS。 2. 接下来，根据引用中的指示，需要修改配置文件"/usr/local/mfs/etc/mfshdd.cfg"。在这个文件中，你需要指定MooseFS的主备角色。 3. 修改配置文件时，你需要注意以下几个步骤： a. 确保每个服务器只贡献一个分区作为MooseFS的一部分。 b. 根据你的服务器配置，将分区的挂载点修改为MooseFS的写目录的属主。 c. 确保配置文件中只包含一行内容，指定MooseFS的主备角色。 通过完成以上步骤，你就可以手动切换MooseFS的主备节点。请确保按照正确的配置和指示进行操作，以确保系统的正常运行。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [分布式文件系统MFS(moosefs)实现存储共享](https://blog.csdn.net/weixin_35953844/article/details/119661796)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值