分布式文件系统MFS配置[原创]

最新推荐文章于 2022-06-08 11:14:09 发布
最新推荐文章于 2022-06-08 11:14:09 发布
阅读量1k 收藏
点赞数
分类专栏： mfs

概述：
MFS由三不分组成：
Master:元数据中心[元数据库服务器]，相当于一个中心数据库，本身不保存文件数据。是一个单点故障。
chunkserver:数据存储服务器:master将文件按照块存储与数据存储服务器中。官方建议使用单独raid或dev来提供存储空间。
client：客户端，client连接到master ,挂载文件。


实验环境
master 192.168.0.82
chunkserver :192.168.0.101
chunkserver :192.168.0.102
client 192.168.0.88
client 192.168.0.120



安装步骤：

master

01 mkdir /mfs
02 cd mfs
03 #wget http://nchc.dl.sourceforge.net/sourceforge/fuse/fuse-2.7.4.tar.gz
04 wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.10/mfs-1.6.10.tar.gz/download
05 useradd mfs -s /sbin/nologin
06 tar zxvf mfs-1.6.10.tar.gz
07 cd mfs-1.6.10
08 ./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs
09 make
10 make install
11 cd /usr/local/mfs/etc
12 cp mfsmaster.cfg.dist mfsmaster.cfg
13 cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
14 sed -i 's/# MASTER_HOST = mfsmaster/MASTER_HOST = 192.168.0.82/g' mfsmetalogger.cfg
15 mkdir /var/run/mfs
16 chown -R mfs:mfs /var/run/mfs
17 cd /usr/local/mfs/var/mfs
18 cp metadata.mfs.empty metadata.mfs
19 cd /usr/local/mfs/sbin
20 ./mfsmaster start
21 ./mfsmetalogger start

 

端口应用

9420用于连接chunkserver,监听来自chunkserver的连接，
9419用于连接client,监听来自client的连接。


管理:

启动:/usr/local/mfs/sbin/mfsmaster start
关闭:/usr/local/mfs/sbin/mfsmaster -s
故障恢复:/usr/local/mfs/sbin/mfsmetastore

 

数据端安装

01 mkdir /mfs
02 cd mfs
03 #wget http://nchc.dl.sourceforge.net/sourceforge/fuse/fuse-2.7.4.tar.gz
04 wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.10/mfs-1.6.10.tar.gz/download
05 useradd mfs -s /sbin/nologin
06 tar zxvf mfs-1.6.10.tar.gz
07  
08 ./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs
09 make
10 make install
11 cd /usr/local/mfs/etc
12 cp mfschunkserver.cfg.dist mfschunkserver.cfg
13 cp mfshdd.cfg.dist mfshdd.cfg
14 echo "/data">mfshdd.cfg
15 sed -i 's/# MASTER_HOST = mfsmaster/MASTER_HOST = 192.168.0.82/g' mfschunkserver.cfg
16 mkdir /var/run/mfs
17 chown -R mfs:mfs /var/run/mfs
18 mkdir /data
19 chown -R mfs:mfs /data
20 /usr/local/mfs/sbin/mfschunkserver start

 

端口应用

9422:用于chunkserver之间的连接,监听来自其他数据库服务器的连接。通常是数据复制。
与master连接会去连接master的9420端口

 

client
client需要安装mfs和fuse,fuse主要用来使用mfsmount(mfsmount依赖于fuse)

 

01 useradd mfs -s /sbin/nologin
02 mkdir /mfs
03 cd mfs
04 wget http://nchc.dl.sourceforge.net/sourceforge/fuse/fuse-2.7.4.tar.gz
05 wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.10/mfs-1.6.10.tar.gz/download
06 tar zxvf fuse-2.7.4.tar.gz
07 cd fuse-2.7.4
08 ./configure
09 make
10 make install
11 export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
12 #或者:
13 #echo "export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
14 #" >>/etc/profile
15 #source /etc/profile
16 #要这句,不然下面./configure的时候还是会出现找不到fuse或fuse版本过低的提示无法通过。
17 cd ../
18 tar zxvf mfs-1.6.10.tar.gz
19 cd mfs-1.6.10
20 ./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -enable-mfsmount
21 make
22 make install

 

挂载

1 mkdir /mnt/mfs
2 /usr/local/mfs/bin/mfsmount -h 192.168.0.82 /mnt

 

提示权限问题，原因是1.6的版本问题，转用1.5的client

 

1 cd /mfs
2 wget http://www.moosefs.com/files/mfs-1.5.12.tar.gz
3 tar zxvf mfs-1.5.12.tar.gz
4 cd mfs-1.5.12
5 export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
6 ./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -enable-mfsmount
7 make
8 make install

 

1 [root@localhost mfs-1.5.12]# /usr/local/mfs/bin/mfsmount -H 192.168.0.82 /mnt
2 /usr/local/mfs/bin/mfsmount: error while loading shared libraries: libfuse.so.2: cannot open shared object file: No such file or directory

 

做软连接

 

1 ln -s /usr/local/lib/libfuse.so.2 /usr/lib/

 

然后重新挂载，没有任何提示ok

1 /usr/local/mfs/bin/mfsmount -h 192.168.0.82 /mnt

 

端口应用
连接master的9421端口



测试:
在client 120 /mnt/mfs/下写入68M文件
chunkserver 102 文件由1M变为14M
[root@localhost data]# du -sh /data
14M /data
chunkserver 102 文件由1M变为57M
[root@localhost data]# du -sh
57M 
总增加为69M


再在client 120增加47M，总共为115M，此时:
102
[root@localhost data]# du -sh /data
116M /data
101
[root@localhost data]# du -sh /data
57M /data


运行原理:client与master通信，say要写入一个文件，master就让他与chunk（多台总的一台）进行直接的数据传输，
传输完成以后，master会更新自己的数据库

然后，多台chunk之间进行数据复制，前面上传的文件会被分成块（最大64M）,通过给定的拷贝数量（可以自己制定）复制块到其他的chunkserver.


这样，任何一个文件都将在数据服务器上有一个完整的文件，然后有他的块在其他不同的数据服务器上。

相关日志:
    标签: MFS

    http://www.22455.com/index.php/posts/mfs
    maikforever
    关注
    • 0
      点赞
    • 踩
    • 0
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    专栏目录
    分布式文件系统MFS实现存储共享
    02-27
    察看系统日志，全是nfs服务超时之类的报错。一般情况下，当nfs客户端数目较小的时候，NFS性能不会出现问题；一旦NFS服务器数目过多，并且是那种读写都比较频繁的操作，所得到的结果就不是我们所期待的。下面是某个...
    MFS安装问题
    guo_yang的博客
    05-02 518
    补充一些关于日志信息的说明：一：mfsmaster每分钟进行一次检查，发现有chunkserver register或者disconnected时，会有如下日志信息提示。 每分钟检测Jul 23 09:38:00 mfsmanager mfsmaster[14105]: inodes: 1Jul 23 09:38:00 mfsmanager mfsmaster[14105]: dirnodes:...
    error while loading shared libraries的解决方案
    热门推荐
    weixin_42310458的博客
    06-08 6万+
    error while loading shared libraries: libXXXXXXX.so.1: cannot open shared object file: No such file or directory的解决方案
    MFS - MooseFS 文件存储系统
    weixin_33709590的博客
    06-26 96
    MFSMooseFS 文件系统 可以实现RAID 功能；节约成本 实现在线扩展；是一种半分布式文件系统。一、MFS文件系统的组成：1、mfsmaster 元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。2、 数...
    mfs(mooseFS)深入分析(chunkserver选择算法)
    weixin_34331102的博客
    04-18 363
    mfs(mooseFS)深入分析(chunkserver选择算法)数据分布算法是分布式文件系统的核心内容。 mfs是如何选择chunkserver来存储数据是最吸引我的一点，也是我看mfs源码的目的所在。如果自己设计一套chunkserver选择算法，我们要达到哪些目标呢？ 1,文件打散后尽量平均分布到各台chunkserver上 2,各台chunkserver上的chunk...
    MFS安装与配置问题集
    weixin_34342578的博客
    06-16 341
    这两天开始整MFS，zabbix的监控暂停一下。在网上看到有人总结了MFS的可能出现的问题，还可以，转载吧～原博客地址:http://blog.csdn.net/pc620/article/details/6327956今天在测试mfs时遇到了一些问题，现在问题集中记录下来，供参考~1.最常见的问题：主机间无法建立连接很可能是防火墙没关！！#service...
    分布式文件系统MFS(moosefs)实现存储共享
    myeclipse_bj的博客
    04-12 101
    [转载自]http://sery.blog.51cto.com/10037/54645    分布式文件系统MFS(moosefs)实现存储共享(第二版) 2010-01-11 16:53:47 标签：分布式 文件系统 MFS moosefs 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://s...
    分布式文件系统mfs（moosefs）搭建与配置
    weixin_34292402的博客
    07-04 116
    分布式文件系统mfs（moosefs）搭建与配置2015-01-14 11:00:25标签：mfs 分布式文件系统原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://shineforever.blog.51cto.com/1429204/1603819一 MFS介绍：Distinctive features o...
    分布式文件系统MFS(moosefs)实现存储共享(第二版)
    a1311010193的博客
    03-05 103
    本文转载至http://sery.blog.51cto.com/10037/263515 原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://sery.blog.51cto.com/10037/263515 分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸(sery@16...
    Linux下MFS分布式文件系统的安装与部署（mfs软件包的版本为3.80-1）
    qq_42303254的博客
    04-15 1489
    mfs官网：https://www.mfs.com；https://moosefs.com/ 一、初始MFS 1、MFS简介 分布式文件系统是指文件系统管理的物理存储资源通过计算机网络与各节点相连。简单讲，就是把一些分散的共享文件夹，集合到一个文件夹内。对于用户来说，只 需要打开该虚拟文件夹，就可以使用这些分散的文件夹进行数据读写。分布式文件系统的好处在于集中访问、...
    使用 React 和 Redux 进行井字游戏并附带源代码.zip
    最新发布
    07-24
    项目：使用 React 和 Redux 进行井字游戏并附带源代码 使用 react 和 redux 的井字游戏是一个简单的 react 项目。整个项目都是使用 react components 和redux制作的。游戏很简单，玩法也很多。要运行此项目，您必须先安装 NodeJS。 关于项目 井字游戏反应而 redux 是使用ReactJS开发的。说到这个游戏，它具有高级功能和游戏玩法。要运行此项目，首先，您必须安装费用到您的系统。然后运行npm安装然后开始运行npm开始。游戏启动后，您可以选择不同的游戏选项。您还可以选择所需的网格框数量。此外，您还可以选择对手的类型。 要运行此项目，您需要 在计算机上安装NodeJS 并使用现代浏览器，例如 Google Chrome、  Mozilla Firefox。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
    使用 JavaScript 编写的专注力游戏（附源代码）.zip
    07-24
    项目：JavaScript 中的专注力游戏（附源代码） 专注力游戏是一个使用 JavaScript、CSS 和 HTML 开发的简单项目。这款游戏很有趣。玩家必须点击移动的框并获得分数。要点击正确的位置，玩家需要在这个游戏中集中注意力。这款游戏可以帮助玩家练习以进一步增强他们的专注力。 游戏制作 这个游戏项目仅使用 HTML、CSS 和 JavaScript。说到这个游戏的特点，用户必须单击移动框并得分。游戏有三种模式：简单、中等和困难。游戏的 PC 控制非常简单。您只需使用光标单击移动框的碎片即可。 该游戏包含大量的 javascript 以确保游戏正常运行。 如何运行该项目？ 要运行此游戏，您不需要任何类型的本地服务器，但需要浏览器。我们建议您使用现代浏览器，如 Google Chrome 和 Mozilla Firefox。要玩游戏，首先，单击 index.html 文件在浏览器中打开游戏。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
    人脸识别方案资料61EDA-C1590.zip
    07-24
    人脸识别方案资料61EDA_C1590.zip
    316、基于DK124设计的离线式开关电源设计12V 2A（原理图、PCB图、BOM表、设计说明）
    07-24
    316、基于DK124设计的离线式开关电源设计12V 2A（原理图、PCB图、BOM表、设计说明） 该设计为DK124控制的开关电源，实现12V 2A输出； 功能： 1、使用DK124核心控制； 2、反激式开关电源拓扑设计； 3、实现12V 2A输出； 4、市电输入； 5、整流、滤波、变压器等电路； 6、原理图、PCB图、BOM表、设计说明；
    基于Springboot和Vue的生鲜超市管理的设计与实现源码 生鲜超市管理的设计与实现代码（优秀毕业设计）
    07-24
    生鲜超市管理的设计与实现源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
    使用 ReactJs 编写的简单旅行计划器（附源代码）.zip
    07-24
    项目：使用 ReactJS 编写的简单旅行计划器（附源代码） ReactJs 中的简单旅行计划器是一个简单的 JavaScript 项目。该项目是 ReactJS 中待办应用程序的一个简单示例。 关于项目 Simple Trip Planner In Reactjs 是使用ReactJS开发的。这个项目很容易做一种应用程序。这个项目使用 React 库来完成任务。为了运行这个项目，你必须在系统中安装 NodeJs。当你运行这个项目时，你的应用程序从主页开始。从那里你可以导航到菜单。你只能将计划添加到你的书中。你还可以对旅行进行分类。你所要做的就是输入日期和地点，然后选择你想要的旅行计划类型。 要运行此项目，您需要 在计算机上安装ReactJS和 NodeJs，并使用现代浏览器，例如Google Chrome、  Mozilla Firefox。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
    俄罗斯方块的python代码
    07-24
    这段Python代码实现了一个简单的俄罗斯方块游戏，使用Pygame库处理图形和用户输入。游戏初始化Pygame库并设置屏幕大小为800x600像素，定义不同颜色和形状的方块。游戏由一个`Tetris`类管理，负责游戏状态和逻辑操作，每个方块由一个`Block`类表示，包含其形状、颜色、位置等信息。 在主循环中，游戏通过事件处理机制响应用户的键盘输入，箭头键用于移动和旋转方块，空格键用于快速下落。游戏会检测方块是否与已有的方块或边界发生碰撞，如发生碰撞，当前方块会固定在场地上并生成新方块。填满的行会被清除，玩家获得相应分数。 游戏通过一个二维数组维护场地状态，每个元素表示一个单元格是否被占据，通过检查和清除单元格实现行消除。整个游戏不断刷新屏幕更新显示，确保流畅运行，绘制背景、方块和边框，使界面美观易理解。 总体而言，这段代码展示了如何使用Pygame库实现经典俄罗斯方块游戏，包括图形绘制、用户输入处理和基本游戏逻辑，让玩家通过移动和旋转方块消除行并获得高分。
    绿色金融：“双碳”经济时代，银行业务增长新引擎-埃森哲(
    07-24
    绿色金融：“双碳”经济时代，银行业务增长新引擎-埃森哲(
    MFS：分布式文件系统解决NFS性能与可靠性问题
    1. 简易部署与管理：相较于其他如Lustre等复杂的分布式文件系统，MFS的安装、部署和配置过程更为简单，降低了运维的复杂度。这对于需要快速实施和管理的环境非常有利。 2. 动态扩容：MFS支持在线扩容，可以在不中断...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值