MFS安装问题

最新推荐文章于 2022-06-08 11:14:09 发布
最新推荐文章于 2022-06-08 11:14:09 发布
阅读量553 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guo_yang/article/details/82186270
版权

补充一些关于日志信息的说明：
一：mfsmaster每分钟进行一次检查，发现有chunkserver register或者disconnected时，会有如下日志信息提示。

每分钟检测
Jul 23 09:38:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 09:38:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 09:38:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 09:38:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 09:38:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 09:38:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 09:38:00 mfsmanager mfsmaster[14105]: total: usedspace: 0 (0 GB), totalspace: 0 (0 GB), usage: 0.00%
Jul 23 09:39:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 09:39:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 09:39:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 09:39:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 09:39:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 09:39:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 09:39:00 mfsmanager mfsmaster[14105]: total: usedspace: 0 (0 GB), totalspace: 0 (0 GB), usage: 0.00%

chunkserver register时
Jul 23 10:02:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 10:02:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 10:02:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 10:02:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 10:02:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 10:02:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 10:02:00 mfsmanager mfsmaster[14105]: total: usedspace: 0 (0 GB), totalspace: 0 (0 GB), usage: 0.00%
Jul 23 10:02:10 mfsmanager mfsmaster[14105]: chunkserver register – ip: 192.168.1.243, port: 9422, usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB)
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: server 1 (192.168.1.243): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:03:00 mfsmanager mfsmaster[14105]: total: usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%

chunkserver connection lost 时
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: server 1 (192.168.1.243): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 09:58:00 mfsmanager mfsmaster[14105]: total: usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 09:58:41 mfsmanager mfsmaster[14105]: connection with CS(192.168.1.243) lost
Jul 23 09:58:41 mfsmanager mfsmaster[14105]: chunkserver disconnected – ip: 192.168.1.243, port: 9422, usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB)
Jul 23 09:59:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 09:59:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 09:59:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 09:59:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 09:59:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 09:59:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 09:59:00 mfsmanager mfsmaster[14105]: total: usedspace: 0 (0 GB), totalspace: 0 (0 GB), usage: 0.00%

二：chunkserver如果没有指定mfshdd.cfg文件里的分区的话，错误信息如下：

Jul 23 10:25:07 mfsmanager mfschunkserver[15464]: config: using default value for option ‘HDD_CONF_FILENAME’ – ‘/usr/local/mfs/etc/m
fshdd.cfg’
Jul 23 10:25:07 mfsmanager mfschunkserver[15464]: can’t create lock file ‘/mnt/hd1/.lock’: No such file or directory
Jul 23 10:25:07 mfsmanager mfschunkserver[15464]: init: hdd space manager failed !!!

三：chunkserver的mfschunkserver.cfg文件中，如果没有将如下选项前的#符号去除的话，日志会一直显示如下：
MASTER_HOST = 192.168.1.242

Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘HDD_CONF_FILENAME’ – ‘/usr/local/mfs/etc/mfshdd.cfg’
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘CSSERV_LISTEN_HOST’ – ‘*’
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘CSSERV_LISTEN_PORT’ – ’9422′
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘CSSERV_TIMEOUT’ – ’60′
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: listen on *:9422
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘CSTOCS_TIMEOUT’ – ’60′
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘MASTER_RECONNECTION_DELAY’ – ’5′
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘MASTER_HOST’ – ‘mfsmaster’
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘MASTER_PORT’ – ’9420′
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘MASTER_TIMEOUT’ – ’60′
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: config: using default value for option ‘BACK_LOGS’ – ’50′
Jul 23 10:29:10 mfsmanager mfschunkserver[15477]: connecting …

正常情况下则出现如下信息：

Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘HDD_CONF_FILENAME’ – ‘/usr/local/mfs/etc/mfshdd.cfg’
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘CSSERV_LISTEN_HOST’ – ‘*’
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘CSSERV_LISTEN_PORT’ – ’9422′
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘CSSERV_TIMEOUT’ – ’60′
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: listen on *:9422
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘CSTOCS_TIMEOUT’ – ’60′
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘MASTER_RECONNECTION_DELAY’ – ’5′
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘MASTER_PORT’ – ’9420′
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘MASTER_TIMEOUT’ – ’60′
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: config: using default value for option ‘BACK_LOGS’ – ’50′
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: connecting …
Jul 23 10:33:01 mfsmanager mfschunkserver[15485]: connected to Master

四：mfsmaster在检测到新的chunkserver时，在日志中会显示如下信息：
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: server 1 (192.168.1.243): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:33:00 mfsmanager mfsmaster[14105]: total: usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:33:01 mfsmanager mfsmaster[14105]: chunkserver register – ip: 192.168.1.244, port: 9422, usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB)
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: server 1 (192.168.1.244): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: server 2 (192.168.1.243): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:34:00 mfsmanager mfsmaster[14105]: total: usedspace: 2050588672 (1 GB), totalspace: 22994255872 (21 GB), usage: 8.92%

Jul 23 10:50:00 mfsmanager mfsmaster[14105]: inodes: 1
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: dirnodes: 1
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: filenodes: 0
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: chunks: 0
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: chunks to delete: 0
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: chunkservers status:
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: server 1 (192.168.1.245): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: server 2 (192.168.1.244): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: server 3 (192.168.1.243): usedspace: 1025294336 (0 GB), totalspace: 11497127936 (10 GB), usage: 8.92%
Jul 23 10:50:00 mfsmanager mfsmaster[14105]: total: usedspace: 3075883008 (2 GB), totalspace: 34491383808 (32 GB), usage: 8.92%

五：FUSE下载地址如下：

http://downloads.sourceforge.net/project/fuse/fuse-2.X/2.7.4/fuse-2.7.4.tar.gz

（超慢，时断时续的，我找了3台不同地方的服务器在下载）
也可以在这里下载 http://qwqg.mobibal.com/wp-content/uploads/2009/06/fuse-2.7.4.tar.gz

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

对于原文安装MFS客户端需要指定pkg_config_path环境变量的另一种解决办法是，在编译fuse时，指定其prefix为–prefix=/usr即可不需要再指定pkg_config_path的环境变量，具体内容可参考http://qwqg.mobibal.com/?p=131。

六：运行mfsmount时，fuse报错如下的解决办法：
[root@mfsmanager mfs-1.5.12]# /usr/local/mfs/bin/mfsmount -h
/usr/local/mfs/bin/mfsmount: error while loading shared libraries: libfuse.so.2: cannot open shared object file: No such file or directory

编辑/etc/ld.so.conf文件，将/usr/local/lib加入。
运行ldconfig，更新缓存。

[root@mfsmanager mfs-1.5.12]# /usr/local/mfs/bin/mfsmount -v
/usr/local/mfs/bin/mfsmount: option requires an argument — v
mfsmount v. 1.5.12
usage: /usr/local/mfs/bin/mfsmount [-r][-m][-c] [-v 0..2] [-h master host] [-p master port] [-l path] [-w mount point]

r: readonly mode
m: mount metadata
c: allow using cache
v: verbose level

defaults:
h: mfsmaster
p: 9421
l: /
w: /mnt/mfs

[root@mfsmanager mfs-1.5.12]# /usr/local/mfs/bin/mfsmount -h 192.168.1.242
fuse: device not found, try ‘modprobe fuse’ first
error in fuse_mount
[root@mfsmanager mfs-1.5.12]# modprobe fuse
[root@mfsmanager mfs-1.5.12]# /usr/local/mfs/bin/mfsmount -h 192.168.1.242
[root@mfsmanager mfs-1.5.12]# df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/sda2 7936288 1646880 5879752 22% /
/dev/sda5 11227664 159512 10488612 2% /data
/dev/sda1 124427 11401 106602 10% /boot
tmpfs 257720 0 257720 0% /dev/shm
MFS 33682944 3003776 30679168 9% /mnt/mfs

在一个目录下建了6个linux的虚拟机，master和chunkserver都正常，但client在mount master上的共享分区时，总是报错，即使是将client的虚拟机移到另一个分区下面还是不行，用了另外一台机器上的虚拟机可以正常访问mount。

七：master报错如下：

Jul 24 14:30:00 mfsmanager mfsmaster[3077]: inodes: 137
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: dirnodes: 2
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: filenodes: 135
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: chunks: 134
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: chunks to delete: 0
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: chunkservers status:
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: server 1 (192.168.1.243): usedspace: 1812389888 (1 GB), totalspace: 11497127936 (10 GB), usage: 15.76%
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: server 2 (192.168.1.244): usedspace: 1812381696 (1 GB), totalspace: 11497127936 (10 GB), usage: 15.76%
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: server 3 (192.168.1.245): usedspace: 1812361216 (1 GB), totalspace: 11497127936 (10 GB), usage: 15.76%
Jul 24 14:30:00 mfsmanager mfsmaster[3077]: total: usedspace: 5437132800 (5 GB), totalspace: 34491383808 (32 GB), usage: 15.76%
Jul 24 14:30:39 mfsmanager mfsmaster[3077]: chunk 9 has only invalid copies (1) – please repair it manually
Jul 24 14:30:39 mfsmanager mfsmaster[3077]: chunk 9 (0000000000000009:0000000F) – invalid copy on (192.168.1.243)

Posted in 系统.

guo_yang
关注
MFS安装与配置问题集
weixin_34342578的博客
06-16 359
这两天开始整MFS，zabbix的监控暂停一下。在网上看到有人总结了MFS的可能出现的问题，还可以，转载吧～原博客地址:http://blog.csdn.net/pc620/article/details/6327956今天在测试mfs时遇到了一些问题，现在问题集中记录下来，供参考~1.最常见的问题：主机间无法建立连接很可能是防火墙没关！！#service...
MFS下载安装
weixin_45426401的博客
12-19 892
官网帮助文档中的下载方法 添加yum源并下载 可能会有报错：GPG key retrieval failed: [Errno 14] curl#37 - "Couldn't open file /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS" 将yum文件中的gpgcheck=1，改为gpgcheck=0，重新下载即可 ...
error while loading shared libraries的解决方案
weixin_42310458的博客
06-08 6万+
error while loading shared libraries: libXXXXXXX.so.1: cannot open shared object file: No such file or directory的解决方案
分布式文件系统MFS配置[原创]
maikforever 的专栏
06-13 1039
概述： MFS由三不分组成： Master:元数据中心[元数据库服务器]，相当于一个中心数据库，本身不保存文件数据。是一个单点故障。 chunkserver:数据存储服务器:master将文件按照块存储与数据存储服务器中。官方建议使用单独raid或dev来提供存储空间。 client：客户端，client连接到master ,挂载文件。 实验环境 master 192.168.
mfs安装教程
08-03
mfs安装教程 mfs是一款分布式存储管理系统，通过本教程，用户可以快速搭建mfs分布式存储管理系统。本教程将指导用户完成mfs的安装过程，包括安装Fuse、安装主控服务器master、配置文件的修改等。 1. Fuse的安装 ...
mfs分布式文件系统—mfs安装、mfs的Storage class 存储类、mfs集群热备份/高可用
qq_43114229的博客
05-29 612
1、MFS安装 官网下载 [root@server1 ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo 下载mfs仓库 [root@server1 ~]# cd /etc/yum.repos.d/ [root@server1 yum.repos.d]# cat MooseFS.repo [MooseFS] name=MooseFS $releasever - $basearch
MFS安装文档
03-05
详细介绍了MFS及其安装说明，帮助初学者安装MFS分布式文件系统。
mfs安装配置文档.docx
05-20
下面是MFS安装配置文档的知识点总结： 一、MooseFS 工作原理分析 MooseFS 是一种分布式文件系统，由波兰公司 Gemius SA 于 2008 年 5 月 30 日正式推出。MooseFS 的设计目标是提供一个高可用、可扩展、可靠的...
MFS近期测试遇到故障的总结
流云随风
01-27 8017
         MFS近期测试故障点的总结：1、  在mfs1.5.12的版本中，对大批量的文件传输进行了测试，经过反复的测试测试对于大批量文件传输的情况，并跟进资源消耗的情况，但是测试的过程中出现了问题。          使用scp指令大批量的图片时，在mfs客户端忽然发现没有了挂载的分区，重新挂载时出现：      [root@mysqldb log]# mfsmount -h 192
Android fuse文件系统
frank_zyp的博客
04-25 1万+
一、fuse文件系统挂载 　　从android4.4 以来，第三方应用程序是不能再随便的访问sdcard，sdcard的权限管理是fuse 即用户空间文件系统（Filesystem in Userspace）来实现的，android 7.0版本中的直接在vold中，fork一个进程直接开启sdcard进程挂载fuse文件系统。并且在卸载sd的时候，在vold中卸载fuse文件系统。 　　在an
MFS排错
weixin_34358365的博客
07-13 199
[root@Nginx_Master mfs]# /app/server/mfs/sbin/mfsmaster start working directory: /app/server/mfs/var/mfs lockfile created and locked initializing mfsmaster modules ... loading sessions ... ok s...
MFS讲解（一）分布式文件系统的搭建及简单使用
qq_39376481的博客
05-24 947
一.概念讲解 1.MooseFS是一个具有容错性的网络分布式文件系统.它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 2.MooseFS是一个分布式存储的框架，其具有如下特性： Free(GPL) *通用文件系统，不需要修改上层应用就可以使用（那些需要专门api的dfs很麻烦！）。 可以在线扩容，体系架构可伸缩性极强。（官方的case可以扩到70台了！） 部署简单。（sa...
Error during artifact deployment. See server log for details解决办法
u011734144的专栏
07-03 4万+
我在Intellij idea 新建了一个项目，但是发现启动的时候报了如下错误： Error during artifact deployment. See server log for details 看这说法，应该就是artifact没有配置好 所以，点击“File” -> "Project structure" ， 选择Artifacts，点击＋号，选择Web ...
netstat: option requires an argument -- p
说文科技，做有态度的研究。
09-03 9701
netstat命令在mac上运行报错
mount命令+nfs挂载失败原因
findaway123的专栏
11-11 4万+
Mount 命令[转] mount [-afFhnrvVw] [-L] [-o] [-t>] [设备名] [加载点] 用法说明：mount可将指定设备中指定的文件系统加载到Linux目录下（也就是装载点）。可将经常使用的设备写入文件/etc/fastab,以使系统在每次启动时自动加载。mount加载设备的信息记录在/etc/mtab文件中。使用umount命令卸载设备时，记录将被清除。 常用
MFS文件系统详解及安装指南
然后，从源代码编译安装，使用`wget`下载MFS的tarball，解压后执行`./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs`进行配置，接着运行`make`和`make install`完成安装。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值