linux分布式文件部署,Linux的企业-分布式文件系统mfs（moosefs）搭建与配置

一、MFS 特性：

1. Free(GPL)

2. 通用文件系统，不需要修改上层应用就可以使用

3. 可以在线扩容，体系架构可伸缩性极强。

4. 部署简单。

5. 高可用，可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能，只会加速)

6. 可回收在指定时间内删除的文件( “ 回收站 ” 提供的是系统级别的服务，不怕误操作了，提供类似 oralce 的闪回等高级 dbms 的即时回滚特性)

7. 提供 netapp，emc，ibm 等商业存储的 snapshot 特性。(可以对整个文件甚至在正在写入的文件创建文件的快照)

8. google filesystem 的一个 c 实现。

9. 提供 web gui 监控接口。

10. 提高随机读或写的效率。

11. 提高海量小文件的读写效率。

可能的瓶颈:

1. master 本身的性能瓶颈。mfs 系统 master 存在单点故障如何解决?

moosefs+drbd+heartbeat来保证 master 单点问题?不过在使用过程中不可能完全不关机和间歇性的网络中断!

2. 体系架构存储文件总数的可遇见的上限。(mfs 把文件系统的结构缓存到 master 的内存中，文件越多，master 的内存消耗越大，8g 对应 2500w 的文件数，2 亿文件就得 64GB 内存 )。

master 服务器 CPU 负载取决于操作的次数,内存的使用取决于文件和文件夹的个数。

二、MFS 文件系统结构:

包含 4 种角色:

管理服务器 managing server (master)

元数据日志服务器 Metalogger server(Metalogger)

数据存储服务器 data servers (chunkservers)

客户机挂载使用 client computers

各种角色作用：

1. 管理服务器：负责各个数据存储服务器的管理，文件读写调度，文件空间回收以及恢复，多节点拷

贝。

2. 元数据日志服务器： 负责备份 master 服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在 master server 出问题的时候接替其进行工作。

3. 数据存储服务器：负责连接管理服务器，听从管理服务器调度，提供存储空间，并为客户提供数据传输。

4. 客户端：通过 fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器，看起来共享的文件系统和本地 unix 文件系统使用一样的效果。

原始的读/写速度很明显是主要取决于所使用的硬盘的性能、网络的容量和拓扑结构的,使用的硬

盘和网络的吞吐量越好,整个系统的性能也就会越好。

三.mfs的安装配置

1.配置环境

redhat6.5

servre1：master 172.25.50.1 mfsmaster

server2：chunk  172.25.50.2

server2：chunk  172.25.50.3

真机client：172.25.50.250

2.将mfs源码包变为rpm包安装

安装rpm-build软件

创建rpm包时需要的包依赖

3.在server1上安装mfsmaster

4.使用mfs分布式文件系统需要做好解析

master端 设置为mfsmaster

5.mfsmaster端无需配置，直接启动

master端三个端口正常启动，cgi web图形端口已经打开

6.在客户端做好解析，网页访问

四.server2和server3配置chunk

1.server2安装chunk

安装包依赖

2.server2配置解析

3.配置共享点chunk1

权限限制，在启动chunk server前，需确保用户mfs有权限读写将要被挂载的分区

4.启动chunk

查看数据

4.server3上的chunk配置和server2一样，共享点为chunk2

五.客户端连接

1.安装mfs 客户端软件，配置解析

2.创建挂载点并挂载mfsmount

3. 在/mnt/mfs创建两个目录，并设置其文件存储份数

将目录dir1的储存份数设置为1

4.测试

拷贝passwd文件，查看信息：

dir1一份 在server2上

dir2二份 在server2和server3上

浏览器查看server2和server3

注：关闭一个chunkserver2(172.25.50.2)后，dir1无法查看，因为只存了一份在sevrer2上，但dir2没有影响，因为存了2份，chunkserver2重新启动后，恢复正常。

5.恢复垃圾箱文件：

误删：

[root@foundtion50 mfs]# rm -fr /mnt/mfs/dir2/passwd

[root@foundtion50 mfs]# mfsgettrashtime dir2  #查看垃圾箱中文件的保留时间

dir2: 86400        ##86400s=1day

[root@foundtion50 mfs]# mkdir /mnt/mfsdeta  #创建目录

[root@foundtion50 ~]# ll -d /mnt/mfsdeta/

drwxr-xr-x 2 root root 4096 Sep 19 18:40 /mnt/mfsdeta/

[root@foundtion50 ~]# mfsmount -m /mnt/mfsdeta/#挂载

mfsmaster accepted connection with parameters: read-write,restricted_ip

[root@foundtion50 ~]# cd /mnt/mfsdeta/

[root@foundtion50 mfsdeta]# ls

sustained  trash

[root@foundtion50 mfsdeta]# cd trash/

[root@foundtion50 trash]# find -type f

./004/00000004|dir2|passwd

[root@foundtion50 trash]# mv ./004/00000004\|dir2\|fstab undel/    #恢复误删文件

[root@foundtion50 trash]# ls /mnt/mfs/dir2/

passwd