mfs java_mfs权威指南

1. 我在性能测试中间遇到些问题，因为我时间有限，所以希望大家一起来测试解决，群策群力。有什么问题请大家及时指出来，因为我也处在一个不断摸索的阶段。

2. mfs不多做介绍，具体细节请参考本版mfs实践文章http://bbs.chinaunix.net/thread-1643863-1-1.html，或者baidu,google 关键字  田逸。

3. 希望大家能提供更好的存储/文件系统的测试模型，来一起完善本文档。(热烈欢迎大家奉献测试脚本，测试用例等)。

4. 希望大家提供生产环境的实际案例，配置环境，脚本，监控机制等等。

5. 希望熟悉代码的朋友去看看mfs内部实现的机制。

6. 特别感谢田逸的文档http://sery.blog.51cto.com/10037/263515。

7. 特别感谢qq群战友:tt，灵犀，流云风，hzqbbc在qq群内对广大爱好者分享宝贵经验。

8. 特别感谢存储专家-《大话存储》的作者：冬瓜头 ，在我进行性能测试的时候，对我进行的指导。

9. 特别感谢qq群战友：高性能架构，CU ID:leo_ss_pku，制作更专业更精美的pdf版本：

MooseFS权威指南.pdf

(3.32 MB, 下载次数: 3514)， 大家也可以他的blog上浏览在线版本：http://www.himysql.com/doc/mfs.html

mfs优势：-1. Free(GPL)

0. 通用文件系统，不需要修改上层应用就可以使用(那些需要专门api的dfs好麻烦哦！)。

1. 可以在线扩容，体系架构可伸缩性极强。(官方的case可以扩到70台了！)

2. 部署简单。(sa们特别高兴，领导们特别happy！)

3. 体系架构高可用，所有组件无单点故障。(您还等什么？)

4. 文件对象高可用，可设置任意的文件冗余程度(提供比raid1+0更高的冗余级别)，而绝对不会影响读或者写的性能，只会加速哦！)

5. 提供Windows回收站的功能.(不怕误操作了，提供类似oralce 的闪回等高级dbms的即时回滚特性，oralce这些特性可是收费的哦！)

6. 提供类似Java语言的GC(垃圾回收).

7. 提供netapp，emc，ibm等商业存储的snapshot特性。

8. google filesystem的一个c实现。(google在前面开路哦！)

9. 提供web gui监控接口。

10. 提高随机读或写的效率(有待进一步证明)。

11. 提高海量小文件的读写效率(有待进一步证明)。

可能的瓶颈：0. master本身的性能瓶颈。(不太恰当的比方：类似mysql 主从复制，从的可以扩展，主的不容易扩展)。 (qq群战友 ：hzqbbc)

短期对策：按业务切分

1. 体系架构存储文件总数的可遇见的上限。

(mfs把文件系统的结构缓存到master的内存中，个人认为文件越多，master的内存消耗越大，8g对应2500kw的文件数，2亿文件就得64GB内存 )。(qq群战友 ：hzqbbc)

短期对策：按业务切分

2. 单点故障解决方案的健壮性。(qq群战友 ： tt, hzqbbc)

架构图

——————————————————

index

1. mfs master2. mfs  chunkserver

3. mfs client4. 系统管理

5. 性能测试

6. 参考文献6.1 测试数据

测试模型1

测试模型2

7. 感谢

8. 附录

9. 实际操作案例

10. 生产环境案例

11. web gui 监控

12. 官方关于1.6.x版本的介绍 (中文翻译：QQ群战友 Cuatre )

13. mfs官方英文FAQ(TC版)(提供者：QQ群战友 灵犀)

14. mfs master 热备方案

15. mfs nagios监控程序(提供者：QQ群战友 流云风)

————————————————

环境：

master          1台

chunkserver    3台

client            1台

os：

centos5.3 x64

1 mfs master

1.1 安装mfs master

wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz

tar zxvf mfs-1.6.11.tar.gz

cd mfs-1.6.11

useradd mfs -s /sbin/nologin

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

make

make install

cd /usr/local/mfs/etc/

cp mfsmaster.cfg.dist mfsmaster.cfg

cp mfsexports.cfg.dist mfsexports.cfg

vim mfsmaster.cfg

vim mfsexports.cfg

cd ..

cd var/

mfs/

cp metadata.mfs.empty metadata.mfs

cat metadata.mfs

/usr/local/mfs/sbin/mfsmaster start

ps axu | grep mfsmaster

lsof -i

tail -f /var/log/messages

1.2 启动master服务

/usr/local/mfs/sbin/mfsmaster start

working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmaster modules ...

loading sessions ... ok

sessions file has been loaded

exports file has been loaded

loading metadata ...

create new empty filesystemmetadata file has been loaded

no charts data file - initializing empty charts

master metaloggers module: listen on *:9419

master chunkservers module: listen on *:9420

main master server module: listen on *:9421

mfsmaster daemon initialized properly

1.3. 停止master服务

/usr/local/mfs/sbin/mfsmaster -s

1.4  启动和停止web gui

启动： /usr/local/mfs/sbin/mfscgiserv

停止： kill /usr/local/mfs/sbin/mfscgiserv

1.5  相关配置文件

vim  mfsexports.cfg

192.168.28.0/24  . rw

192.168.28.0/24  /       rw

2. mfs  chunkserver

2.1 从块设备创建本地文件系统

fdisk -l

mkfs.ext3 /dev/sdb

mkdir /data

chown mfs:mfs /data

mount -t ext3 /dev/sdb /data

df -ah

/dev/sdb              133G  188M  126G   1% /data2.2 创建50G的loop device文件

df -ah

dd if=/dev/zero of=/opt/mfs.img bs=1M count=50000

losetup /dev/loop0 mfs.img

mkfs.ext3 /dev/loop0

mkdir /data

chown mfs:mfs /data

mount -o loop /dev/loop0 /data

df -ah

2.3 安装chunkserver

wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz

tar zxvf mfs-1.6.11.tar.gz

cd mfs-1.6.11

useradd mfs -s /sbin/nologin

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

make

make install

cd /usr/local/mfs/etc/

cp mfschunkserver.cfg.dist mfschunkserver.cfg

cp mfshdd.cfg.dist mfshdd.cfg

2.4 启动chunkvserver

/usr/local/mfs/sbin/mfschunkserver start

ps axu |grep mfs

tail -f /var/log/messages

2.5 停止chunksever

/usr/local/mfs/sbin/mfschunkserver stop

3. mfs client

3.1 安装fuse

yum install kernel.x86_64 kernel-devel.x86_64 kernel-headers.x86_64

###reboot server####

yum install fuse.x86_64 fuse-devel.x86_64 fuse-libs.x86_64

modprobe fuse

3.2 安装mfsclient

wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz

tar zxvf mfs-1.6.11.tar.gz

cd mfs-1.6.11

useradd mfs -s /sbin/nologin

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount

make

make install

3.3 挂载文件系统

cd /mnt/

mkdir mfs

/usr/local/mfs/bin/mfsmount /mnt/mfs/ -H 192.168.28.242

mkdir mfsmeta

/usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta/ -H 192.168.28.242

df -ah

4.系统管理

4.1 管理命令

设置副本 的份数，推荐3份

/usr/local/mfs/bin/mfssetgoal -r 3 /mnt/mfs

查看某文件

/usr/local/mfs/bin/mfsgetgoal  /mnt/mfs

查看目录信息

/usr/local/mfs/bin/mfsdirinfo -H /mnt/mfs

5. 性能测试

5.1 mfs

1. 大文件(block=1M  byte)

dd if=/dev/zero of=1.img bs=1M count=5000

5242880000 bytes (5.2 GB) copied, 48.8481 seconds, 107 MB/s

2. 小文件( 50 byte * 100w个 * 1 client)    ( 1000 * 1000  )写入

real    83m41.343s

user    4m17.993s

sys    16m58.939s

列表

time find ./ -type f | nl | tail

999999  ./0/1

1000000 ./0/0

real    0m39.418s

user    0m0.721s

sys    0m0.225s

删除

time rm -fr *

real    6m35.273s

user    0m0.394s

sys    0m23.546s

3. 小文件( 1K byte * 100w个 * 100 client)    { 1000 * 1000 )

写入(100client)

time ../../p_touch_file.sh

real    22m51.159s

user    4m42.850s

sys    18m41.437s

列表(1client)

time find ./ | nl | tail

real    0m35.910s

user    0m0.628s

sys    0m0.204s

删除(1client)

time rm -fr *

real    6m36.530s

user    0m0.697s

sys    0m21.682s

4. 小文件(1k byte* 100w个 * 200 client)  { 1000 * 1000 )

time ../../p_touch_file.sh

real    27m56.656s

user    5m12.195s

sys    20m52.079s

5. 小文件(1k byte* 100w个 * 1000 client)  { 1000 * 1000 )

写入

time ../../p_touch_file.sh

real    30m30.336s

user    5m6.607s

sys    21m

5.2 本地磁盘

1. 大文件(block=1M  byte)

dd if=/dev/zero of=1.img bs=1M count=5000

5242880000 bytes (5.2 GB) copied, 58.7371 seconds, 89.3 MB/s

2. 小文件(50 byte * 100w个 * 1 client)    { 1000 * 1000  )

写入

time ../touch_file.sh

real  17m47.746s

user 4m54.068s

sys  12m54.425s

列表

time find ./ -type f | nl | tail

1000000 ./875/582

1000001 ./875/875

real 0m9.120s

user 0m1.102s

sys 0m0.726s

删除time rm -fr *

real 0m37.201s

user 0m0.432s

sys 0m15.268s

5.3 基准测试(第一次)5.3.1  随机读

5.3.2  随机写

5.3.3 顺序读

5.3.4  顺序写

5.4 基准测试(第2次)

5.4.1 随机读