Global file sytem Version2 简单测试

 

1.   测试目的

了解GFS2的元数据管理性能，测试其每秒可以创建的文件数量。

2.   测试环境

2.1硬件

三台刀片机:

node85     10.0.1.85     cluster management server

node87     10.0.1.87     cluster node1

node89     10.0.1.89     cluster node2

一个光纤盘阵（只用其中一块盘/dev/sdb）

2.2  软件

Redhat5.4, 三台机器统一安装此系统

2.3  测试工具

mdtest-1.8.3； 测试命令格式：mdtest –F –w 0 –I 5 –d /mnt/gfs2/0

3.   搭建过程

开始搜索网上文章，好多十几二十多页的，因为它们需要给gfs配置很全面的功能并且在上面跑一些服务程序，或者是模拟iscsi磁盘柜，我们只要做好GFS2集群，然后在节点上跑mdtest就OK了，所以相对简单的多。

3.1在三台机器上安装需要用到的软件包

         gfs-utils  kmod-gfs cman system-config-cluster  rgmanager   luci
ricci (luci所控制的集群节点需要启动此服务！)，各种包的作用如下：

²  rgmanager：管理集群服务和资源；

²  system-config-cluster:图形化的cluster配置工具，可以配置本机上的集群名字，资源，fence。和服务等(有了luci网页管理，这个可以不要);

²  cman： Cluster Manager; 集群管理，用来管理集群的成员，信息，和通知信息，启动或者关闭cman服务会控制fence服务，ccs服务，dlm等服务的启动或关闭。

²  ccs：Cluster Configuration Servcies Daemon；

²  gfs：global file system 红帽全局文件系统；

²  luci：一个web界面的cluster控制器，他可以通过ssl协议控制集群各个集群节点，可以在这个web界面对整个集群进行控制，启动集群服务，添加节点，删除节点，配置fence等操作，用来代替复杂的命令行操作。

 

3.2  修改集群各节点的/etc/hosts配置, 添加如下两行：

10.0.1.87       node87

10.0.1.89       node89

     3.3 在集群节点node87和node89上启动ricci服务：

service ricci start

chkconfig ricci on

Ø  PS：ricci服务是安装在集群节点上的，因为luci集群管理软件通过ricci软件才能和集群节点通信，并且进行配置。

3.4  在集群管理节点node85上启动luci服务,并添加登陆账号和密码：

service luci start

starting luci:                                             [确定]

Point your web browser to https://10.0.1.85:8084 to access luci

chkconfig luci start

luci_admin init    //设置账号及密码

 

         3.5登陆web集群管理页面创建集群

在ie浏览器中输入：http://10.0.1.85:8084

很好弄，进去就知道了，我这里因为不需要fence之类的其他功能，所以简单些，需要复杂配置可以参考：http://wenku.baidu.com/view/574220ea172ded630b1cb682.html 。

4.   测试

4.1挂载GFS2

格式化sas盘： gfs_mfs2 –p lock_dlm –t hosfore:gfs  –j 8  /dev/sdb

     格式化的时间比较长，150G的盘要三四分钟，耐心等待。

挂载gfs存储器到每个集群节点：mount -t gfs2 /dev/sdb /mnt/gfs2 

     这样在各个集群节点之间就可以共享/dev/sdb盘了。

4.2测试结果

客户端数量为1到5的测试均为在同一个node上的测试，由表1中客户端数量到达4个和5个的数据可以看出，当单个节点上的客户端数量达到4个以后，速度总和达到峰值，然后增加一个节点并在上面增加4个客户端，性能总和翻倍，增加第三个节点并再次增加4个客户端后，性能总和没有线性递增，这时应该是到达了GFS2磁盘的文件创建性能峰值5144次/秒。

 

表1. 每个client创建5000个文件的测试结果

clients	5k	Clients 分布
1	482	1
2	1338	2
3	1495	3
4	2064	4
5	2037	5
8	4187	4+4（2 nodes）
12	5144	4+4+4（3 nodes）