GlusterFS分布式集群文件系统安装、配置及性能测试

1.版本历史

Revision   1.0            

 

2.    参考文档

[1] http:// www.gluster.org
[2] http://wenzizone.cn/?p=8

3.    前言

Glusterfs是一个具有可以扩展到几个PB数量级的分布式集群文件系统。它可以把多个不同类型的存储块通过Infiniband RDMA或者TCP/IP汇聚成一个大的并行网络文件系统。
考虑到公司图片服务器后期的升级，我们对Glusterfs进行了比较详细的技术测试。

4.    测试环境

我们采用八台老的至强服务器组成了测试环境，配置为内存1-2G不等，每台有两块以上的73G SCSI硬盘。
同时每服务器配有两块网卡，连接至两个100M以太网交换机上。192.168.1.x段连接的是cisco 2950，另一个段是一个d-link交换机，服务器间的传输主要是通过cisco 2950，以保证网络的稳定性。

IP地址分别为:192.168.1.11~192.168.1.18 及 192.168.190.11~192.168.190~18。

所有服务器的操作系统都是Centos linux 5.3，安装DAG RPM Repository的更新包。DAG RPM Repository下载页面为：http://dag.wieers.com/rpm/packages/rpmforge-release/。
安装方式：

# wget http://dag.wieers.com/rpm/packages/rpmforge-release/rpmforge-release-0.3.6-1.el5.rf.i386.rpm
# rpm –ivh rpmforge-release-0.3.6-1.el5.rf.i386.rpm

5.    GlusterFS的安装

5.1.    服务器端安装

我们通过rpm编译方式来安装GlusterFS，因为做为群集文件系统，可能需要在至少10台以上的服务器上安装GlusterFS。每台去源码编译安装太费功夫，缺乏效率。在一台编译为rpm包，再复制到其它的服务器上安装是最好的选择。

GlusterFS需要fuse支持库，需先安装:
# yum -y install fuse fuse-devel httpd-devel libibverbs-devel

下载GlusterFS源码编译rpm包。
# wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.0.tar.gz
# tar -xvzf glusterfs-2.0.0.tar.gz
# cp glusterfs-2.0.0.tar.gz /usr/src/redhat/SOURCES/
# rpmbuild -bb glusterfs-2.0.0/glusterfs.spec
# cp /usr/src/redhat/RPMS/i386/glusterfs* .
# rm glusterfs-debuginfo-2.0.0-1.i386.rpm
# rpm -ivh glusterfs-*.rpm
安装完成，并把编译好的rpm包复制到其它服务器上安装。

5.2.    客户端安装

客户端和服务器有一点点不同，特别需要注意的是在客户端这边，不但需要fuse库，并且需要一个fuse内核模块。好在DAG RPM Repository内已有用DKMS方式编译好的内核模块包，我们直接安装便可。
DKMS(Dynamic Kernel Module Support)是dell发起的一个项目，目的是希望能在不编译内核的情况下，动态的更新内核模块，最重要的是，通过DKMS方式编译的内核模块，由于是由DKMS管理的，在内核升级后，无需重新编译，仍旧可用。这种方式可大大方便以后的内核更新。
GlusterFS可直接用上面rpm编译后的包安装:

# yum -y install dkms dkms-fuse fuse fuse-devel httpd-devel libibverbs-devel
# rpm -ivh glusterfs-*.rpm

6.    GlusterFS的典型架构图



7.    GlusterFS常用translators(中继)

7.1.1.    storage/posix

type storage/posix
storage/posix的作用是指定一个本地目录给GlusterFS内的一个卷使用。
配置例子：
volume posix-example
type