GPFS环境搭建

1.安装相关依赖包

[root@localhost ~]# yum install -y compat-libstdc++-33 rpm-build kernel-headers kernel-devel imake gcc-c++  libstdc++ RedHat-lsb ksh

2.在每台主机添加hosts主机名解析,保证每台主机hosts文件一致(每台主机都要执行)

[root@localhost ~]# echo "192.168.1.2  test1">>/etc/hosts

[root@localhost ~]# echo "192.168.1.3  test2">>/etc/hosts

3.主机间配置双向互信(每台主机都要执行)

[root@localhost ~]# ssh-keygen -t rsa

[root@localhost ~]# ssh-copy-id root@192.168.1.2

[root@localhost ~]# ssh-copy-id root@192.168.1.3

4.检查主机的时间同步

在两台主机执行date命令查看时间是否一致，如不一致需修改为一致，可以配置NTP服务器用于时间的同步。

5.安装GPFS软件(每台主机都要执行)

[root@localhost ~]# tar -xvf gpfs.tar

[root@localhost ~]# cd /gpfs/base

[root@localhost~]#rpm -ivh gpfs.base-3.5.0-0.x86_64.rpm gpfs.docs-3.5.0-0.noarch.rpm  gpfs.gpl-3.5.0-0.noarch.rpm  gpfs.msg.en_US-3.5.0-0.noarch.rpm

安装GPFS基础包

[root@localhost~]# cd /gpfs/fp

[root@localhost~]#rpm -Uvh gpfs.base-3.5.0-24.x86_64.update.rpm gpfs.gpl-3.5.0-24.noarch.rpm gpfs.docs-3.5.0-24.noarch.rpm  gpfs.msg.en_US-3.5.0-24.noarch.rpm

安装GPFS升级包

6.编译安装GPFS软件(每台主机都要执行)

[root@localhost~]# cd /usr/lpp/mmfs/src

[root@localhost~]# make LINUX_DISTRIBUTION=REDHAT_AS_LINUX Autoconfig

[root@localhost~]# make World

[root@localhost~]# make InstallImages

[root@localhost~]# make rpm

结尾Wrote: /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-696.el6.x86_64-3.5.0-24.x86_64.rpm标识的rpm生成位置

[root@localhost~]# cd /root/rpmbuild/RPMS/x86_64/

[root@localhost~]# rpm -ivh gpfs.gplbin-2.6.32-696.el6.x86_64-3.5.0-24.x86_64.rpm

[root@localhost~]# echo 'export PATH=/usr/lpp/mmfs/bin:$PATH'>>/etc/profile

添加GPFS环境变量，注意使用单引号

[root@localhost~]# source /etc/profile

7.创建集群(其中一个节点执行即可)

[root@localhost~]# echo "test1:quorum-manager">>/tmp/gpfs_node.txt

[root@localhost~]# echo "test2:quorum-manager">>/tmp/gpfs_node.txt

[root@localhost~]# mmcrcluster -N /tmp/gpfs_node.txt -p test1 -s test2 -r /usr/bin/ssh -R /usr/bin/scp -C GPFS_test

创建集群

[root@localhost~]# mmchlicense server --accept -N test1,test2

给集群节点加入license

[root@localhost~]# mmstartup -a

启动集群

[root@localhost~]# mmgetstate -a

查看集群状态，所有节点为active，则集群正常启动，此间注意iptables的影响

Node number  Node name        GPFS state
------------------------------------------
       1      test1     active
       2      test2     active

8.创建NSD共享磁盘（后端存储盘需要提前映射到两台主机上）(其中一个节点执行即可)

[root@localhost~]# echo "/dev/sdb:test1::dataAndMetadata:1:sharedisk0">>/tmp/gpfsdisk.txt

[root@localhost~]# echo "/dev/sdc:test1::dataAndMetadata:1:sharedisk1">>/tmp/gpfsdisk.txt

[root@localhost~]# echo "/dev/sdd:test1::dataAndMetadata:1:sharedisk2">>/tmp/gpfsdisk.txt

[root@localhost~]# echo "/dev/sde:test1::dataAndMetadata:1:sharedisk3">>/tmp/gpfsdisk.txt

[root@localhost~]# echo "/dev/sdf:test1::dataAndMetadata:1:sharedisk4">>/tmp/gpfsdisk.txt

[root@localhost~]# mmcrnsd -F /tmp/gpfsdisk.txt

[root@localhost~]# mmchconfig tiebreakerDisks="sharedisk0;sharedisk2;sharedisk4"

创建仲裁盘

[root@localhost~]# mkdir /testgpfs

[root@localhost~]# mmcrfs /testgpfs testgpfs -F /tmp/gpfsdisk.txt -A yes -B 512K

创建GPFS文件系统

[root@localhost~]# mmmount all -a

所有节点挂载GPFS文件系统

[root@localhost~]# df -h

查看挂载点是否正常，注另一节点需要初始化数据，容量显示方面会有些延迟

[root@localhost~]# mmchconfig autoload=yes

设置GPFS文件系统自动挂载