GFS2+ISCSI+CLVM分布式文件系统集群搭建记录

一、环境信息

Centos7系统

文件系统服务器两台 IP: 10.243.31.9 node3   IP: 10.243.31.10 node4

存储服务器 IP: 10.243.31.13 store

 

二、机器准备

   1、[node3&node4]增加机器别名：/etc/hosts

  

2、[node3&node4]关闭防火墙

systemctl stop firewalld.service

 

3、[node3&node4]关闭 NetworkManager

systemctl stop NetworkManager

 

4、[node3&node4]关闭selinux

setenforce 0

 

三、集群搭建

1.  安装集群软件

[node3&node4]# yum -y install pacemaker pcs

2. 启动服务并设置开机启动

[node3&node4]# systemctl start pcsd
[node3&node4]# systemctl enable pcsd

3. 修改集群管理员密码

[node3&node4]# passwd hacluster

4. 建立认证

[node3&node4]# pcs cluster auth  node3 node4
Username: hacluster
Password:
node3: Authorized
node4: Authorized

5. 配置集群

[node3&node4]# p pcs cluster setup --name ha_cluster node3 node4

6. 启动集群

[node3&node4]# pcs cluster start –all

7. 设置集群开机启动

[node3&node4]# pcs cluster enable –all

8. 查看集群状态

[node3&node4]# pcs status cluster
PCSD Status:
node3: Online
node4: Online

9. 查看corosync状态

[node3&node4]# pcs status corosync
Nodeid Votes Name
1 1 node3 (local)
2 1 node4

 

四、创建ISCSI共享存储

在store创建lun，将该lun同时映射到node3和node4 上。

 

五、配置CLVM和GFS2

1. 安装Fence、CLVM、GFS2包

[node3&node4]# yum -y install fence-agents-all lvm2-cluster gfs2-utils

2. 配置集群LVM

[node3&node4]# lvmconf –enable-cluster

3.重启(使CLVM生效)---可不做

[node3&node4]# reboot

4. 配置集群资源

[node3/node4]# pcs property set stonith-enabled=false

[node3/node4]# pcs property set no-quorum-policy=ignore

[node3/node4]# pcs resource create dlm ocf:pacemaker:controld allow_stonith_disabled=true op monitor interval=30s clone interleave=true ordered=true

[node3/node4]# pcs resource create clvmd ocf:heartbeat:clvm op monitor interval=30s clone interleave=true ordered=true

[node3/node4]# pcs constraint order start dlm-clone then clvmd-clone

[node3/node4]# pcs constraint colocation add clvmd-clone with dlm-clone

5. 禁止集群投票

[node3/node4]# pcs property set no-quorum-policy=freeze

 

六、创建CLVM并且格式化成GFS2

1. 创建物理卷

[node3/node4]# pvcreate /dev/sdxxxxx

2. 创建集群卷组

[node3/node4]# vgcreate -cy vg_cluster /dev/sdxxxxx

3. 创建逻辑卷

[node3/node4]# lvcreate -l100%FREE -n lv_cluster vg_cluster

4. 格式化成GFS2文档系统

[node3/node4]# mkfs.gfs2 -p lock_dlm -t ha_cluster:gfs2 -j 2 /dev/vg_cluster/lv_cluster

七、挂载实现共享存储

1. 在两个Apache服务器上安装 httpd

[node3&node4]# yum install -y httpd

2. 将共享存储加入集群资源中

[node3&node4]# mkdir /mnt/gfs2   首先创建挂载点

[node3&node4]# pcs resource create fs_gfs2 Filesystem device=”/dev/vg_cluster/lv_cluster” directory=” /mnt/gfs2” fstype=”gfs2” options=”noatime,nodiratime” op monitor interval=10s clone interleave=true

3. 设置CLVM和GFS2服务启动顺序

[node3/node4]# pcs constraint order start clvmd-clone then fs_gfs2-clone

4. 绑定CLVM和GFS2服务启动顺序

[node3/node4]# pcs constraint colocation add fs_gfs2-clone with clvmd-clone

5. 查看是否挂载上

[node3/node4]# df
/dev/mapper/vg_cluster-lv_cluster 4185696 34952 4150744 1% /mnt/gfs2

6. 检测是否存储同步

[node3]# echo ‘apache1’ > /mnt/gfs2/index.html
[node4]# cat /mnt/gfs2/index.html
apache1