RHCS集群套件——ISCSI/SCSI实现存储共享、CLVM/GFS2集群文件系统部署

此次环境还是基于上篇博客：RHCS集群套件——Luci/Ricci实现Web高可用集群

一、搭建环境

三台redht6.5的虚拟机。

server1 配置luci集群管理界面，用来配置和管理集群。
server1、server2 集群节点，配置ricci。
server3 配置共享存储

二、搭建步骤

1、server3上安装共享存储所需要的软件（高级yum源）

yum install scsi-* -y

server3添加一块新的硬盘设备，用于共享

 fdisk -l

2、在server1、server2上安装客户端iscsi

yum install iscsi-* -y

server1

server2

3、在server3上配置共享策略，开启服务，查看

vim /etc/tgt/targets.conf 

<target iqn.2019-04.com.example:server.target1>
    backing-store /dev/vdb		#确定共享的磁盘
</target>

/etc/init.d/tgtd start	#启动服务

tgt-admin -s

4、在server1、server2上查看并激活共享的存储

iscsiadm -m discovery -t st -p 172.25.70.3		#查看共享存储
iscsiadm -m node -l			#激活共享存储
fdisk -l

server1


server2


5、在server1、server2上下载mysql

[root@server1 ~]# yum install mysql-server -y
[root@server2 ~]# yum install mysql-server -y

server1

server2

6、格式化共享设备（只在一台设备上操作）

[root@server1 ~]# mkfs.ext4 /dev/sdb

7、在server1、server2上更改mysql目录的权限

server1:

[root@server1 ~]# mount /dev/sdb /var/lib/mysql/
[root@server1 ~]# ll -d /var/lib/mysql/
drwxr-xr-x 3 root root 4096 Apr 22 14:20 /var/lib/mysql/
[root@server1 ~]# chown mysql.mysql /var/lib/mysql/
[root@server1 ~]# ll -d /var/lib/mysql/
drwxr-xr-x 3 mysql mysql 4096 Apr 22 14:20 /var/lib/mysql/
[root@server1 ~]# 

server1

server2

8、检测服务能否正常开启

[root@server1 ~]# /etc/init.d/mysqld start
[root@server1 ~]# /etc/init.d/mysqld stop
[root@server1 ~]# umount /dev/sdb

9、将apache的单线程关掉，并且把apache服务组资源停掉

将Run Exclusive的勾去掉，并且重新submit。

Disabled service Apache

也可以用命令：

clusvcadm -d Apache

10、浏览器配置（先ip后挂载再httpd服务）
1、在Failover Domains中添加dbfail


2、在Resources中添加IP Address,File System,Script资源。

IP Address

File System

Script


3、在Service Groups中添加sql服务组

4、开启sql



11、测试

[root@server2 ~]# mysql -p
===========================
mysql> SHOW DATABASES;
mysql> QUIT
Bye

clusvcadm -e Apache		#启动Apache服务组
clusvcadm -r Apache -m server2	#将Apache服务组切到server2
clusvcadm -d Apache		#关闭Apache服务组

三、CLVM/GFS2集群文件系统部署

前言：

首先将上个实验的apache、sql服务组的资源停掉

clusvcadm -d Apache
clusvcadm -d sql
clustat 

1、设置CLVM服务开机自启动

lvmconf --enable-cluster
cat /etc/lvm/lvm.conf | grep locking_type		#为3则自启动

2、划分物理卷、逻辑卷组、逻辑卷

pvcreate /dev/sdb
vgcreate clustervg /dev/sdb
lvcreate -L 4G -n demo clustervg
lvs

3、格式化逻辑卷为GFS2集群文件系统

[root@server1 ~]# mkfs.gfs2 -t HA:mygfs2 -p lock_dlm -j 2 /dev/clustervg/demo 
==============================================================================
This will destroy any data on /dev/clustervg/demo.
It appears to contain: symbolic link to `../dm-2'

Are you sure you want to proceed? [y/n] y

 mkfs.gfs2 
 	-j #: 指定日志区域的个数，有几个就能够被几个节点所挂载； 
 	-J #: 指定日志区域的大小，默认为128MB; 
 	-p {lock_dlm|lock_nolock}：所使用的锁协议名称，集群需要使用lock_dlm； 
 	-t <name>: 锁表的名称
 			   格式为clustername:fsname, clustername为当前节点所在的集群的名称
 			   这也是为什么要使用RHCS；fsname文件系统名称，自定义，要在当前集群惟一，这也叫锁表名称，表明是分布式锁的范围。

gfs2_tool sb /dev/clustervg/demo all

4、挂载设备，更改目录的权限

mount /dev/clustervg/demo /var/lib/mysql/
ll -d /var/lib/mysql/
chown mysql.mysql /var/lib/mysql/
ll -d /var/lib/mysql/
blkid

5、测试多点挂载
server1：

mount /dev/clustervg/demo /var/lib/mysql/
[root@server1 mysql]# pwd
/var/lib/mysql
[root@server1 mysql]# cp /etc/passwd .
[root@server1 mysql]# ls
passwd
[root@server1 mysql]# 

server2:

[root@server2 ~]# cd /var/lib/mysql/
[root@server2 mysql]# ls
passwd
[root@server2 mysql]# 

6、将组文件永久挂载在/var/lib/mysql

vim /etc/fstab
===============
UUID="7c3da294-a84f-2f87-3592-c04263b70fa2"     /var/lib/mysql  gfs2    _netdev 0 0		#UUID可以通过blkid查看
====================================================================================
mount -a

7、更改浏览器设置

server1、server2：

更改之前先卸载逻辑卷：

umount /dev/clustervg/demo

先在Service Groups—sql中删除 Filesystem：

修改完，submit，很重要！！

2、删除集群资源中的dbdata
3、重新添加集群资源


4、在Service Groups——sql中添加更改后的gfs2的dbdata：

修改完，submit，很重要！！

8、测试

启动sql服务组