KVM+GFS分布式存储系统构建KVM高可用

Glusterfs 简介

​ GlusterFS 分布式文件系统是由Gluster公司的创始人兼首席技术官Anand BabuPeriasamy编写。一个可扩展的分布式文件系统，可用于大型的、分布式的、对大量数据进行访问的应用。它可运行于廉价的普通硬件上，并提供容错功能；也可以给大量的用户提供总体性能较高的服务。GlusterFS可以根据存储需求快速调配存储，内含丰富的自动故障转移功能，只.摒弃集中元数据服务器的思想。适用丁数据密集型任务的可扩展网络文件系统，且免费开源。

Glusterfs 特点

• GlusterFS 体系结构，将计算、存储和 1/O 资源聚合到全局名称空间中，每台服务器都被视为节点，通过添加附加节点或向每个节点添加额外存储米扩展容量。通过在更多节点之间部署存储来提高性能。
• GlusterFS支持基于文件的镜像和复制、分条、负载平衡、故障转移、调度、磁盘缓存、存储配额、卷快照等功能。
• GlusterFS各客户端之间无连接，本身依赖于弹性哈希算法，而不是使用集中式或
• 分布式元数据模型。
• GlusterFS 通过各种复制选项提供数据可靠性和可用性，例如复制卷、分布卷。

KVM+GFS分布式存储系统构建KVM高可用

KVM+GFS部署

主机	操作系统	主机名/IP地址	主要软件
服务器	CentOS7.9	node1/192.168.10.101	GlusterFS
服务器	CentOS7.9	node2/192.168.10.102	GlusterFS
服务器	CentOS7.9	node3/192.168.10.103	GlusterFS
服务器	CentOS7.9	node4/192.168.10.104	GlusterFS
服务器	CentOS7.9	kvm01/192.168.10.105	KVMGluster-client
服务器	CentOS7.9	kvm02/192.168.10.106	KVMGluster-client

部署GFS高可用分布式存储环境

#关闭各节点的防火墙与SELinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#为所有节点修改hosts文件
[root@node1 ~]# vim /etc/hosts
192.168.10.101 node1
192.168.10.102 node2
192.168.10.103 node3
192.168.10.104 node4
192.168.10.105 kvm01
192.168.10.106 kvm02
#所有GFS节点设置
#安装GFS 需使用阿里yum仓库
[root@node1 ~]# yum -y install centos-release-gluster 
[root@node1 ~]# vim /etc/yum.repos.d/CentOS-Gluster-9.repo 
#更改该行
baseurl=http://mirrors.aliyun.com/$contentdir/$releasever/storage/$basearch/gluster-9/
[root@node1 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
#启动 GlusterFS
[root@node1 ~]# systemctl start glusterd 
[root@node1 ~]# systemctl enable glusterd.service
#以下操作仅为node1 
[root@node1 ~]# gluster peer probe node2 
peer probe: success. 
[root@node1 ~]# gluster peer probe node3 
peer probe: success. 
[root@node1 ~]# gluster peer probe node4 
peer probe: success.
#查看集群状态
[root@node1 ~]# gluster peer status
#创建 GlusterFS 分布式复制卷

#在所有节点创建/data 目录
[root@node1 ~]# mkdir /data
#创建分布式复制卷。 
[root@node1 ~]# gluster volume create models replica 2 node1:/data node2:/data node3:/data node4:/data force
#启动 models 卷 
[root@node1 ~]# gluster volume start models
#查看 models 卷
[root@node1 ~]# gluster volume info models

为KVM主机部署GFS存储

#KVM挂载 glusterfs 卷(所有kvm主机上都配置)
[root@kvm01 ~]# mkdir /kvmdata  #创建挂载目录
[root@kvm01 ~]# mount -t glusterfs node1:models /kvmdata/ 
#设置永久挂载
[root@localhost ~]# vi /etc/fstab
node1:models        /kvmdata     glusterfs  defaults,_netdev  0 0
#查看是否挂载成功
[root@kvm01 ~]# df
#在kvm01上安装虚拟机
[root@kvm01 ~]# cp CentOS-7-x86_64-GenericCloud-2009.qcow2 /kvmdata/test01.qcow2
#部署虚拟机
[root@kvm01 ~]# virt-customize -a /kvmdata/test01.qcow2 --root-password password:aptech  #设置密码
[root@kvm01 ~]# virt-install --name=test01 -r 1024 --vcpus=1 --disk device=disk,bus=virtio,path='/kvmdata/test01.qcow2',size=10 -w bridge:br0 --virt-type=kvm --boot hd
#配置kvm01和kvm02的无密码登录环境
[root@kvm01 ~]# ssh-keygen -t rsa
[root@kvm01 ~]# ssh-copy-id kvm02
[root@kvm01 ~]# ssh-copy-id kvm01
#kvm02上操作
[root@kvm02 ~]# ssh-keygen -t rsa
[root@kvm02 ~]# ssh-copy-id kvm01
[root@kvm02 ~]# ssh-copy-id kvm02

测试虚拟机迁移

#将test01虚拟机从kvm01主机迁移到kvm02主机
[root@kvm01 ~]# virsh migrate --persistent --undefinesource test01 qemu+ssh://kvm02/system
[root@kvm01 ~]# virsh list --all
#将test01从kvm02主机迁移到kvm01主机
[root@kvm01 ~]# virsh --connect=qemu+ssh://kvm02/system migrate --persistent --undefinesource test01 qemu+ssh://kvm01/system

创建虚拟机资源

#为配置文件创建共享目录
[root@kvm01 ~]# mkdir /kvmdata/config
#将test01的配置文件拷贝到共享目录
[root@kvm01 ~]# cp /etc/libvirt/qemu/test01.xml /kvmdata/config/
#取消定义test01虚拟机
[root@kvm01 ~]# virsh shutdown test01
[root@kvm01 ~]# virsh undefine test01
[root@kvm01 ~]# virsh list --all
#重新定义test01虚拟机
[root@kvm02 ~]# virsh define /kvmdata/config/test01.xml 
[root@kvm01 ~]# virsh start test01
[root@kvm01 ~]# virsh list --all

部署KVM群集

#该软件包下载也需要阿里yum源
[root@kvm01 ~]# yum -y install pcs pacemaker fence-agents-all
#设置密码 2个kvm节点需一致
[root@kvm01 ~]# passwd hacluster #设置密码为aptech
[root@kvm01 ~]# systemctl start pcsd
[root@kvm01 ~]# systemctl enable pcsd
#以下在kvm01上操作
#认证组成群集的节点
[root@kvm01 ~]# pcs cluster auth kvm01 kvm02 -u hacluster -p aptech 
#自动生成配置文件
[root@kvm01 ~]# pcs cluster setup --name cluster-kvm kvm01 kvm02
#启动群集
[root@kvm01 ~]# pcs cluster start --all
[root@kvm01 ~]# pcs cluster enable --all
#在任意一个kvm主机上查看pcs群集状态
[root@kvm01 ~]# pcs status
#关闭隔离设备的功能
pcs property set stonith-enabled=false
#向群集中添加资源
[root@kvm01 ~]# pcs resource create test01 VirtualDomain hypervisor="qemu:///system" config="/kvmdata/config/test01.xml" migration_transport=ssh meta allow-migrate="true" 
#查看当前群集状态
[root@kvm01 ~]# pcs status
test01	(ocf::heartbeat:VirtualDomain):	Started kvm01 #有该行表示资源添加成功

KVM群集验证

#KVM群集验证
#将其中一个节点关闭，查看群集状态
[root@kvm01 ~]# pcs cluster stop kvm01
[root@kvm02 ~]# pcs status
Online: [ kvm02 ]
OFFLINE: [ kvm01 ]
#查看后再开启，让群集正常运行
[root@kvm01 ~]# pcs cluster start kvm01
#在两台kvm主机上分别查看虚拟机状态
#kvm01的状态
[root@kvm01 ~]# virsh list --all
 Id    名称                         状态
----------------------------------------------------
 6     test01                         running

#kvm02的状态
[root@kvm02 ~]# virsh list --all
 Id    名称                         状态
----------------------------------------------------
#删除资源test01的约束
[root@kvm01 ~]# pcs constraint		##查询限制情况，如下显示结果为无限制
Location Constraints:
Ordering Constraints:
Colocation Constraints:
Ticket Constraints:
[root@kvm01 ~]# pcs resource clear test01 #如果 : 号后有内容则执行该命令
#手动迁移
[root@kvm01 ~]# pcs resource move test01 
#kvm01上查看状态
[root@kvm01 ~]# virsh list --all
 Id    名称                         状态
----------------------------------------------------
 -     test01                         关闭
 #查看状态发现test01运行在kvm02上
 [root@kvm01 ~]# pcs status
 test01	(ocf::heartbeat:VirtualDomain):	Started kvm02
 #kvm02上查看状态
 [root@kvm02 ~]# virsh list --all
 Id    名称                         状态
----------------------------------------------------
 2     test01                         running
 #将kvm02挂起，模拟故障
 #查看kvm01中的状态 发现test01 故障转移回到kvm01了
 [root@kvm01 ~]# pcs status
  test01	(ocf::heartbeat:VirtualDomain):	Started kvm01