KVM+GFS分布式存储系统构建KVM高可用

于 2024-05-26 11:33:43 发布
阅读量1.1k 收藏 11
点赞数 20
文章标签： 分布式 KVM+GFS高可用架构 KVM 虚拟化 操作系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73059729/article/details/139212650
版权

KVM+GFS分布式存储系统构建KVM高可用

文章目录

资源列表

操作系统配置主机名IP所需软件
CentOS 7.92C4Gkvm192.168.93.11GlusterFS 9.6
CentOS 7.92C4Gnode1192.168.93.101GlusterFS 9.6
CentOS 7.92C4Gnode2192.168.93.102GlusterFS 9.6
CentOS 7.92C4Gnode3192.168.93.103GlusterFS 9.6
CentOS 7.92C4Gnode4192.168.93.104GlusterFS 9.6

基础环境

  • 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
  • 关闭内核安全机制
setenforce 0
sed -i "s/^SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config
  • 修改主机名
hostnamectl set-hostname kvm
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
hostnamectl set-hostname node4
  • 绑定主机名解析
cat >> /etc/hosts << EOF
192.168.93.11 kvm
192.168.93.101 node1
192.168.93.102 node2
192.168.93.103 node3
192.168.93.104 node4
EOF

一、安装部署KVM

  • 开启虚拟化支持

1.1、安装KVM

# 安装GNOME桌面环境，如果已经是桌面环境可以省略
yum -y groupinstall "GNOME Desktop"
# 安装KVM模块
yum -y install qemu-kvm
# 安装KVM调试工具，可以省略
yum -y install qemu-kvm-tools
# 安装构建虚拟机的命令行工具
yum -y install virt-install
# 安装qemu组件，创建磁盘、启动虚拟机等
yum -y install qemu-img
# 安装网络支持工具
yum -y install bridge-utils
# 安装虚拟机管理工具
yum -y install libvirt
# 安装图形化管理虚拟机
yum -y install virt-manager

1.2、验证

  • 查看是否支持虚拟化
  • 查看是否安装KVM模块
# intel的CPU查看方法
[root@kvm ~]# cat /proc/cpuinfo | egrep "vmx|svm"


# AMD的CPU查看方法
[root@kvm ~]# cat /proc/cpuinfo | grep svm


# 检查KVM模块是否安装
[root@kvm ~]# lsmod | grep kvm
kvm_amd              2177304  0 
kvm                   637515  1 kvm_amd
irqbypass              13503  1 kvm

1.3、开启libvirtd服务

# 图形化系统默认已经安装
[root@kvm ~]# systemctl restart libvirtd
[root@kvm ~]# systemctl enable libvirtd

1.4、配置KVM桥接网络

[root@kvm ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=4ae7185c-c305-460c-b880-a11110a6dc91
DEVICE=ens33
ONBOOT=yes
#IPADDR=192.168.93.11
#NETMASK=255.255.255.0
#GATEWAY=192.168.93.2
#DNS1=114.114.114.114
#DNS2=8.8.8.8
BRIDGE=br0
[root@kvm ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-br0
[root@kvm ~]# vim /etc/sysconfig/network-scripts/ifcfg-br0 
TYPE=Bridge
BOOTPROTO=static
DEVICE=br0
ONBOOT=yes
IPADDR=192.168.93.11
NETMASK=255.255.255.0
GATEWAY=192.168.93.2
DNS1=114.114.114.114
DNS2=8.8.8.8

# 重启network服务
[root@kvm ~]# systemctl restart network

# 确认IP地址信息
[root@kvm ~]# ifconfig 
br0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.93.11  netmask 255.255.255.0  broadcast 192.168.93.255
        inet6 fe80::1ce6:1cff:fef6:c365  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:9b:ce:61  txqueuelen 1000  (Ethernet)
        RX packets 31  bytes 6237 (6.0 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 49  bytes 6025 (5.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        ether 00:0c:29:9b:ce:61  txqueuelen 1000  (Ethernet)
        RX packets 326619  bytes 489639434 (466.9 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 37105  bytes 2282458 (2.1 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

二、部署GlusterFS

  • 所有node节点执行如下操作

2.1、安装GlusterFS软件

# 所有node节点都需要安装GlsterFS软件，以node1为例进行演示
# 安装官方YUM源
[root@node1 ~]# yum -y install centos-release-gluster
[root@node1 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

# 查看GlsterFS版本
[root@node1 ~]# glusterfs -V
glusterfs 9.6

2.2、所有node节点启动GFS

  • 以node1为例进行演示
[root@node1 ~]# systemctl start glusterd && systemctl enable glusterd

2.3、创建GFS群集

  • 在node1上添加所有节点到群集中
# 如果报错，请检查防火墙、SElinux、主机名以及hosts文件是否正确
[root@node1 ~]# gluster peer probe node2
peer probe: success
[root@node1 ~]# gluster peer probe node3
peer probe: success
[root@node1 ~]# gluster peer probe node4
peer probe: success

2.4、查看群集状态

  • 为了确保万无一失，每个node节点都查看一遍，以node1为例进行演示
[root@node1 ~]# gluster peer status
Number of Peers: 3

Hostname: node2
Uuid: 0bd64e4f-1629-4478-b4b2-b7572bbeed9d
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: 0d51b2b4-7080-47ce-8e2f-2f69b88b0a6e
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: 9dcd8692-a4d8-4ece-93ec-4d9feaeb9a69
State: Peer in Cluster (Connected)

三、创建GlusterFS分布式复制卷

  • 当前一共有四个节点，设置为2x2=4，就是2个节点为一组，一个卷组两个节点会有相同的数据。从而达到虚拟机数据分布式存储并有冗余备份。

3.1、创建卷组目录

  • 所有node节点创建/data目录
[root@node1 ~]# mkdir /data
[root@node2 ~]# mkdir /data
[root@node3 ~]# mkdir /data
[root@node4 ~]# mkdir /data

3.2、创建分布式复制卷

  • 只在node1节点上操作即可
# 直接使用每个虚拟机的根分区存储量做分布式复制卷
[root@node1 ~]# gluster volume create models replica 2 node1:/data node2:/data node3:/data node4:/data force
volume create: models: success: please start the volume to access data

3.3、查看models卷

[root@node1 ~]# gluster volume info models
 
Volume Name: models
Type: Distributed-Replicate
Volume ID: 898feca1-a2d0-4831-a5a1-ea7d288a81ac
Status: Created
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data
Brick2: node2:/data
Brick3: node3:/data
Brick4: node4:/data
Options Reconfigured:
cluster.granular-entry-heal: on
storage.fips-mode-rchecksum: on
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

3.4、启动models卷

[root@node1 ~]# gluster volume start models
volume start: models: success

四、kvm客户端挂载glusterfs卷

4.1、安装glusterfs客户端软件

[root@kvm ~]# yum -y install centos-release-gluster
[root@kvm ~]# yum -y install glusterfs glusterfs-fuse

4.2、创建挂载目录

[root@kvm ~]# mkdir /kvmdata
[root@kvm ~]# mount -t glusterfs node1:models /kvmdata/

4.3、永久挂载

[root@kvm ~]# echo "node1:models /kvmdata glusterfs defaules,_netdev 0 0" >> /etc/fstab

# 执行以下命令如果没有任何回显说明/etc/fstab没有配置错误
[root@kvm ~]# mount -a

4.4、查看挂载卷

[root@kvm ~]# df -hT | grep glusterfs
node1:models            fuse.glusterfs  100G  5.0G   95G    5% /kvmdata

五、KVM使用卷创建虚拟机

  • kvm指定虚拟机安装路径到已经挂载的目录下，从而达到虚拟机文件分布式存储并有冗余

5.1、创建虚拟机

# 创建虚拟机磁盘存储目录
[root@kvm ~]# mkdir /kvmdata/data
# 创建虚拟机所使用的镜像文件目录
[root@kvm ~]# mkdir /kvmdata/iso
# 用你自己的方式把CentOS镜像上传到/kvmdata/iso目录中
[root@kvm ~]# mv /tmp/VMwareDnD/Yiv4kW/CentOS-7-x86_64-DVD-2207-02.iso /kvmdata/iso

# 打开图形化虚拟机管理界面
[root@kvm ~]# virt-manager
  • 右击新建虚拟机、添加镜像存储池iso
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 添加存储池data
    在这里插入图片描述

在这里插入图片描述

  • 上面的步骤有省略的，可以去翻看我第一个KVM文档，虚拟机指定安装地址，在创建虚拟机时把数据文件存放在刚刚建立的data存储池下
    在这里插入图片描述

在这里插入图片描述

  • 注意：在“引导选项”中勾选“主动引导时启动虚拟机”，并点击“应用”。然后开始安装虚拟机
    在这里插入图片描述

5.2、验证存储

  • 在四台节点上查看目录里是否存在虚拟机磁盘文件。可以看出虚拟机文件已经存放到第一组node1、node2里
  • 可以多创建几次虚拟机确保两组卷节点都可以存储磁盘文件，因为使用了分布式卷，分布式卷的特性是随机存放数据的，不一定是卷组1也不一定是卷组2而是随机存放
[root@node1 ~]# ll -lh /data/data/
总用量 3.9M
-rw------- 2 107 107 21G 5月  26 11:19 centos7.qcow2
[root@node2 ~]# ll -lh /data/data/
总用量 3.9M
-rw------- 2 107 107 21G 5月  26 11:19 centos7.qcow2
[root@node3 ~]# ll -lh /data/data/
总用量 0
[root@node4 ~]# ll -lh /data/data/
总用量 0
# 从上面的结果看，虚拟机已经同步到卷组node1、node2当中，再发生宿主机宕机后将不会影响虚拟机正常使用
研究司马懿
关注
  • 20
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDMI高清分布式KVM编解码一体机
胜于蓝博客
08-03 1883
EMX4000 是一款充分运用音视频处理技术、网络技术、可视化技术、集中控制等先进技术，构建以数据传输网络为纽带，以网络系统为支撑，集音频处理、视频拼接处理、KVM协作管理、POE供电、集中控制等多种功能及编解码于一体的设备，具有分布式、网络化、可视化、去中心服务器等特点。产品运行充分考虑了视频处理中的同步性、实时性、兼容性、呼吸效应、色彩还原度等关键性能。最高可达到1080P@60Hz输入和1080P@60Hz输出，支持LCD和DLP拼接屏，支持I/O、IR、RS232和RS485对...
分布式KVM坐席拼控系统解决方案
weixin_48885614的博客
12-15 3031
随着互联网技术的发展和普及，各行各业的业务工作已离不开对IT信息化的诸多需求，越来越多的用户希望将运营管理、生产调度、安全监控、应急指挥等系统进行整合，实现大屏幕信号远程呈现，各种屏与屏之间互动，形成一个信息共享的云管理平台。 视通科技经过多年来对技术的深入研究和对用户使用习惯的积累，推出了AS-ADS 4K分布式KVM坐席拼控解决方案，本系统是一套技术先进、功能完善、性能稳定、安全可靠、操作方便、扩展方便的管理协作系统。本系统基于IP无中心化设计，嵌入式架构，为用户解决音频处理、视频拼接处理、视频会..
聊一聊中小型指挥中心的分布式坐席协作管理KVM系统
毛怼怼ai借
03-11 7438
分布式KVM是什么？估计我们已经不陌生了，无论在AV视听场景还是在控制室场景，都是常见的组成设备，对解决应用需求发挥着关键作用，渐渐发展成业内熟知的产品/技术--分布式KVM坐席协作管理系统。目前，分布式坐席成为国内众多厂商集体发力的领域，也是国内各行业中小型指挥中心应用最广泛的指挥控制系统解决方案。那么我们聊一聊控制室的分布式KVM坐席协作管理系统。 一、什么设备组成分布式KVM坐席系统...
分布式+KVM坐席协作DS3.1画册2018.版.pdf
07-15
分布式+KVM坐席协作DS3.1画册；魅视；分布式+KVM坐席协作DS3.1画册；魅视
为什么说分布式KVM系统是中小型指挥中心应用最广泛的控制系统？
12-30 1098
众所周知，在指挥中心、控制中心等场景，光纤KVM是部署控制系统的最优解。但是对于大量在的中小型指挥中心、区县级指挥中心、会议室等项目来说，必须要考虑建设的预算费用，这时部署成本适中的分布式KVM无疑是更实用的选择。 目前，分布式KVM成为国内众多厂商集体发力的领域，也是目前国内各行业中小型指挥中心应用最广泛的控制系统。那么分布式KVM究竟有哪些特点呢？ 通常来说，经典分布式KVM...
KVM+GFS分布式存系统构建KVM高可用
01-07
环境2.2：实验目的2.3：实验过程2.3.1：构建GFS集群2.3.2：安装KVM虚拟机2.3.3：GFS集群节点服务器添加磁盘2.3.4：KVM宿主机部署成GFS客户端2.4：重新安装一个KVM虚拟机三：高可用测试3.1：验证存储3.2：破坏实验3.3...
KVM+GFS构建KVM高可用群集案例
01-07
本案例主要通过KVM及Glusterfs技术，结合起来达到kvm高可用。 利用Glusterfs的分布式复制卷，对kvm虚拟机文件进行分布式存储和冗余功能 二、实验环境 在vmware虚拟机中开3台虚拟机，一台搭建KVM虚拟化平台，二台做...
基于GFS文件系统存储群集实现KVM的高可用以及热迁移
01-09
这个架构是利用GFS文件系统分布式复制卷的容错性，结合KVM的虚拟化，把虚拟机的文件存储在GFS的分布式复制卷上，实现KVM上的虚拟机高可用 实验原理 利用Glusterfs的分布式复制卷，对KVM虚拟机进行分布存储和冗余功能...
KVM+RHCS+ORACLE11GR2+HA+GFS2
06-18
主机工程师,数据库DBA课程简介在本地自己的操作系统上，完全模拟生产环境，让学员学会红帽6.9怎样搭建rhcs集群，以及如何创建kvm虚拟机，如何创建GFS2集群文件系统，以及如何创建oracle 11gR2的ha高可用集群。...
GFS分布式文件系统
06-16
本文介绍GFS分布式文件系统的技术设计原理，是学习分布式文件系统的资料
SHELL脚本自动部署KVM虚拟化
10-11
目前主流的虚拟化技术主要有：KVM、Xen、VMware、VirtualBox，虚拟化技术也越来越广泛的应用在企业中，本篇介绍KVM虚拟化集群的搭建
kvm集群搭建.docx
08-22
搭建kvm高可用集群，实现kvm动态迁移，当一个节点死掉后，自动迁移到另外一个节点
基于ISCSI共享存储的KVM高可用群集配置.docx
08-29
基于iscsi存储的kvm高可用集群，详细步骤，命令讲解以及命令执行返回结果
KVM实现分布式部署lamp并安装WordPress
纤手小白
11-03 6968
实验思维导图： 分析： 本实验要求使用KVM安装三台虚拟机，实现mysql，php，httpd，分布式部署，并完成lamp环境搭建WordPress 搭建整体环境，克隆一台新的虚拟机，在启动之前选择如下，从而使得本机支持虚拟化实现 首先安装kvm环境 [root@qijunchao ~]# yum -y install libvirt-daemon-kvm qemu-kvm v...
分布式矩阵和分布式kvm的区别
weixin_40673765的博客
11-27 3362
分布式矩阵是组播方式实现的。 分布式kvm是通过单播的方式实现的。
花大价钱买十五年前的交换机架构的“分布式KVM坐席/数字KVM坐席”？？？
意象角落
12-14 1351
无论是政府管、军事，还是广电、机场、空管、能源、在各个决定了国民生计的关键领域的那些重要用户，都使用了以光纤KVM芯片为核心的协作管理系统。
2.KVM+GFS分布式存储系统构建KVM高可用
最新发布
Rain的博客
01-11 924
基于KVM构建完成后，测试构建KVM+GFS实现高可用
KVM学习笔记（集群，pacemaker和corosync简单配置）
Vic的博客
09-16 1946
1 Linux集群架构 Linux集群架构一般分为四个层次结构： 信息层：负责心跳信息的传递，corosync负责 成员关系层：集群中成员关系的选举，确定，corosync负责 资源管理层：集群资源的管理，如虚拟IP，存储，数据库等等，pacemaker负责 资源层：资源代理，pacemaker负责 高可用集群的层次结构 管理工具： pcs:(Pacemaker Corosync Server) CLVM: 集群化的LVM（Clustered .

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值