综合项目：LVS+Keepalived+GlusterFS 集群

已于 2022-03-21 21:12:46 修改
阅读量2.3k 收藏 6
点赞数 12
分类专栏： 综合项目 文章标签： centos lvs群集 keepalived群集 glusterfs群集 linux
于 2020-11-07 21:58:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46902396/article/details/109544782
版权

准备工作：

主机名操作系统IP地址担任角色
masterCentOS7192.168.1.1LVS-主调度器
backup192.168.1.2LVS-备调度器
web1192.168.1.3Web 服务器1，GlusterFS 客户端
web2192.168.1.4Web 服务器2，GlusterFS 客户端
node1192.168.1.5分布式文件系统节点1
node2192.168.1.6分布式文件系统节点2
  • 实验需要的软件包可以从这里进行下载：传送门（需解压）
  • 提取码：d4el

实验描述：

  • 通过 LVS + Keepalived 实现 Web 服务的 负载均衡和高可用；
  • 并且数据存储使用的是 GlusterFS 分布式文件存储，来实现 数据的冗余性；
  • 最终，通过在两台 Web 服务器上 通过 Keepalived 提供的 VIP（192.168.1.188）来提供服务。

1.安装 LVS+Keepalived 服务

1）LVS 主调度器配置

192.168.1.1

[root@master ~]# yum -y install keepalived ipvsadm     						# 安装支持软件
[root@master ~]# systemctl enable keepalived		  				    	# 配置开机自启
[root@master ~]# cat <<END > etc/keepalived/keepalived.conf 
global_defs {
   router_id 1
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 1
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        192.168.1.188
    }
}
virtual_server 192.168.1.188 80 {
        delay_loop 15
        lb_algo rr
        lb_kind DR
        protocol TCP

real_server 192.168.1.3 80 {
        weight 1
        TCP_CHECK {
                connect_port 80
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 4
                }
        }
                real_server 192.168.1.4 80 {
        weight 1
        TCP_CHECK {
                connect_port 80
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 4
                }
        }
}
END
[root@master ~]# ipvsadm -C								   					# 删除原有策略
[root@master ~]# modprobe ip_vs			 				     				# 加载系统内核的服务模块
[root@master ~]# lsmod | grep ip_vs							 				# 查看系统模块运行状态
[root@master ~]# echo "modprobe ip_vs" >> /etc/rc.local      				# 配置开机自运行
[root@master ~]# systemctl restart keepalived  				 				# 重启 Keepalived 服务
[root@master ~]# ip a        									 			# 查看漂移 IP 是否存在

在这里插入图片描述

2）LVS 备调度器配置

192.168.1.2

[root@backup ~]# yum -y install keepliaved ipvsadm			 				# 安装支持软件
[root@backup ~]# systemctl enable keepalived				 				# 配置开机自启
[root@backup ~]# cat <<END > etc/keepalived/keepalived.conf 
global_defs {
   router_id 2										# 要和主调度器的配置进行区分
}
vrrp_instance VI_1 {
    state BACKUP									# 备份
    interface ens33
    virtual_router_id 1
    priority 99										# 优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        192.168.1.188
    }
}
virtual_server 192.168.1.188 80 {
        delay_loop 15
        lb_algo rr
        lb_kind DR
        protocol TCP

real_server 192.168.1.3 80 {
        weight 1
        TCP_CHECK {
                connect_port 80
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 4
                }
        }
                real_server 192.168.1.4 80 {
        weight 1
        TCP_CHECK {
                connect_port 80
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 4
                }
        }
}
END
[root@backup ~]# ipvsadm -C					  				 				# 删除原有策略
[root@backup ~]# modprobe ip_vs			    			     				# 加载系统内核的服务模块
[root@backup ~]# lsmod | grep ip_vs			   				 				# 查看系统模块运行状态
[root@backup ~]# echo "modprobe ip_vs" >> /etc/rc.local      				# 配置开机自运行
[root@backup ~]# systemctl restart keepalived				 				# 重启 Keepalived 服务

在这里插入图片描述

2.安装 Apache 服务

两台 Web 服务器配置相同：（也就是 192.168.1.3 192.168.1.4 主机）

[root@web1 ~]# yum -y install httpd					  						# 安装 HTTP 服务
[root@web1 ~]# echo "<h1>This is web1</h1>" > /var/www/html/index.html   	# 配置自定义页面 (两台 HTTP 服务器要区分开)
[root@web1 ~]# systemctl start httpd				  						# 开启 HTTP 服务
[root@web1 ~]# systemctl enable httpd 				  						# 配置开机自启

1）配置集群接口

[root@web1 ~]# cat <<END > /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVEICE=lo:0
ONBOOT=yes
IPADDR=192.168.1.188
NETMASK=255.255.255.255
END
[root@web1 ~]# systemctl restart network
[root@web1 ~]# ifconfig lo:0

在这里插入图片描述
2）调整 /proc 内核参数，关闭 ARP 响应

[root@web1 ~]# cat <<END >> /etc/sysctl.conf 
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
END
[root@web1 ~]# sysctl -p       												# 加载配置

3）添加到群集 IP 地址的本地路由记录

[root@web1 ~]# yum -y install net-tools
[root@web1 ~]# route add -host 192.168.1.188 dev lo:0
[root@web1 ~]# echo "/sbin/route add -host 192.168.1.188 dev lo:0" >> /etc/rc.local

4）客户机进行验证
在这里插入图片描述
在这里插入图片描述
5）LVS 服务器查看负载均衡情况

[root@master ~]# ipvsadm -ln

在这里插入图片描述
验证成功后，在两台 HTTP 服务器上将首页进行删除（为后续挂载 GlusterFS 做准备）

[root@web1 ~]# rm -rf /var/www/html/*

3.安装 GlusterFS 服务

  • 分别为 node1 node2 各配置一块 20G 硬盘，分成两个分区，各 10G 容量。

1）磁盘分区（两台主机操作相同）

[root@node1 ~]# parted /dev/sdb                                           
GNU Parted 3.1
使用 /dev/sdb
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted)  mklabel gpt
(parted)  mkpart primary 1 50%
(parted)  mkpart primary 2 100%
....
Is this still acceptable to you?
是/Yes/否/No? Yes
(parted)  quit
[root@node1 ~]# lsblk | grep sdb
sdb               8:16   0   20G  0 disk 
├─sdb1            8:17   0   10G  0 part 
└─sdb2            8:18   0   10G  0 part

2）格式化并挂载

node1 上操作：

[root@node1 ~]# mkfs.xfs /dev/sdb1 && mkfs.xfs /dev/sdb2
[root@node1 ~]# mkdir -p /brick1/sdb{1..2}
[root@node1 ~]# mount /dev/sdb1 /brick1/sdb1 && mount /dev/sdb2 /brick1/sdb2
[root@node1 ~]# cat <<END >> /etc/fstab										# 配置开机自挂载
/dev/sdb1 /brick1/sdb1 xfs defaults 0 0
/dev/sdb2 /brick1/sdb2 xfs defaults 0 0
END
[root@node1 ~]# df -hT | grep brick1              							# 查看是否挂载成功

node2 上操作：

[root@node2 ~]# mkfs.xfs /dev/sdb1 && mkfs.xfs /dev/sdb2
[root@node2 ~]# mkdir -p /brick2/sdb{1..2}
[root@node2 ~]# mount /dev/sdb1 /brick2/sdb1 && mount /dev/sdb2 /brick2/sdb2
[root@node2 ~]# cat <<END >> /etc/fstab										# 配置开机自挂载
/dev/sdb1 /brick2/sdb1 xfs defaults 0 0
/dev/sdb2 /brick2/sdb2 xfs defaults 0 0
END
[root@node2 ~]# df -hT | grep brick2              							# 查看是否挂载成功

3）配置 Hosts 文件

node1 node2 操作相同

[root@node1 ~]# cat <<END >> /etc/hosts   
192.168.1.5 node1
192.168.1.6 node2
END

4）配置本地 yum源，安装基础包

node1 node2上操作相同

[root@node1 ~]# yum -y install attr psmisc         							# 安装基础包
[root@node1 ~]# rm -rf /etc/yum.repos.d/*
[root@node1 ~]# cd /mnt/
上传 gfsrepo 文件夹里的软件到此目录
[root@node1 mnt]# cat <<END > /etc/yum.repos.d/GLFS.repo
[GLFS]
name=GLFS
baseurl=file:///mnt
enabled=1
gpgcheck=0
END
[root@node1 mnt]# yum clean all
[root@node1 mnt]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma   
[root@node1 mnt]# systemctl start glusterd         							# 开启 Gluster
[root@node1 mnt]# systemctl enable glusterd		   							# 配置开机自启
[root@node1 mnt]# netstat -anpt | grep glusterd    							# 查看端口是否开启

5）创建集群，并将主机加入集群

node1 node2 上任意一台主机上操作即可

[root@node1 ~]# gluster peer probe node1
[root@node1 ~]# gluster peer probe node2
[root@node1 ~]# gluster peer status     									# 查看节点状态

在这里插入图片描述
6）创建复制卷

创建第一个复制卷：

[root@node1 ~]# gluster volume create rep-web1 replica 2 node1:/brick1/sdb1 node2:/brick2/sdb1 force
[root@node1 ~]# gluster volume start rep-web1       					    # 开启复制卷
[root@node1 ~]# gluster volume info rep-web1								# 查看复制卷状态

在这里插入图片描述
创建第二个复制卷：

[root@node1 ~]# gluster volume create rep-web2 replica 2 node1:/brick1/sdb2 node2:/brick2/sdb2 force      
[root@node1 ~]# gluster volume start rep-web2     							# 开启复制卷
[root@node1 ~]# gluster volume info rep-web2      							# 查看复制卷状态

在这里插入图片描述

4.配置 GlusterFS 客户端

1）Web1，Web2 主机上安装客户端软件：

[root@web1 ~]# echo "192.168.1.5 node1" >> /etc/hosts
[root@web1 ~]# echo "192.168.1.6 node1" >> /etc/hosts
[root@web1 ~]# yum -y install attr psmisc     								# 安装基础包
[root@web1 ~]# rm -rf /etc/yum.repos.d/*
[root@web1 ~]# cd /mnt/   
上传 gfsrepo 文件夹里的软件到此目录
[root@web1 mnt]# cat <<END > /etc/yum.repos.d/GLFS.repo
[GLFS]
name=GLFS
baseurl=file:///mnt
enabled=1
gpgcheck=0
END
[root@web1 mnt]# yum clean all
[root@web1 mnt]# yum -y install glusterfs glusterfs-fuse

2）挂载 GlusterFS 文件系统

Web1 上操作：

[root@web1 ~]# mount.glusterfs node1:rep-web1 /var/www/html/  
[root@web1 ~]# echo "<h1>This is web1</h1>" > /var/www/html/index.html

Web2 上操作：

[root@web2 ~]# mount.glusterfs node1:rep-web2 /var/www/html/
[root@web2 ~]# echo "<h1>This is web2</h1>" > /var/www/html/index.html

3）在 node1 node2 主机上分别访问挂载目录，查看是否有复制文件存在
在这里插入图片描述

5.验证

1）关闭主调度器，查看整个集群是否能够正常工作
在这里插入图片描述
在这里插入图片描述
2）关闭 Web1 节点，查看整个集群是否能够正常工作
在这里插入图片描述
3）关闭 node1 节点，查看整个集群是否能够正常工作
在这里插入图片描述

愿许浪尽天涯
关注
  • 12
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
Keepalived+GlusterFS多机热备集群方案
07-08
通过keepalived，实现多台GlusterFS高可用的存储配置方案。2个节点的GlusterFS无法避免脑裂问题，多台GlusterFS如何提供统一的挂载服务，通过该技术方案，完美的实现了VIP方式的高可用的GlusterFS存储方案。
LVS+Keepalived项目
m0_49265034的博客
03-22 466
文章目录实验一、ipvsadm虚拟服务器集群的搭建1、实验准备2、实验过程（1）、配置一个虚拟服务器集群（2）、添加VIP设置（3）、真机测试访问实验二、ipvsadm结合Keepalived1、实验准备2、实验过程（1）、ipvsadm+Keepalived实现健康检查（2）、使用热备机实现高可用 实验一、ipvsadm虚拟服务器集群的搭建 1、实验准备 三台虚拟机 vm1：负载调度器IP 172.25.76.1 vm2：后端服务器IP 172.25.76.2 需要安装httpd服务 vm3：后端服务
项目实战---Lvs+keepAlived实现负载均衡高可用集群（DR实现）
Lue的博客
08-06 351
需要四台虚拟机 两台做服务器 pcs cluster disable --all pcs cluster stop --all systemctl disable --now pcsd ssh lue2 "systemctl disable --now pcsd" VR配置 yum install -y ipvsadm ssh lue2 "yum install -y ipvsadm" systemctl enable ipvsadm ssh lue2 "systemctl
lvs+keepalived项目实战
m0_46543351的博客
07-07 377
本文2个实验（centos7） 1：lvsNAT实验 所用机器：client+lvs+web1+web2 2：lvsDR+keepalived实验 所用机器：client+lvs+lvs1+web1+web2LVS 是 Linux Virtual Server 的简写，意即 Linux虚拟服务器 ，是一个虚拟的服务器集群系统。 lvs工作模式有 NAT：网络地址转换 DR：路由模式 TUN：隧道模式 调度算法：支持的有10种，常见的4种 轮询rr：Real Server轮流提供服务 加权轮询wrr：Real
LVS+keepalived实现HA
谭谦的博客
07-16 692
高可用HA HighAvailable   1、 需要心跳机制探测后端RS是否提供服务。 a)     探测down，需要从lvs中删除该RS b)    探测发送从down到up，需要从lvs中再次添加RS。 2、 Lvs DR，需要主从（HA）     Keepalived : 提供高可用          ｖｒｒｐ协议，实现ＩＰ的漂移 Zookeeper
linux运维学习笔记：lvs+keepalived集群部分Shell企业案例.pdf
08-18
linux运维学习笔记：lvs+keepalived集群部分Shell企业案例
第三十三章：Lvs+Keepalived+Nginx+Tomcat高可用集群1
08-08
第三十三章：Lvs+Keepalived+Nginx+Tomcat高可用集群1
初级篇：借助LVS+Keepalived实现负载均衡
02-26
当前大多数的互联网系统都使用了服务器集群技术，集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群...
lvs+Keepalived+nginx高可用负载均衡搭建部署方案
05-24
lvs+Keepalived+nginx高可用负载均衡搭建部署方案
LVS+keepalived部署高可用和负载均衡
qq_42764351的博客
09-17 258
一、LVS相关资料           LVS的全称Linux vitual system, linux vitual server，是由目前阿里巴巴的著名工程师章文嵩博士开发的一款开源软件。LVS工作在一台server上提供Directory(负载均衡器)的功 能，本身并不提供服务，只是把特定的请求转发给对应的realserver(真正提供服务的主机)，从而实现集群环境中的负载均衡。     ...
glusterfs-keepalived:在同一台计算机上通过 macvlan 为 glusterfs-keepalived(HA glusterfs) 提供 docker 镜像
06-27
glusterfs-keepalived 多节点 glusterfs 和 keepalived（glusterfs 的 HA）的 Docker 镜像通过同一台机器上的 macvlan。 开始 在同一台机器上启动 glusterfs 和 keepalived。 修改 conf/base.conf 中的配置，例如VIPADDR （虚拟 IP 地址）、 C*_IP和C*_ROUTE以符合您的环境。 这是我的环境 IFACE=eth0 IFACE_GUEST=eth10 IFACE_CONTAINER=eth10 VIPADDR=192.168.80.220 IMAGE=dorowu/glusterfs-keepalived REPLICA=2 C1_NAME=gk1 C1_IP=192.168.80.221/23 C1_ROUTE=192.168.80.254 C2_NAME=gk2 C2_
LVS+Keepalived 高可用群集
weixin_63634809的博客
03-24 1866
文章目录一、Keepalived 工具介绍二、Keepalived 实现原理VRRP （虚拟路由冗余协议）三、Keepalived 配置文件配置Keepalived master服务器配置Keepalived backup服务器四、LVS+Keepalived 高可用群集的搭建4.1 配置负载调度器（主：192.168.24.10）4.2 配置负载调度器（备：192.168.24.20）4.3 配置节点服务器 web1（192.168.24.30）4.4 配置节点服务器 web2（192.168.24.40
2020-09-18 使用LVS和Gluster-FS做FTP的后端，从而实现FTP的集群高可用
我的博客
09-18 720
使用LVS和Gluster-FS做FTP的后端，从而实现FTP的集群高可用，是一个合理的选择。 如何解决Gluster-FS的脑裂，是一个核心问题。 具体可以参考，知乎的这个帖子 https://www.zhihu.com/question/24821333 1.首先看看你要求数据在服务器1与服务器2之间是实时同步还是异步备份。2.如果是异步备份，可采用方案一，即rsync备份软件进行周期性自动备份（rsync如何使用就不做介绍了哈），rsync功能很强大，但服务器1与服务器2存在数据同步窗口期，那么出现
《Linux运维实战：Keepalived+GlusterFS多机热备集群方案》
东城绝神
05-21 670
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
GlusterFS+keepalived高可用分布式存储双机复制方案
weixin_42480196的博客
11-04 1901
一、实验环境 主机名 IP地址 角色 serverE 192.168.200.115 glusterFS主服务器 serverF 192.168.200.116 glusterFS从服务器 serverC 192.168.200.113 客户端 设计 1、搭建GlusterFS复制卷(使用至少2个存储节点) 2、配置Keepalived管理GlusterFS主从存储节点...
keepalived + glusterfs实现高可用
weixin_30919919的博客
11-22 351
此处暂时不介绍原理乱七八糟，边做别记录下操作。 1.服务器修改网卡的名字为eth0 1 1.将device和name都改成eth0 2 vim /etc/sysconfig/network-scripts/ifcfg-eno16777736 3 2.网卡名字改了 4 mv ifcfg-eno1 ifcfg-eth0 5 3.修改内核参数，生效，重启 6 编辑/etc/defau...
GlusterFS分布式存储搭建双机复制卷结合Keepalived实现存储高可用
weixin_33827590的博客
08-27 761
GlusterFS分布式存储高可用方案设计1、搭建GlusterFS复制卷(使用至少2个存储节点)2、配置Keepalived管理GlusterFS主从存储节点3、配置Keepalived浮动IP(VIP)对外提供存储服务4、实现存储高可用(即使用两台GlusterFS服务器提供双节点复制卷，并提供快速故障转移，实现存储的持续高可用)5、可以应用在关键性数据存储业务场景一、环...
keepalive基础知识及主备模型搭建
weixin_33774883的博客
07-01 743
lvs模型属于单点故障，对real server的健康状态检查可以通过写脚本实现，keepalived可以实现高可用：keepalive：vrrp协议在Linux主机上以守护进程方式的实现； 能够根据配置文件生成ipvs规则，并对各RS的健康做检测；vrrp_script, vrrp_track；keepalive组件:核心组件：(checkers vrrp stack ip...
lvs+keepalived
最新发布
04-25
1. 在LVS+Keepalived架构中，有一个或多个前端负载均衡器（Load Balancer），它们负责接收客户端请求并将请求转发给后端真实服务器。 2. 前端负载均衡器使用LVS技术进行请求的分发，根据一定的负载均衡算法（如轮询...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愿许浪尽天涯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值