LVS负载均衡群集架构(二):DR模式群集部署+keepalived

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

一、LVS-DR数据包流量分析

同一局域网中

  • 客户端向目标VIP发送请求,负载均衡器接收
  • 负载均衡器根据负载均衡算法选择后端真实服务器,不修改也不封装IP报文,而是将数据帧的
    MAC地址改为后端真实服务器的MAC地址,然后在局域网上发送
  • 后端真实服务器收到这个帧,解封装后发现目标IP与本机匹配(事先绑定了VIP),于是处理
    这个报文。
  • 随后重新封装报文,将响应报文通过lo接口传送给物理网卡然后向外发出客户端将收到回复报文;客户端认为得到正常的服务,而不会知道是哪一台服务器处理的如果跨网段,则报文通过路由器经由 internet 返回给用户

二、LVS-DR中的ARP问题

  1. 在LVS-DR负载均衡集样中,负载均衡与节点服务器都要配置相同的VIP地址
  2. 在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱。
  3. 对节点服务器进行处理,使其不响应针对VIP的ARP请求
    解决方法
    使用虚接口 lo:0 承载VIP地址设置内核参数 arp_ignore=1:系统只响应目的IP为本地 IP 的ARP请求
  4. RealServer返回报文(源IP是VIP)经路由器转发,重新封装报文时,需要先获取路由器的MAC地址
  5. 发送ARP请求时,Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使
    用发送接口的IP地址如:ens33
  6. 路由器收到ARP请求后,将更新ARP表项
  7. 原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
  8. 路由器根据ARP表项,会将新来的请求报文转发给Realserver,导致Director的VIP失效
    解决方法:对节点服务器进行处理,设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址

三、解决ARP的两个问题的设置方法

修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

四、Keepalived

  1. Keepalived
    支持故障自动切换(Failover)
    支持节点健康状态检查(Health Checking)
    判断LVS负载调度器、节点服务器的可用性,当master主机出现故障及时切换到backup节点保证业务正常,当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点(优先级)。

  2. Keepalived实现原理剖析
    keepalived采用VRRP热备份协议实现Linux 服务器的多机热备功能
    VRRP(虚拟路由冗余协议)是针对路由器的一种备份解决方案。
    由多台路由器组成一个热备份组,通过共用的虚拟IP地址对外提供服务
    每个热备组内同时只有一台主路由器提供服务,其他路由器处于冗余状态
    若当前在线的路由器失效,则其他路由器会根据设置的优先级自动接替虚拟IP地址,继续提供服务

snmp 通过网络管理服务器、交换机、路由器等设备的一种协议
在keepalived SNMP管理的是健康检查(状态)
PS: 在监控中也会通过snmp 监控、获取被监控服务器的数据

五、LVS-DR-Keepalived部署

1、环境准备

服务器IP地址配置需要的工具
主负载调度器(Director1)ens33:192.168.35.40ipvsadm、keepalived(热备)
备负载调度器(Director2)ens33:192.168.35.30ipvsadm、keepalived
web服务器1 ens33192.168.35.10
lo:0 (VIP):192.168.35.100httpd
web服务器2 ens33192.168.35.20
lo:0 (VIP):192.168.35.100httpd
centos客户端192.168.35.150web浏览器
centos客户端192.168.35.160web浏览器

2、LVS调度服务器配置(主-备)

systemctl stop firewalld.service
setenforce 0

yum -y install ipvsadm
modprobe ip_vs     #加载ip_vs模块
cat /proc/net/ip_vs  #查看ip_vs版本信息

在这里插入图片描述
LVS_01

cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
	DEVICE=ens33:0
	ONBOOT=yes
	IPADDR=192.168.35.100
	NETMASK=255.255.255.255
ifup ens33:0
ifconfig ens33:0
systemctl restart network
vim /etc/sysctl.conf		#调整proc响应参数;由于LVS负载均衡器和各节点需要共用vip地址,应该关闭linux内核的重定向响应参数,不充当路由器(转发、重定向)
	net.ipv4.ip_forward = 0		##关闭路由转发
	net.ipv4.conf.all.send_redirects = 0		##关闭所有重定向
	net.ipv4.conf.default.send_redirects = 0		##关闭默认重定向
	net.ipv4.conf.ens33.send_redirects = 0
sysctl -p

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3、两台LVS服务器开启ipvsadm

modprobe ip_vs
cat /proc/net/ip_vs

在这里插入图片描述

4、两台LVS服务器配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
systemctl status ipvsadm

在这里插入图片描述
在这里插入图片描述

4.1、编写脚本方便管理ipvsadm命令

vim /opt/dd.sh
#!/opt/dd.sh
	ipvsadm -C		##清除表中所有记录
	ipvsadm -A -t 192.168.35.100:80 -s rr	##指定的虚拟IP为ens33网卡ip,启动keepliaved后会自动绑定虚拟网卡 
	ipvsadm -a -t 192.168.35.100:80 -r 192.168.35.10:80 -g	##指定一条新的vip服务器真实地址为192.168.35.10,工作模式为DR
	ipvsadm -a -t 192.168.35.100:80 -r 192.168.35.20:80 -g	##指定一条新的vip服务器真实地址为192.168.35.20,工作模式为DR
	ipvsadm
ipvsadm -Lnc

在这里插入图片描述
在这里插入图片描述

ipvsadm命令选项

-A:在服务器列表中心添加一条新的虚拟服务器记录
-t:表示为tcp服务
-s:使用的调度算法
-a:指定一条新的真实服务器
-r:指定真实服务器的地址
-g:指定LVS工作模式为直接路由器模式:DR模式

5、web站点服务器配置

web服务器1:

cd /etc/sysconfig/network-scripts/
cp -p ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
	DEVICE=lo:0
	ONBOOT=yes
	IPADDR=192.168.35.100
	NETMASK=255.255.255.255
ifcfg lo:0
route add -host 192.168.35.100 dev lo:0 		##禁锢路由
route -n
vim /etc/rc.local		##配置启动管理执行路由禁锢
	/sbin/route add -host 192.168.35.100 dev lo:0
yum -y install httpd

在这里插入图片描述
在这里插入图片描述
wed2服务器同样的操作
在这里插入图片描述
在这里插入图片描述

6、两台web服务器调整内核的ARP响应参数

以阻止更新VIP的MAC地址,避免冲突

vim /etc/sysctl.conf
	net.ipv4.conf.lo.arp_ignore = 1  ##环形接口的策略
	net.ipv4.conf.lo.arp_announce = 2		##环形接口的响应策略
	net.ipv4.conf.all.arp_ignore = 1		##所有接口的策略
	net.ipv4.conf.all.arp_announce = 2		##所有接口的响应策略
web1:
vim /var/www/html/index.html
	<html>
	<body>
	<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
	<h1>this is klkl web</h1>
	</body>
	</html>
web2:
vim /var/www/html/index.html
	<html>
	<body>
	<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
	<h1>this is zwzyt web</h1>
	</body>
	</html>

7、访问客户端

开启
在这里插入图片描述
访问192.168.35.100
在这里插入图片描述
在这里插入图片描述

8、配置keepalived

两台LVS服务器安装

yum -y install keepalived
cd /etc/keepalived/
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
	global_defs {             #定义全局参数
    	  router_id lvs_01		#热备组内的设备名称不能一致
}
	vrrp_instance vi_1 {       #定义VRRP热备实例参数
    	  state MASTER         #指定热备状态,主为master,备为backup
     	 interface ens33      #指定承载vip地址的物理接口
    	  virtual_router_id 51 #指定虚拟路由器的ID号,每个热备组保持一致
   	 	  priority 110		   #指定优先级,数值越大越优先
    	  advert_int 1
      	authentication {		##加密
           auth_type PASS		
           auth_pass 6666
 }
	virtual_ipaddress {        #指定集群VIP地址
      192.168.35.100
}
}
	#指定虚拟服务器地址vip,端口,定义虚拟服务器和web服务器池参数
	virtual_server 192.168.35.100 80 { 
      lb_algo rr                #指定调度算法,轮询(rr)
      lb_kind DR				#指定集群工作模式,直接路由DR
      persistence_timeout 6		#健康检查的间隔时间
      protocol TCP				#应用服务采用的是TCP协议
}
	#指定第一个web节点的地址,端口
	real_server 192.168.35.10 80 {
      weight 1					#节点权重
      TCP_CHECK {
          connect_port 80		#添加检查的目标端口
          connect_timeout 3		#添加连接超时
          nb_get_retry 3		#添加重试次数
          delay_before_retry 3	#添加重试间隔
   }
}
	#指定第二个web节点的地址,端口
	real_server 192.168.35.20 80 {
      weight 1
      TCP_CHECK {
          connect_port 80
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
   }
}
}

同样配置LVS_02
需要变更的地方如下
在这里插入图片描述

8.1、LVS两台服务器均开启keepalived

systemctl  start  keepalived
systemctl  status keepalived

在这里插入图片描述

ip a		##查看虚拟网卡信息

在这里插入图片描述
但是lvs_02查询不到,说明vip目前固定在lvs_01
在这里插入图片描述
sh -x /opt/dd.sh ##主-备重新开启一遍脚本

9、win端验证

确保keepalived和httpd服务开启
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

10、模拟msater故障

systemctl stop keepalived 		##模拟主挂掉
ip a ##lvs_01没有vip

在这里插入图片描述
vip漂移至lvs_02上面
在这里插入图片描述

重新执行一遍脚本
sh -x /opt/dd.sh

页面仍可以正常访问
在这里插入图片描述

六、总结

1、部署共享存储:NFS服务器
2、LVS调度服务器配置(主-备)
yum -y install ipvsadm ##下载ipvsadm
modprobe ip_vs #加载ip_vs模块
cat /proc/net/ip_vs #查看ip_vs版本信息
2.1、主备配置虚拟网卡
2.2、调整proc响应参数(由于LVS负载均衡器和各节点需要共用vip地址,应该关闭linux内核的重定向响应参数,不充当路由器(转发、重定向))
3、LVS服务器(主-备)开启ipvsadm
4、两台LVS服务器配置负载分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
4.1、编写脚本方便管理ipvsadm命令
5、web站点服务器配置
配置lo:0接口,ip地址为虚拟接口地址
6、两台web服务器调整内核的ARP响应参数
以阻止更新VIP的MAC地址,避免冲突
7、配置keepalived并开启
8、win端验证

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值