文章目录
一,LVS-DR模式叙述
1.DR 模式特点
-
Director Server 和 Real Server 必须在同一个物理网络中
-
Real Server 可以使用私有地址,也可以使用公网地址。如果使用公网地址,可以通过互联网对RIP进行直接访问
-
Director Server 作为群集的访问入口,但不作为网关使用
-
所有的请求报文经由 Director Server, 但回复响应报文不能经过 Director Server
-
Real Server 的网关不允许指向 Director Server IP,即 Real Server 发送的数据包不允许经过 Director Server
-
Real Server 上的 lo 接口配置 VIP 的 IP 地址
2. 数据包流向分析
在同一局域网中
1.客户端向目标VIP 发送请求,负载均衡器接收
2.负载均衡器根据负载均衡算法选择后端真实服务器,不修改也不封装IP报文,而是将数据帧的MAC 地址改为后端服务器的MAC 地址,然后在局域网上发送
3.后端真实服务器收到这个帧,解封装后发现目标 IP 与本机匹配(事先绑定 了VIP),于是处理这个报文
4.再重新封装报文,将响应报文通过 lo 接口传送给物理网卡然后向外发出客户端将收到回复报文,客户端认为得到了正常的服务,而不会知道是哪一台服务器处理的如果跨网段,则报文通过路由器由 lnternet 返回给客户
首先是在同一网络(局域网内)数据通过二层数据链路层来传输,客户端向目标VIP 发送请求,负载均衡器接收(调度器),负载均衡器根据负载均衡算法选择后端真实服务器(节点服务器),不修改也不封装IP报文,而是将数据帧的MAC 地址改为后端服务器的MAC 地址,然后在局域网上发送,节点服务器收到这个数据包,解封装后发现目标 IP 与本机匹配(事先绑定了VIP),就会处理这个报文,处理之后再重新封装报文,将响应报文通过 lo 接口传送给物理网卡然后向外发出,客户端将收到回复报文,客户端认为得到了正常的服务,而不会知道是哪一台服务器处理的(因为中间有NAT,防火墙等),如果跨网段,则报文通过路由器由 lnternet 返回给客户
3. DR 模式中的 ARP 问题
- 问题1:
在LVS-DR 负载均衡集群中,负载均衡与节点服务器都要配置相同的VIP地址,若在同一局域网中具有相同的 IP 地址,一定会造成各服务器ARP通信的紊乱,当ARP发送广播到LVS-DR 集群时,因为负载均衡服务器和节点服务器都是连接到相同网路上,它们都会接受到ARP广播,想要只有前端的负载均衡器进行响应,其他节点服务器去不应该响应ARP广播,如下
- 解决方法:
对节点服务器进行处理,使其不响应针对VIP的ARP请求
①使用虚拟接口lo:0 承载 VIP 地址
②设置内核参数 arp_ignore=1 系统只响应目的 IP 为本地 IP 的ARP请求
- 问题二:
节点服务器返回报文(源IP 是VIP)经路由转发,重新封装报文时,需要先获取路由器的MAC地址,发送ARP请求时,Linux默认使用IP 包的源 IP地址(即VIP)作为ARP 请求包中的源IP地址,而不使用发送的接口的 IP地址,路由器收到ARP请求后,将更新ARP表项,原有的VIP对应负载均衡器的MAC 地址会被更新为 VIP对应节点服务器的MAC地址。如:ens33接口
- 解决方法:
对节点服务进行处理,设置内核参数 arp_announce=2 系统不使用 IP 包的源地址来设置 ARP 请求的源地址,而选择发送接口的 IP 地址
- 解决ARP的两个问题的设置方法
#修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
-
配置内核参数详细解释
-
1.arp_ignore = 1 访问去时
防止网关路由器发送ARP广播时调度器和节点服务器都进行响应,这个会导致ARP缓存表混乱,不对非本地物理网卡IP的ARP请求响应,因为VIP是承载1o:0
- 2.arp_announce = 2 访问完回去后
系统不使用响应的数据的源 IP 地址(VIP),而使用发送报文的物理网卡 IP 地址作为 ARP 请求的报文的源 IP 地址,这样可以防止网关路由器接收到的源 IP 地址为 VIP 的 ARP 请求报文后有更新 ARP 缓存表,导致外网在发送请求时,数据包到达不了调节器
二,部署LVS-DR模式
- 部署所需环境
LVS负载均衡调节器(DR服务器): ens33: 192.168.113.129 (Vment 8 NAT模式)
ens33:0: 192.168.113.200 (VIP)
Web1 节点服务器:192.168.113.128
Web2 节点服务器:192.168.113.125
客户端 win10:192.168.113.131
VIP地址: 192.168.113.200
一、配置负载调度器(192.168.113.129 )
1.关闭火墙核心防护
[root@lvs ~]# systemctl stop firewalld
[root@lvs ~]# systemctl disable firewalld
[root@lvs ~]# setenforce 0
2.安装ipvsadm工具
[root@lvs ~]# yum install ipvsadm.x86_64 -y
3.配置虚拟IP地址(VIP:192.168.113.200)
[root@lvs ~]# cd /etc/sysconfig/network-scripts/
[root@lvs network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@lvs network-scripts]# ls
ifcfg-ens33 ifdown-post ifup-eth ifup-sit
ifcfg-ens33:0 ifdown-ppp ifup-ib ifup-Team
##其他删除或注释掉
[root@lvs network-scripts]# vim ifcfg-ens33:0
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.113.200
NETMASK=255.255.255.255
4.重启网络服务、启动网卡
[root@lvs network-scripts]# systemctl restart network
[root@lvs network-scripts]# ifup ifcfg-ens33:0
5.调整/proc响应参数
对于 DR 群集模式来说,由于 LVS 负载调度器和各节点需要共用 VIP 地址,应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器,那么它不会发送重定向,所以可以关闭该功能
##切换到最后一行添加
[root@lvs network-scripts]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
##刷新配置查看是否成功
[root@lvs network-scripts]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
6.加载模块
[root@lvs network-scripts]# modprobe ip_vs
[root@lvs network-scripts]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
7.配置负载分配策略,并启动服务
[root@lvs network-scripts]# ipvsadm-save >/etc/sysconfig/ipvsadm
[root@lvs network-scripts]# systemctl start ipvsadm.service
8.清空ipvsadm,并添加策略
添加真实服务器-a 指定VIP地址及TCP端口-t 指定RIP地址及TCP端口 -r 指定DR模式-g
[root@lvs network-scripts]# ipvsadm -C
[root@lvs network-scripts]# ipvsadm -A -t 192.168.113.200:80 -s rr
[root@lvs network-scripts]# ipvsadm -a -t 192.168.113.200:80 -r 192.168.113.128:80 -g
[root@lvs network-scripts]# ipvsadm -a -t 192.168.113.200:80 -r 192.168.113.125:80 -g
9.启动ipvsadm,查看配置,保存
[root@lvs network-scripts]# ipvsadm
[root@lvs network-scripts]# ipvsadm -ln
[root@lvs network-scripts]# ipvsadm-save >/etc/sysconfig/ipvsadm
三,配置web1节点服务器(192.168.113.128)
- 注:web1 2 配置基本一致
1.关闭防火墙,核心防护
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# systemctl disable firewalld
[root@web1 ~]# setenforce 0
2.安装httpd、开启服务,并创建一个站点文件
[root@web1 ~]# yum install -y httpd
[root@web1 ~]# systemctl restart httpd
[root@web1 ~]# echo "<h1>你个大长虫</h1>" > /var/www/html/index.html
3.添加回环网卡,修改回环网卡名,IP地址,子网掩码
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web1 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.113.200
NETMASK=255.255.255.255
NETWORK=127.0.0.0
##重启网卡,刷新下
[root@web1 network-scripts]# systemctl restart network
4.设置路由
[root@web1 network-scripts]# route add -host 192.168.113.200 dev lo:0
[root@web1 network-scripts]# route -n
-A:设置地址类型
-C:打印将Linux核心的路由缓存
-v:详细信息模式
-n:不执行DNS反向查找,直接显示数字形式的IP地址
-e:netstat格式显示路由表
-net:到一个网络的路由表
-host:到一个主机的路由表
5.添加到变量开机执行命令
##最后一行添加
[root@web1 network-scripts]# vim /etc/rc.d/rc.local
/usr/sbin/route add -host 192.168.113.200 dev lo:0
##给与执行权限
[root@web1 network-scripts]# chmod +x /etc/rc.d/rc.local
6.调整 proc 响应参数
添加系统只响应目的IP为本地IP的ARP请求
系统不使用原地址来设置ARP请求的源地址,而是物理mac地址上的IP
##最后一行添加
[root@web1 network-scripts]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
##查看是否正常
[root@web1 network-scripts]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
四,配置web2节点服务器(192.168.113.125)
1.关闭防火墙,核心防护
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# systemctl disable firewalld
[root@web2 ~]# setenforce
2.安装httpd、开启服务,并创建一个站点文件
[root@web2 ~]# yum install httpd -y
[root@web2 ~]# systemctl start httpd
echo "<h1>谁?谁是大长虫</h1>" > /var/www/html/index.html
3.添加回环网卡,修改回环网卡名,IP地址,子网掩码
[root@web2 network-scripts]# cd /etc/sysconfig/network-scripts/
[root@web2 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web2 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.113.200
NETMASK=255.255.255
##重启网卡,刷新下
[root@web2 network-scripts]# systemctl restart network
4.设置路由
[root@web2 network-scripts]# route add -host 192.168.113.200 dev lo:0
[root@web2 network-scripts]# route -n
5.添加到变量开机执行命令
##最后一行添加
[root@web2 network-scripts]# vim /etc/rc.d/rc.local
/usr/sbin/route add -host 192.168.113.200 dev lo:0
##给与执行权限
[root@web2 network-scripts]# chmod +x /etc/rc.d/rc.local
6.调整 proc 响应参数
##最后一行添加
[root@web2 network-scripts]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
##查看是否正常
[root@web2 network-scripts]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
五,win10客户机浏览器访问(192.168.113.131)