文章目录
一、LVS-DR工作原理
1.1 DR模式的原理
- Direct Routing,简称DR模式
- 调度器和web节点同一网段,LVS负载调度器作为集群的访问入口,但是不作为网关使用,再流向各web节点;
- web节点到客户机的数据是通过路由器,不经过调度器。
1.2 LVS-DR数据包流向分析
- 为方便进行原理分析,将Client与群集机器放在同一网络中,数据包流经的路线为1-2-3-4。
流程操作
- 客户端向目标VIP发出请求,负载均衡器接收;
- 负载均衡器根据负载均衡算法选择服务器,不修改也不封装IP报文,而是将数据帧的MAC地址改为服务器的MAC地址,然后在局域网上发送;
- 服务器收到这个帧,接封装后发现目标IP与本机匹配(服务器事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网;
- 客户端将收到回复报文。认为得到正常的服务,而不会知道是哪一台服务器处理的。
※※※注意:如果跨网段,则报文通过路由器经由Internet返回给用户※※※
1.3 群集中的ARP问题
1.3.1 基础条件
在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址
1.3.2 问题一
在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱
原因:
当ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上,它们都会接收到ARP广播
要求:
只有前端的负载均衡器进行响应,其它节点服务器不应该响应ARP广播
解决配置:
对节点服务器进行处理,使其不响应针对VIP的ARP请求
使用虚拟接口lo:0承载VIP虚拟地址
设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求
1.3.3 问题二
路由器根据ARP表项,会将新来的请求报文转发给RealServer,导致Director的VIP失效(直接跳过调度器与服务器连接)
解决方法
对节点服务器进行处理,设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址(即响应回包时不使用虚拟地址,而选用真实ip地址)
当arp_announce参数配置为2时,eth2网卡发起arp请求时,源IP地址会选择eth2网卡自身的IP地址
1.4 解决问题的方法
解决方法
- 当arp_ignore参数配置为1时,网卡上收到目的IP为环回网卡IP的arp请求,发现请求的 IP 不是自己网卡上的 IP,不会回 arp响应;
- 对节点服务器进行处理,设置内核参数arp_anunounce=2:系统不适用IP包的原地址来设置ARP请求的源地址,而选择发送接口的IP地址
修改/etc/sysctl.cong配置文件
对节点服务器进行处理,使其不响应针对VIP的ARP请求
- net.ipv4.conf.lo.arp_ignore = 1
- net.ipv4.conf.lo.arp_announce = 2
系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
- net.ipv4.conf.all.arp_ignore = 1
- net.ipv4.conf.all.arp_announce = 2
二、LVS-DR部署案例
所有设备需要在同一网段
2.1 案例环境
主机名 | IP |
---|---|
lvs-dr | 192.168.10.11 |
web1 | 192.168.10.12 |
web2 | 192.168.10.13 |
nfs | 192.168.10.14 |
2.2 部署步骤
NFS服务器
[root@nfs ~]yum -y install rpcbind nfs-utils (默认安装)
[root@nfs ~]# mkdir /web1
[root@nfs ~]# mkdir /web2
[root@nfs ~]# echo "<h1>this is web1 x1</h1>" > /web1/index.html
[root@nfs ~]# echo "<h1>this is web2 x2</h1>" > /web2/index.html
[root@nfs ~]# vi /etc/exports
/web1 192.168.10.12(ro)
/web2 192.168.10.13(ro)
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl start rpcbind
[root@nfs ~]# showmount -e
Web服务器
web1
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# mount 192.168.10.14:/web1 /var/www/html/
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# curl http://localhost
<h1>this is web1 x1</h1>
[root@web1 ~]# vim web1.sh
#!/bin/bash
# lvs dr模式 web1
ifconfig lo:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up
route add -host 192.168.10.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null
[root@web1 ~]# sh web1.sh #执行脚本
再查看节点上的配置是否成功
web2
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# mount 192.168.10.14:/web2 /var/www/html/
[root@web2 ~]# df -Th
[root@web2 ~]# systemctl start httpd
[root@web2 ~]# curl http://localhost
<h1>this is web2 x2</h1>
[root@web1 ~]# vim web2.sh
#!/bin/bash
# lvs dr模式 web2
ifconfig lo:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up
route add -host 192.168.10.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null
[root@web2 ~]#sh web.sh #执行脚本
再查看节点上的配置是否成功
LVS-DR调度器
[root@lvs-dr ~]# modprobe ip_vs
[root@lvs-dr ~]# cat /proc/net/ip_vs
[root@lvs-dr ~]# yum -y install ipvsadm
[root@lvs-dr ~]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf #开启路由
[root@lvs-dr ~]# sysctl -p
[root@lvs-dr ~]# vim dr.sh #编辑调度服务器脚本
#!/bin/bash
# lvs 调度器
ifconfig ens33:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up
route add -host 192.168.10.100 dev ens33:0
ipvsadm -C
ipvsadm -A -t 192.168.10.100:80 -s rr
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.12:80 -g
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.13:80 -g
ipvsadm -Ln
[root@lvs-dr ~]# sh dr.sh #执行脚本
[root@lvs-dr ~]# ifconfig #查看
2.3 测试
在浏览器上输入192.168.10.100
在lvs调度器上
查看调度情况,真实的地址调度情况
[root@lvs-dr ~]# ipvsadm -Lnc