LVS负载均衡（DR直接路由模式）

一、LVS-DR工作原理

1.1 DR模式的原理

• Direct Routing，简称DR模式
• 调度器和web节点同一网段，LVS负载调度器作为集群的访问入口，但是不作为网关使用，再流向各web节点；
• web节点到客户机的数据是通过路由器，不经过调度器。

1.2 LVS-DR数据包流向分析

• 为方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4。

流程操作

1. 客户端向目标VIP发出请求，负载均衡器接收；
2. 负载均衡器根据负载均衡算法选择服务器,不修改也不封装IP报文，而是将数据帧的MAC地址改为服务器的MAC地址，然后在局域网上发送；
3. 服务器收到这个帧，接封装后发现目标IP与本机匹配(服务器事先绑定了VIP)，于是处理这个报文。随后重新封装报文，发送到局域网；
4. 客户端将收到回复报文。认为得到正常的服务，而不会知道是哪一台服务器处理的。

※※※注意：如果跨网段，则报文通过路由器经由Internet返回给用户※※※

1.3 群集中的ARP问题

1.3.1 基础条件

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址

1.3.2 问题一

在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱

原因：

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播

要求：

只有前端的负载均衡器进行响应，其它节点服务器不应该响应ARP广播

解决配置：
对节点服务器进行处理，使其不响应针对VIP的ARP请求

使用虚拟接口lo：0承载VIP虚拟地址
设置内核参数arp_ignore=1：系统只响应目的IP为本地IP的ARP请求

1.3.3 问题二

路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效（直接跳过调度器与服务器连接）

解决方法

对节点服务器进行处理，设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址（即响应回包时不使用虚拟地址，而选用真实ip地址）

当arp_announce参数配置为2时，eth2网卡发起arp请求时，源IP地址会选择eth2网卡自身的IP地址

1.4 解决问题的方法

解决方法

1. 当arp_ignore参数配置为1时，网卡上收到目的IP为环回网卡IP的arp请求，发现请求的 IP 不是自己网卡上的 IP，不会回 arp响应；
2. 对节点服务器进行处理，设置内核参数arp_anunounce=2：系统不适用IP包的原地址来设置ARP请求的源地址，而选择发送接口的IP地址

修改/etc/sysctl.cong配置文件

对节点服务器进行处理，使其不响应针对VIP的ARP请求
  - net.ipv4.conf.lo.arp_ignore = 1
  - net.ipv4.conf.lo.arp_announce = 2
系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
  - net.ipv4.conf.all.arp_ignore = 1
  - net.ipv4.conf.all.arp_announce = 2

二、LVS-DR部署案例

所有设备需要在同一网段

2.1 案例环境

主机名	IP
lvs-dr	192.168.10.11
web1	192.168.10.12
web2	192.168.10.13
nfs	192.168.10.14

2.2 部署步骤

NFS服务器

[root@nfs ~]yum -y install rpcbind nfs-utils （默认安装）
[root@nfs ~]# mkdir /web1
[root@nfs ~]# mkdir /web2
[root@nfs ~]# echo "<h1>this is web1 x1</h1>" > /web1/index.html
[root@nfs ~]# echo "<h1>this is web2 x2</h1>" > /web2/index.html

[root@nfs ~]# vi /etc/exports
/web1 192.168.10.12(ro)
/web2 192.168.10.13(ro)

[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl start rpcbind
[root@nfs ~]# showmount -e

Web服务器

web1

[root@web1 ~]# yum -y install httpd

[root@web1 ~]# mount 192.168.10.14:/web1 /var/www/html/
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# curl http://localhost
<h1>this is web1 x1</h1>

[root@web1 ~]# vim web1.sh
#!/bin/bash
# lvs dr模式 web1
ifconfig lo:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up
route add -host 192.168.10.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null

[root@web1 ~]# sh web1.sh #执行脚本

再查看节点上的配置是否成功

web2

[root@web2 ~]# yum -y install httpd

[root@web2 ~]# mount 192.168.10.14:/web2 /var/www/html/
[root@web2 ~]# df -Th
[root@web2 ~]# systemctl start httpd
[root@web2 ~]# curl http://localhost
<h1>this is web2 x2</h1>

[root@web1 ~]# vim web2.sh
#!/bin/bash
# lvs dr模式 web2
ifconfig lo:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up
route add -host 192.168.10.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null

[root@web2 ~]#sh web.sh	#执行脚本

再查看节点上的配置是否成功

LVS-DR调度器

[root@lvs-dr ~]# modprobe ip_vs
[root@lvs-dr ~]# cat /proc/net/ip_vs
[root@lvs-dr ~]# yum -y install ipvsadm

[root@lvs-dr ~]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf	#开启路由
[root@lvs-dr ~]# sysctl -p

[root@lvs-dr ~]# vim dr.sh	#编辑调度服务器脚本
#!/bin/bash
# lvs 调度器
ifconfig ens33:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up
route add -host 192.168.10.100 dev ens33:0
ipvsadm -C
ipvsadm -A -t 192.168.10.100:80 -s rr
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.12:80 -g
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.13:80 -g
ipvsadm -Ln

[root@lvs-dr ~]# sh dr.sh	#执行脚本
[root@lvs-dr ~]# ifconfig	#查看

2.3 测试

在浏览器上输入192.168.10.100

在lvs调度器上
查看调度情况，真实的地址调度情况

[root@lvs-dr ~]# ipvsadm -Lnc