部署LVS-DR群集

DR模式的特点

（1）Director Server（调度器） 和 Real Server（节点服务器） 必须在同一个物理网络中。

（2）Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。

（3）Director Server作为群集的访问入口，但不作为网关使用。

（4）所有的请求报文经由Director Server, 但回复响应报文不能经过Director Server。

（5） Real Server 的网关不允许指向Director Server IP， 即Real Server发送的数据包不允许经过Director Server。（RS的网关地址只能指定真实的路由器网关）

（6） Real Server 上的 lo 接口配置VIP的IP地址。

DR模式数据包流向分析

（1）客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间。
（2）Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。
（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。
（4）到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。
（5）Real Server 直接将响应报文传送到客户端

LVS-DR中的ARP问题

问题一：VIP地址相同导致响应冲突

问题原因：
在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地 址，势必会造成各服务器ARP通信的紊乱。

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会收到ARP广播。
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。
 

解决方法：

对节点服务器进行处理，使其不响应针对VIP的ARP请求

1.使用虚接口lo:0承载VIP地址

2.设置内核参数 arp_ ignore=1：系统只响应目的IP为本地IP（物理网卡的地址，而不是lo网卡的虚接口地址）的ARP请求

问题二：返回报文时源地址使用VIP，导致网关设备的ARP缓存表紊乱

问题原因：
RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址。
路由器收到ARP请求后，将更新ARP表项。原有的VIP对应Director的MAC地址，会被更新为VIP对应的Real Server的MAC地址。导致网关设备的ARP缓存表紊乱。
路由器根据ARP表项，会将新来的请求报文转发给Real Server，导致Director的VIP失效。
 

解决方法：

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP数据包的源地址来设置ARP请求的源地址，而选择发送接口（物理网卡）的IP地址。

LVS单网段DR模式部署

实验准备：

五台虚拟机（两台web服务虚拟机，一台DR负载均衡调度器，一台客户机，一台NFS共享服务机），具体IP配置如下：

web服务器1:192.168.126.23；web服务器2:192.168.126.24

DR调度器：192.168.126.22    DNS共享服务器：192.168.126.25

客户端192.168.126.21   VIP：192.168.126.88

 实验具体操作步骤

1 配置DR负载调度器192.168.126.22

[root@zy2 ipvs]# systemctl stop firewalld
[root@zy2 ipvs]# setenforce 0

[root@zy2 ~]# modprobe ip_vs   #加载ip_vs模块
[root@zy2 ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@zy2 ~]# yum -y install ipvsadm   #安装ipvsadm

配置虚拟 IP 地址 VIP192.168.126.88

[root@zy2 ~]# cd /etc/sysconfig/network-scripts/
[root@zy2 network-scripts]# ls
ifcfg-ens33  ifdown-isdn      ifup          ifup-plip      ifup-tunnel
ifcfg-lo     ifdown-post      ifup-aliases  ifup-plusb     ifup-wireless
ifdown       ifdown-ppp       ifup-bnep     ifup-post      init.ipv6-global
ifdown-bnep  ifdown-routes    ifup-eth      ifup-ppp       network-functions
ifdown-eth   ifdown-sit       ifup-ib       ifup-routes    network-functions-ipv6
ifdown-ib    ifdown-Team      ifup-ippp     ifup-sit
ifdown-ippp  ifdown-TeamPort  ifup-ipv6     ifup-Team
ifdown-ipv6  ifdown-tunnel    ifup-isdn     ifup-TeamPort

[root@zy2 network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0 #若ip隧道模式，复制为ifcfg-tun10
[root@zy2 network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0             
ONBOOT=yes
IPADDR=192.168.126.88
NETMASK=255.255.255.255


[root@zy2 network-scripts]# systemctl restart network
[root@zy2 network-scripts]# ifconfig
[root@zy2 network-scripts]# systemctl restart nginx

 调整内核参数，关闭ip路由转发和icmp重定向

#由于 LVS 负载调度器和各节点需要共用 VIP 地址，需要关闭 icmp 的重定向，不充当路由器。
vim /etc/sysctl.conf
#末行添加
net.ipv4.ip_forward = 0     #关闭ip转发模式
net.ipv4.conf.all.send_redirects = 0         #关闭icmp重定向
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

#加载内核参数 
sysctl -p

配置负载分配策略

[root@zy2 ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@zy2 ~]# systemctl start ipvsadm.service     #启动ipvsadm

[root@zy2 ~]# ipvsadm -C    #清空策略列表
[root@zy2 ~]# ipvsadm -A -t 192.168.126.88:80 -s rr  #-A添加虚拟服务器 -s指定调度算
法  -p指定连接保持时间 
[root@zy2 ~]# ipvsadm -a -t 192.168.126.88:80 -r 192.168.126.23:80 -g #-a添加真实
节点服务器，-t指定VIP地址 -r指定真实节点服务器 -g指DR模式  若是隧道模式-g改为-i
[root@zy2 ~]# ipvsadm -a -t 192.168.126.88:80 -r 192.168.126.24:80 -g


[root@zy2 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  zy2:http rr
  -> 192.168.126.23:http          Route   1      0          0         
  -> 192.168.126.24:http          Route   1      0          0         

[root@zy2 ~]# ipvsadm -ln         #查看节点状态，Route代表 DR模式
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.126.88:80 rr
  -> 192.168.126.23:80            Route   1      0          0         
  -> 192.168.126.24:80            Route   1      0          0

2.部署共享存储(NFS共享服务器)

[root@zy5 ~]# systemctl stop firewalld
[root@zy5 ~]# setenforce 0

[root@zy5 ~]# yum -y install nfs-utils rpcbind

[root@zy5 ~]# cd /opt
[root@zy5 opt]# ls
rh
[root@zy5 opt]# mkdir web1 web2   #创建共享目录
[root@zy5 opt]# ls
rh  web1  web2
[root@zy5 opt]# chmod 777 web1 web2
[root@zy5 opt]# ll
总用量 0
drwxr-xr-x. 2 root root 6 3月  26 2015 rh
drwxrwxrwx. 2 root root 6 4月  24 17:28 web1
drwxrwxrwx. 2 root root 6 4月  24 17:28 web2

[root@zy5 opt]# echo '<h1>this is web2 test!</h1>' > web2/index.html
[root@zy5 opt]# echo '<h1>this is web1 test !</h1>' > web1/index.html


[root@zy5 opt]# vim /etc/exports
/usr/share *(ro,sync)
/opt/web1 192.168.126.0/24(rw,sync)
/opt/web2 192.168.126.0/24(rw,sync)

[root@zy5 ~]# exportfs -arv     #将内容共享出来
exporting 192.168.126.0/24:/opt/web2
exporting 192.168.126.0/24:/opt/web1
exporting *:/usr/share

[root@zy5 ~]# showmount -e #查看是否已经共享
Export list for zy5:
/usr/share *
/opt/web2  192.168.126.0/24
/opt/web1  192.168.126.0/24

[root@zy5 opt]# systemctl start rpcbind
[root@zy5 opt]# systemctl start nfs

3.配置节点服务器192.168.126.23  192.168.126.24

配置虚拟 IP 地址（web1和web2 的相同设置）

#此地址仅用作发送 Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
因此使用虚接口 lo∶0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，
以避免通信紊乱。
[root@zy3 ~]# cd /etc/sysconfig/network-scripts/
[root@zy3 network-scripts]# ls
ifcfg-ens33  ifdown-isdn      ifup          ifup-plip      ifup-tunnel
ifcfg-lo     ifdown-post      ifup-aliases  ifup-plusb     ifup-wireless
ifdown       ifdown-ppp       ifup-bnep     ifup-post      init.ipv6-global
ifdown-bnep  ifdown-routes    ifup-eth      ifup-ppp       network-functions
ifdown-eth   ifdown-sit       ifup-ib       ifup-routes    network-functions-ipv6
ifdown-ib    ifdown-Team      ifup-ippp     ifup-sit
ifdown-ippp  ifdown-TeamPort  ifup-ipv6     ifup-Team
ifdown-ipv6  ifdown-tunnel    ifup-isdn     ifup-TeamPort

[root@zy3 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@zy3 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.126.88
NETMASK=255.255.255.255    #注意：子网掩码必须全为 1
ONBOOT=yes

ifup lo:0
ifconfig lo:0

#添加路由 使用lo:0接口承载VIP，并将访问VIP的数据限制在本地，以避免通信紊乱
[root@zy3 network-scripts]# route add -host 192.168.126.88 dev lo:0
[root@zy3 ~]# vim /etc/rc.local   #rc.local可以实现开机自启动里面的命令
#末行添加
/sbin/route add -host 192.168.126.88 dev lo:0 


[root@zy3 ~]# chmod +x /etc/rc.d/rc.local   #给执行权限，其中/etc/rc.local是
/etc/rc.d/rc.local的软连接

调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突（web1和web2的相同设置）

[root@zy3 ~]# vim /etc/sysctl.conf    #更改内核参数
#末行添加
net.ipv4.conf.lo.arp_ignore = 1  #系统只响应目的IP为本地IP（物理网卡的地址，而不是lo
网卡的虚接口地址VIP）的ARP请求
net.ipv4.conf.lo.arp_announce = 2  #系统使用物理网卡的ip作为ARP请求报文的源ip，而不
使用数据包的源ip即VIP做请求报文的源ip
net.ipv4.conf.all.arp_ignore = 1     #all代表所有网卡做相关的操作
net.ipv4.conf.all.arp_announce = 2

sysctl -p    #加载参数设置


方法二：
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

sysctl -p

yum -y install nfs-utils rpcbind   #安装NFS共享服务 并启动
systemctl start rpcbind

web1 节点服务器（192.168.126.23）的测试网页设置

#挂载web1到html 注意在线源安装的nginx html路径 /usr/share/nginx/html
[root@zy3 ~]# mount.nfs 192.168.126.25:/opt/web1 /usr/share/nginx/html  

#也可以永久挂载
[root@zy4 html]# vim /etc/fstab
192.168.126.88:/opt/web1             /usr/share/nginx/html        nfs     defaults,_netdev 0 0

web2节点服务器(192.168.126.24) 的测试网页设置

[root@zy4 ~]# mount.nfs 192.168.126.25:/opt/web2 /usr/share/nginx/html

4.客户机（192.168.126.21）访问VIP地址（192.168.126.88） ，并且测试负载均衡效果

如图 访问VIP实现负载均衡

浏览器访问192.168.126.88