LVS-DR负载均衡群集

一、LVS-DR数据包流向分析

1.Client向目标VIP发出请求，Director（负载均衡器）接收
IP包头及数据帧头信息
2.Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后再局域网上发送
3.RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer实现绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网
IP包头及数据帧信息
4.Client将受到回复报文。Client认为得到正常的服务，而不会知道是哪一台服务器处理的
注意：如果跨网段，则报文通过路由器由Internet返回给用户

二、LVS-DR中的ARP问题

• 问题1：在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
  1.当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收ARP广播
  2.只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
  解决办法：对节点服务器进行处理，使其不响应针对VIP的ARR请求
  使用虚接口lo:0承载VIP地址
  设置内核参数arp_ignore=1，系统只响应目的IP为本地IP的ARP请求

RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址
发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址
如：ens33接口
路由器收到ARP请求后，将更新ARP表项
原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址

• 问题2：:路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效
  解决办法：对节点服务器进行设置，设置内核参数arp_announce=2，系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

三、案例：LVS-DR部署

主机名	IP地址	角色	软件包
调度器	192.168.10.10（本机IP），192.168.10.100（虚拟IP）	LVS负载调度器	加载LVS内核模块，ipvsadm软件包
web1	192.168.10.20（本机IP），192.168.10.100（虚拟IP）	web节点1	http软件包
web2	192.168.10.30（本机IP），192.168.10.100 （虚拟IP）	web节点2	http软件包
nfs	192.168.10.40	nfs远程共享目录	nfs-utils软件包

1.NFS共享存储服务器配置

[root@server1 ~]# yum -y install nfs-utils rpcbind
[root@server1 ~]# mkdir /opt/web1
[root@server1 ~]# mkdir /opt/web2
[root@server1 ~]# echo "this is Web1." > /opt/web1/index.html
[root@server1 ~]# echo "this is Web2." > /opt/web2/index.html
[root@server1 ~]# vi /etc/exports
/opt/web1 192.168.10.20/32(ro)
/opt/web2 192.168.10.30/32(ro)
[root@server1 ~]# systemctl start nfs
[root@server1 ~]# systemctl start rpcbind
[root@server1 ~]# showmount -e	#查看本机共享存储发布情况

2.配置web服务器

web1

[root@server1 ~]# yum -y install httpd
[root@server1 ~]# mount 192.168.10.40:/opt/web1 /var/www/html
[root@server1 ~]# vi dr.sh
#!/bin/bash
# Web1
ifconfig lo:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up    ##添加虚拟地址的虚拟网口
route add -host 192.168.10.100 dev lo:0		##给lo:0添加虚拟路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore   ##系统只响应目的IP为本地真实IP的ARP请求
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce    ##系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送真实接口的IP地址
sysctl -p &> /dev/null

[root@server1 ~]# sh dr.sh
[root@server1 ~]# ifconfig	#查看虚拟网口配置情况

web2

[root@server1 ~]# yum -y install httpd
[root@server1 ~]# mount 192.168.10.40:/opt/web1 /var/www/html
[root@server1 ~]# vi dr.sh
#!/bin/bash
# Web2
ifconfig lo:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up    ##添加虚拟网口
route add -host 192.168.10.100 dev lo:0		##给lo:0添加路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore   ##系统只响应目的IP为本地真实IP的ARP请求
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce  ##系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送真实接口的IP地址
sysctl -p &> /dev/null

[root@server1 ~]# sh dr.sh
[root@server1 ~]# ifconfig	#查看虚拟网口配置情况

3.配置调度服务器

[root@server1 ~]# modprobe ip_vs		##加载ip_vs模块
[root@server1 ~]# cat /proc/net/ip_vs	  ##查看版本信息
IP Virtual Server version 1.2.1 (size=4096)
[root@server1 ~]# rpm -ivh /mnt/Packages/ipvsadm-1.27-7.el7.x86_64.rpm		##安装ipvsadm
[root@server1 ~]# vi dr.sh
#!/bin/bash
#
#!/bin/bash
# DRdiaoduqi
ifconfig ens33:0 192.168.10.100 broadcast 192.168.10.100 netmask 255.255.255.255 up		##添加虚拟地址的虚拟网口
route add -host 192.168.20.200 dev ens33:0	#给ens33:0添加虚拟路由
ipvsadm -C
ipvsadm -A -t 192.168.10.100:80 -s rr
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.20:80 -g
ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.30:80 -g
ipvsadm -Ln		#查看调度信息

[root@server1 ~]# sh dr.sh
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.100:80 rr
  -> 192.168.10.20:80             Route   1      0          0         
  -> 192.168.10.30:80             Route   1      0          0   

4.访问验证测试：访问http://192.168.10.100，会轮循访问到Web1和Web2