案例:LVS DR模式

一、LVS-DR数据包流向分析

为方便进行原理分析，将client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4

Client向目标VIP发出请求，Director（负载均衡器）接受

IP包头及数据帧头信息

Director根据负载均衡算法选择Real Server_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为Real Server_1的MAC地址，然后在局域网上发送

IP包头及数据帧头信息

RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer事先绑定了VIP），于是处理这个报文。随后重新封装报文，将相应报文通过lo接口传送给物理网卡然后向外发出

IP包头及数据帧头信息

Client将收到回复报文。Client认为得到正常的服务，而不会知道是那一台服务器处理的

注意：如果跨网段，则报文通过路由器经由internet返回给客户

• 数据包流向分析

1. 客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间
2. Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输
3. 内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server
4. 到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出
5. Real Server 直接将响应报文传送到客户端

• DR 模式的特点

• Director Server 和 Real Server 必须在同一个物理网络中
• Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问
• Director Server作为群集的访问入口，但不作为网关使用
• 所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server
• Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server
• Real Server 上的 lo 接口配置 VIP 的 IP 地址
   

二、LVS-DR中的ARP问题

• 在LVS-DR负载均衡集群中负载均衡器与节点服务器都要配置相同的VIP地址
• 在局域网中具有相同的IP地址，势必会造成个服务器ARP通信的紊乱

        当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，他们都会接收到ARP广播

        只有前端的负载均衡器进行相应，其他节点服务器不应该相应ARP广播

• 对节点服务器进行处理，使其不响应针对VIP的ARP请求

        使用虚接口lo：0承载VIP地址

        设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

• RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址
• 发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址

• 问题

        路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效

• 解决方法

        对节点服务器进行处理，设置你和参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址，而选择放松接口的IP地址

三、解决ARP的两个问题的设置方法

• 修改/etc/sysctl.conf文件

net.ipv4.conf.lo.arp_ignore=1            #节点服务器只响应的IP为物理网卡接口IP的ARP请求
net.ipv4.conf.lo.arp_announce=2            #节点服务器不使用IP包的源IP而采用发送接口的IP来作为ARP请求报文的源IP
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2

四、案例：构建LVS-DR集群

准备四台服务器，所有服务器进行初始化操作

systemctl disable --now firewalld
setenforce 0


vim /etc/selinux/config

SELINUX=disabled

• NFS服务器配置

yum install -y nfs-utils rpcbind

mkdir /share/{xy101,xy102} -p
ls /share/
echo '<h1>this is xy101 test web page!</h1>' > /share/xy101/test.html
echo '<h1>this is xy102 test web page!</h1>' > /share/xy102/test.html

vim /etc/exports

/share/xy101 192.168.80.0/24(ro)
/share/xy102 192.168.80.0/24(ro)


systemctl enable --now rpcbind nfs

• 节点服务器配置（两台，安装好nginx服务，本文使用源码编译安装，见）

systemctl start rpcbind

showmount -e 192.168.80.6

/usr/local/nginx/sbin/nginx            #启动nginx服务

mount 192.168.80.6:/share/xy101 /usr/local/nginx/html/            #挂载（若使用yum在线安装则路径为/usr/share/nginx/html/）

cd /etc/sysconfig/network-scripts/

ls

cp ifcfg-lo ifcfg-lo:0

vim ifcfg-lo:0

DEVICE=lo:0            #网卡名称
IPADDR=192.168.80.100            #IP地址
NETMASK=255.255.255.255            #MAC地址
ONBOOT=yes


systemctl restart network
ifconfig

cat /usr/local/nginx/logs/nginx.pid            #查看nginx的PID号
kill PID号            #停止nginx服务
/usr/local/nginx/sbin/nginx            #开启nginx服务

#若要使用systemctl，则需先配置以下服务（源码编译安装情况）
vim /etc/init.d/nginx


#!/bin/bash
#chkconfig: - 99 20
#description:Nginx Service Control Script
COM="/usr/local/nginx/sbin/nginx"
PID="/usr/local/nginx/logs/nginx.pid"
case "$1" in
start)
  $COM
;;

stop)
  kill -s QUIT $(cat $PID)
;;

restart)
  $0 stop
  $0 start
;;

reload)
  kill -s HUP $(cat $PID)
;;

*)
echo "Usage: $0 {start|stop|restart|reload}"
exit 1

esac
exit 0


chmod +x /etc/init.d/nginx
chkconfig --add nginx

vim /etc/sysctl.conf

sysctl -p

route -n
route add -host 192.168.80.100 lo:0
route -n

vim /usr/local/nginx/conf/nginx.conf            #关闭长连接

cat /usr/local/nginx/logs/nginx.pid            #查看nginx的PID号
kill PID号            #停止nginx服务
/usr/local/nginx/sbin/nginx            #开启nginx服务

另一台节点服务器配置基本相同

mount 192.168.80.6:/share/xy101 /usr/local/nginx/html/            #挂载稍作更改
route add -host 192.168.80.100 dev lo:0            #配置路由稍作更改

• 调度器配置

yum install -y ipvsadm

touch /etc/sysconfig/ipvsadm
systemctl start ipvsadm
systemctl status ipvsadm
systemctl enable ipvsadm

modprobe ip_vs            #添加模块
lsmod            #检查
或者cat /proc/net/ip_vs

cd /etc/sysconfig/network-scripts
ls
cp ifcfg-lo ifcfg-ens33:0
vim ifcfg-ens33:0


DEVICE=ens33:0
IPADDR=192.168.80.100
NETMASK=255.255.255.255
ONBOOT=yes


systemctl restart network
ifconfig

vim /etc/sysctl.conf            #修改内核参数


net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0


sysctl -p

ipvsadm -ln            #查看当前规则
#若有规则，使用
ipvsadm -C            #清空

ipvsadm -A -t 192.168.80.100:80 -s rr            #指定VIP地址，80端口，指定调度算法
ipvsadm -a -t 192.168.80.100:80 -r 192.168.80.16:80 -g            #指定真实服务器，80端口，指定LVS模式
ipvsadm -a -t 192.168.80.100:80 -r 192.168.80.12:80 -g
ipvsadm -ln

ipvsadm-save -n > /opt/ipvsadm.bak            #保存规则
cat /opt/ipvsadm.bak

• 浏览器测试

刷新