LVS-DR
LVS-DR的数据包流向分析
为方便进行原理分析,将客户端与群集机器放在同一个网络中,数据包流经路线为1-2-3-4
1.客户机向目标VIP发出请求,director(负载均衡器)接收
2.director根据负载均衡算法选择服务器realserver1,不修改也不封装IP报文,而是将数据帧mac地址改为服务器mac地址,然后再局域网上发送
3.服务器rs1收到这个帧解封装后发现目标ip与本机匹配(服务器事先绑定了vip),于是处理了这个报文。随后重新封装报文,发送到局域网
4.客户机收到回复报文,认为得到正常的服务,而不会知道是哪一台服务器处理(如果跨网段,则报文用过路由器经由internet返回给用户)
lvs-DR中的ARP问题
ARP响应问题
在lvs-DR负载均衡群集中,负载均衡器与节点服务器都要配置相同的VIP地址。(只有调度器的VIP配置在ens33上,服务器的vip时配置在lo环回上)
在局域网中具有相同的IP地址,会造成个服务器的ARP通讯紊乱,当ARP广播发送到lvs-DR群集时,因为负载均衡器和节点服务器都是连接到相同的网络上,他们都会接收到ARP广播。只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播。
解决方法
当配置arp_ignore=1时,实际网卡上收到的目的ip为环回网卡ip的arp请求,发现请求的ip不是自己的实际ip,不会回应arp响应。
服务器响应时,路由器记录服务器mac,导致调度器vip失效
服务器返回报文(源ip是vip)经由路由器转发,重新封装报文时,需要先获取路由器的mac地址。发送ARP请求时,linux默认使用IP包的源ip地址(即vip)作为arp请求包的源ip地址,而不使用发送端端口的IP地址。路由器接收到arp请求后,将更新arp表项,原有的vip对应的调度器的mac地址会被更新为vip对应得服务器mac地址。下次访问VIP时,将会通过路由器中的arp的记录,绕过调度器,直接访问服务器,即导致调度器的vip失效。
解决方法
对服务器进行处理,设置内核参数arp_announce=2,系统不使用ip包的源地址来设置arp请求的源地址,而选择发送接口的IP地址。
客户端将收到恢复报文,且会认为得到正常的服务,而不会知道是哪台服务器处理的(如果跨网段,则报文通过路由器经由internet返回给用户)
具体的设置参数
修改/etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1 #只有确定发给环回口的请求,才会响应net.ipv4.conf.lo.arp_announce = 2 #回包时,是使用接口实际ip进行回包net.ipv4.conf.all.arp_ignore = 1 #用于所有网卡
net.ipv4.conf.all.arp_announce = 2
流程
准备
准备1,2,3,4,5主机
1作为调度器,2,3作为服务器,4作为存储器,5作为客户端
调度器1,IP地址20.0.0.10
服务器2,3上配置IP地址分别为20.0.0.20和20.0.0.30
4作为存储器配置IP地址为20.0.0.40
客户端5地址20.0.0.50
配置
在存储器上配置好两个网页(需要区分,所以要两个网页)
yum -y install rpcbind nfs-utils
mkdir /opt/web1
mkdir /opt/web2
echo “web1” > /opt/web1/index.html
echo “web2” > /opt/web2/index.html
将网页挂载到20和30两个服务器上
vi /etc/exports
重启服务
systemctl restart nfs
systemctl restart rpcbind
systemctl status nfs
systemctl status rpcbind
检查挂载情况
将对应的网页挂载到网页根目录下
在2号主机
mount 20.0.0.40:/opt/web1 /var/www/html
设置配置脚本
vi web1.sh
运行后查看效果
在三号主机
mount 20.0.0.40:/opt/web2 /var/www/html
设置配置脚本
vi web2.sh
运行后查看效果
配置调度服务器
检测加载模块
modprobe ip_vs
cat /proc/net/ip_vs
yum -y install ipvsadm
配置调度器脚本
vi dr.sh(修正后)
执行出现问题,虚拟ip后为加上端口执行出错,修正后执行成功
在客户机上访问虚拟地址20.0.0.100后,在另一台客户机上访问
在调度器上查看调度情况