最近捣鼓LVS的时候,发现LVS的整个处理过程中,数据包的流向是非常有意思的。因此接着这个机会,和各位迷妹迷弟们分享关于LVS-DR模式的数据包流向,以及整体实现的关键点。话不多说,先放个大招压压惊。 整个流向,大体是如下的,DR模式中,有2个关键点:
1.客户端数据包到达路由器,发起对应VIP的ARP广播请求。此时由DIRECTOR回复对应IP的MAC地址,于是交换机便在本地mac地址表中,将director的mac地址绑定VIP,这样数据包才可以经由DIRECTOR流向后端的服务器,起到负载均衡的作用。
2.由DIRECTOR指定后端的服务器,通过修改源mac地址和目标mac地址,从而可以将数据包转由后端的服务器,后端服务器直接以源IP地址为VIP响应客户端。
不过细心的读者,此时就会出现一个问题,客户端请求的是目标IP为VIP,而调度器和后端服务器,都配置有VIP,为什么交换机就可以直接将数据包发给调度器而不是后端服务器呢?所以在交换机二层的ARP广播方面,需要作出一定的策略,来限制ARP的响应。根据小普的理解,有以下的几点方法,可以任选其一:
1.在交换机上绑定director的mac地址和vip(简单粗暴并且不可靠)。
2.在upstream server上配置arptables,绑定相关的IP和MAC。(貌似需要考虑的问题较多)
3.linux内核中的法则:将vip地址配置在lo接口的边缘上,而不是物理网卡的边缘上。也可以在内核上配置一个法则,当收到vip的arp请求之后,后端的upstream server不响应,这个可以在内核参数上实现。(小普推荐的一种策略方法)
解决了这个ARP响应的问题之后,接下来的就简单啦!director此时需要将数据包转发给后端服务器,数据包的源和目标IP地址依旧没有改变,只不过目标mac地址改成了后端的mac地址,因此后端服务器就可以接收到此报文。
于是后端服务器收到一个目标mac地址和目标IP地址都是自己的数据包。
要实现以上的ARP限制回应的功能,就需要调整lvs-dr的2个arp响应的参数调整
1.arp-announce:指的是自己对外部主动发起arp广播的策略,包括是否主动宣告等。0:表示通告自己全部的地址,1表示尽量避免通告非同一个网段的地址,2表示只通告最佳的本网段的地址,在lvs-dr中,我们选择arp-announce=2
2.arp-ignore:指的是当别人对你发起arp请求的时候,你的响应的策略,这里我们就配置为,只响应那个物理网口的地址(即只响应自己的rip对应的mac请求的地址,不响应vip对应的mac请求的地址)
下面是小普举得一个简单的例子,关于lvs-dr的对应以上说明的一个具体实践的栗子。 前端调度服务器
lvs-director:eth0:192.168.2.138,对应mac地址:00-0c-29-9f-3c-90
vip-->eth0:0 192.168.2.136,对应mac地址:00-0c-29-9f-3c-90 后端服务器
Server1:eth0:192.168.2.139,对应mac地址:00-0c-29-9f-3b-91
vip-->eth0:0 192.168.2.136,对应mac地址:00-0c-29-9f-3b-91 在后端服务器上操作,先配置完内核参数,再配置IP地址,防止广播vip的mac地址 echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/eth1/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/eth1/arp_announce 测试此时rs对vip的mac地址的请求,不会响应。收到的vip的mac,依旧是由前端调度服务器响应的mac地址。因此这里便实现了请求的数据包都必须经由调度器的功能。
由睿江云运维人员提供,想了解更多,请登陆www.eflycloud.com