目录
一、LVS-DR数据包流向分析
Director Server作为群集的访问入口,但不作为网关使用,后端服务器池中的Real Server与Director Server在同一个物理网络中,发送给客户机的数据包不需要经过Director Server。为了响应对整个群集的访问,DS与RS都需要配置有VIP地址。
每个Real Server上都有两个IP:VIP和RIP,但是VIP是隐藏的,就是不能提供解析等功能,只是用来做请求回复的源IP的,Director上只需要一个网卡,然后利用别名来配置两个IP:VIP和DIP,在DIR接收到客户端的请求后,DIR根据负载算法选择一台rs sever的网卡mac作为客户端请求包中的目标mac,通过arp转交给后端RS serve处理,后端再通过自己的路由网关回复给客户端。
1、Client 向目标 VIP 发出请求,Director(负载均衡器)接收。此时源MAC 地址为Client MAC地址,目标MAC地址为 调度器Director 的MAC地址。
2、Director 根据负载均衡算法选择 RealServer_1,不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送。此时源MAC地址为Director的MAC地址,目的MAC地址为RealServer_1的MAC地址。
3、RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,将响应报文通过 lo 接口传送给物理网卡然后向外发出。此时源MAC地址为RealServer_1的MAC地址,目的MAC地址为Client的MAC地址。
4、Client将收到回复的报文。Client 认为得到正常的服务,而不会知道是哪一台服务器处理的。
注意:如果跨网段,则报文通过路由器经由Internet返回给用户。
二、LVS-DR中的ARP问题
1、在LVS-DR负载均衡集群中,负载均衡与节点服务器都要配置相同的VIP地址。
2、在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱。
- 当ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同网络上,它们都会接收到ARP广播。
- 只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播。
3、对节点服务器进行处理,使其不响应针对VIP的ARP请求。
- 使用虚接口lo:0承载VIP地址
- 设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求
4、RealServer返回报文(源IP是VIP)经路由器转发,重新封装报文时,需要先获取路由器的MAC地址。
5、发送ARP请求时,Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口的IP地址
6、路由器收到ARP请求后,将更新ARP表项
7、原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
8、路由器根据ARP表项,会将新来的请求报文转发给RealServer,导致Director的VIP失效
解决方法:对节点服务器进行处理,设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址。
9、解决ARP的两个问题的设置方法
修改 /etc/sysctl.conf 文件net.ipv4.conf.lo.arp_ignore=1 net.ipv4.conf.lo.arp_announce=2 net.ipv4.conf.all.arp_ignore=1 net.ipv4.conf.all.arp_announce=2
三、DR模式、LVS负载均衡群集
(一)、数据包流向分析
(1)、客户端发送请求到Director Server (负载均衡器),请求的数据报文(源IP是CIP, 目标IP是VIP)到达内核空间。
(2)、Director Server和Real Se