理论-部署LVS-DR群集

一、LVS-DR工作原理

1.1 DR模式概述

• 负载均衡群集工作模式–直接路由（Direct Routing）
  • 简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
  • 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

1.2 LVS-DR数据包流向分析

• 为方便进行原理分析,将Client与群集机器放在同一个网络中,数据包流经的路线为1-2-3-4

【1】Client向目标VIP发出请求， Director（负载均衡器）接收。此时IP包头及数据帧头信息为：

【2】.Director根据负载均衡算法选择 Realserver_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。IP包头及数据帧头信息如下：

【3】RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（ RealServer事先绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息为：

【4】Client将收到回复报文。 Client认为得到正常的服务，而不会知道是哪一台服务器处理的
注意:如果跨网段,则报文通过路由器经由Internet返回给用户

1.3 LVS-DR中的ARP问题

• 在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址

• 在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱

  • 当ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上,它们都会接收到ARP广播
  • 只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播

• 对节点服务器进行处理,使其不响应针对VIP的ARP请求

  • 使用虚接口lo:0承载VIP地址
  • 设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

• RealServer返回报文(源IP是VIP)经路由器转发,重新封装报文时,需要先获取路由器的MAC地址

• 发送ARP请求时,Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口的IP地址

  • 如:ens33接口
    如:eth接口
    

• 路由器收到ARP请求后,将更新ARP表项

• 原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
  

• 问题

  • 路由器根据ARP表项,会将新来的请求报文转发给RealServer,导致Director的VIP失效

• 解决办法

  • 对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

1.4 解决ARP的两个问题的设置方法

• 修改/etc/sysctl.conf
  • net.ipv4.conf.lo.arp_ignore = 1
  • net.ipv4.conf.lo.arp_announce = 2
  • net.ipv4.conf.all.arp_ignore = 1
  • net.ipv4.conf.all.arp_announce =2

二、LVS-DR部署过程

案例环境

• lvs-master: 20.0.0.20

• lvs-slave: 20.0.0.30

• server01: 20.0.0.40

• server02: 20.0.0.50

调度器配置

• 为ens33、ens36配置IP地址,为ens33:0配置VIP地址
• 安装ipvsadm软件包,为VIP创建虚拟服务器,使用rr(轮询)算法
• 为虚拟服务器添加两个web节点,采用DR工作模式,权重均为1
• 保存LVS负载均衡分配策略,并通过系统服务ipvsadm进行管理

配置节点服务绑定VIP

• LVS-DR中,两台节点服务器要配置绑定VIP地址
• VIP地址仅用作Web响应数据包的源地址,并不监听客户机的访问请求
• 为ens33、ens36配置IP地址,为lo:0配置VIP地址,并添加路由记录,将访问VIP的数据限制在本地

节点服务器配置抑制ARP响应

• 修改/etc/sysctl.conf文件
  • net.ipv4.conf.lo.arp_ignore = 1
  • net.ipv4.conf.lo.arp_announce = 2
  • net.ipv4.conf.all.arp_ignore = 1
  • net.ipv4.conf.all.arp_announce =2

节点服务器配置测试网站

• 在两台节点服务器上安装配置并启用httpd服务器,分别创建测试网页,测试网页内容区分开,以区别不同的节点服务器

集群访问测试

• 从Internet中访问http://VIP/,确认访问正常,可使用不同的客户端进行访问测试,可看到网页不一样的情况

• 在LVS调度器中执行ipvsadm -ln命令查看群集节点状态

• 在LVS调度其中执行ipvsadm -lnc命令查看负载连接及分配情况

• 配置NFS共享服务

  • 为ens33网卡配置IP地址，创建文件夹/var/www/html
  • 安装/etc/exports配置文件，将/var/www/html发布为可写共享，保持root权限
  • 依次启动rpcbind、nfs服务，确认共享结果

• 将共享目录挂载到本地的/var/www/html目录

• 在其中一台Web节点中，切换到/var/www/html目录，创建新的测试网页

• 再次验证对LVS群集的访问，查看页面的访问效果