部署LVS-DR群集

部署LVS-DR群集

LVS-DR数据包流向分析

• 为方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4
  

LVS-DR中的ARP问题

• 在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址
• 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
• 当一个ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会接收到ARP广播
• 此时只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
• 对节点服务器进行处理，使其不响应针对VIP的ARP请求
• 使用虚接口lo:0承载VIP地址
• 设置内核参数arp_ignore=1：系统只响应目的IP为本地IP的ARP请求
  
• RealServer返回报文（源IP是VIP）经路由器转发，在重新封装报文时，需要先获取路由器的MAC地址
• 发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口（例如ens33）的IP地址
  
• 路由器收到ARP请求后，将更新ARP表项
• 原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
  
• 此时新来的请求报文，路由器根据ARP表项，会将该报文转发给RealServer，从而导致Director的VIP失效
• 解决方法：
  对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

解决ARP的两个问题的设置方法

• 修改/etc/sysctl.conf文件
  net.ipv4.conf.lo.arp_ignore = 1
  net.ipv4.conf.lo.arp_announce = 2
  net.ipv4.conf.all.arp_ignore = 1
  net.ipv4.conf.all.arp_announce = 2

案例：构建LVS-DR群集

• 准备案例环境：在DR模式的群集中，LVS负载均衡调度器作为群集的访问入口，但不作为网关使用；服务器池中所有节点都各自接入Internet，发送给客户机的Web响应数据包不需要经过LVS负载调度器
  
  配置负载调度器
• 配置虚拟IP地址（VIP）
  采用虚接口方式（ens33:0）,为网卡ens33绑定VIP地址，以便响应群集访问。配置为ens33 192.168.137.102/24、ens33:0 192.168.137.254/32
  
• 调整/proc响应参数
  对于DR群集模式来说，由于LVS负载均衡调度器和各节点需要共用VIP地址，应该关闭Linux内核的重定向参数响应
  
• 配置负载均衡分配策略

[root@www /]# ipvsadm -C   /清空现有策略
[root@www /]# ipvsadm -A -t 192.168.137.254:80 -s rr
[root@www /]# ipvsadm -a -t 192.168.137.254:80 -r 192.168.137.130:80 -g -w 1
[root@www /]# ipvsadm -a -t 192.168.137.254:80 -r 192.168.137.131:80 -g -w 1 
[root@www /]# ipvsadm -ln 查看策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.137.254:80 rr
  -> 192.168.137.130:80           Route   1      0          0         
  -> 192.168.137.131:80           Route   1      0          0

配置节点服务器
使用DR模式时，节点服务器也需要配置VIP地址，并调整内核的ARP响应参数以阻止更新VIP的MAC地址，避免发生冲突。除此以外web服务器的配置与NAT方式类似。

• 配置虚拟IP地址（VIP）
  在每个节点服务器，同样需要具有VIP地址192.168.137.254，但此地址仅用于发送Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口（lo:0）来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱

[root@localhost /]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.137.254
NETMASK=255.255.255.255
ONBOOT=yes
[root@localhost network-scripts]#ifconfig lo:0
lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.137.254  netmask 255.255.255.255
        loop  txqueuelen 1000  (Local Loopback)
[root@localhost network-scripts]#vim /etc/rc.local
/sbin/route add -host 192.168.137.254 dev lo:0
[root@localhost network-scripts] route add -host 192.168.137.254 dev lo:0

• 调整/proc响应参数

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

• 关闭网卡守护者NetworkManger
• 修改Tomcat端口为80

[root@localhost ~]# vim /usr/local/tomcat/conf/server.xml
    <Connector port="80" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443" />
[root@localhost ~]# sh /usr/local/tomcat/bin/shutdown.sh 
[root@localhost ~]# sh /usr/local/tomcat/bin/startup.sh 重启Tomcat服务

配置网页和数据库
此环境的网页文件以及数据库数据均分别放在NFS服务器192.168.11.132 的 /html和 /data 目录，并默认开启rpcbind和NFS服务

• NFS服务器配置

[root@localhost /]# cat /etc/exports
/data 192.168.11.0/24(rw,sync,no_root_squash)
/html 192.168.11.0/24(rw,sync,no_root_squash)

• 在Tomcat节点挂载网站根目录

[root@localhost /]# vim /etc/fstab
192.168.11.132:/html /usr/local/tomcat/webapps/ROOT             nfs     defaults,_netdev        0 0
[root@localhost /]# mount 192.168.11.132:/html /usr/local/tomcat/webapps/ROOT/

• 在mysql服务器上挂载数据文件目录

[root@localhost /]# showmount -e 192.168.11.132
Export list for 192.168.11.132:
/html 192.168.11.0/24
/data 192.168.11.0/24
[root@localhost /]#mount 192.168.11.132:/data /usr/lcoal/mysql/data

• 测试节点服务器的网页和mysql是否连接正常
  
  
  OK
• 测试LVS群集
  
  
  OK