LVS+DR群集原理及实例部署

LVS群集架构详解和 LVS+NAT部署在这篇文章 LVS+NAT

一、DR模式工作原理

1.1 LVS-DR数据包流向分析

DR模式中，客户机向虚拟服务器发出请求，调度器接待客户机请求，并转发给节点服务器，而相应方是节点服务器直接响应客户机，与NAT不同，NAT是通过调度器响应给客户机。

为了方便进行原理分析，将Client与群集机器放在网络中，数据包流经的路线为1-2-3-4：

LVS-DR模型的特点：

①RS和DS必须在同一个物理网络中
②RS可以使用私有地址，也可以使用公网地址，如果使用公网地址，可以通过互联网对RIP进行直接访问
③所有的请求报文经由Director Server（调度器），但响应报文必须不能经过Director Server
④RS的数据包绝不允许指向DIP
⑤RS上的lo接口配置VIP的IP地址

1.1.1 Client向目标VIP发出请求，Director（负载均衡器）接收

IP包头及数据帧头信息

1.1.2 Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后再局域网上发送。

1.1.3 RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer事先绑定了VIP），于是处理这个报文，随后重新封装报文，发送到局域网。

1.1.4 Client将收到回复报文，Client人为得到正常的服务，而不会知道是哪一台服务器处理的。

（如果跨网段，则报文通过路由器经由Internet返回给用户。）

1.2 LVS-DR中的ARP问题

• 在LVS-DR负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址
• 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
  ① 当ARP广播发送到LVS－DR集群时，因为负载均衡和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播
  ② 只有前端的负载均衡器进行响应广播，节点服务器不应该响应ARP广播
• 对节点服务要求进行处理，使其不响应针对VIP的ARP请求
  ① 使用虚接口lo:0承载VIP地址
  ② 设置内核参数arp_ignore=1：系统只响应目的IP为本地IP的ARP请求
• RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址
• 发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址
• 路由器收到ARP请求后，将更新ARP表项
• 原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
  
• 问题：
  路由表根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效
  
• 解决方法：
  对节点服务器进行处理，设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

二、实例部署

2.1 案例环境（调度算法为轮询rr）

共需要五台主机，所有主机都处于同一网段，用虚拟机的VMnet1模式。虚拟IP：192.168.10.200
主机1：作为调度器（负载均衡器），IP：192.168.10.130
主机2、3：作为节点服务器，提供web服务，IP：192.168.10.140 和 192.168.10.150
主机4：部署nfs共享存储服务，给节点服务器提供网页等资源，IP：192.168.10.160
主机5：客户机，用于访问虚拟服务器（192.168.10.200），测试轮询的访问效果。IP：192.168.10.170

2.2 配置调度服务器

加载LVS内核

[root@lvs ~]# modprobe ip_vs
[root@lvs ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

安装管理软件ipvsadm，不需要启动

[root@lvs ~]# rpm -ivh /mnt/Packages/ipvsadm-1.27-7.el7.x86_64.rpm 
警告：/mnt/Packages/ipvsadm-1.27-7.el7.x86_64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID f4a80eb5: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:ipvsadm-1.27-7.el7               ################################# [100%]

编辑调度服务器的脚本进行配置

#!/bin/bash
ifconfig ens33:0 192.168.10.200 broadcast 192.168.10.200 netmask 255.255.255.255 up
ipvsadm -C   #清除内核虚拟服务器表中的所有记录
ipvsadm -A -t 192.168.10.200:80 -s rr  #创建虚拟服务器
ipvsadm -a -t 192.168.10.200:80 -r 192.168.10.140:80 -g #添加服务器节点
ipvsadm -a -t 192.168.10.200:80 -r 192.168.10.150:80 -g #添加服务器节点
ipvsadm -Ln  #查看节点状态，加n以数字形式显示地址、端口信息
//选项注释
-A :表示添加虚拟服务器
-a :表示添加真实服务器
-t ：用来指定VIP地址及TCP端口
-r ：用来指定RIP地址及TCP端口
-s ：用来指定负载调度算法————（rr：轮询，wrr：加权轮询，lc：最少连接，wlc：加权最少连接）
-m ：表示使用NAT群集模式（“-g”是DR模式，“-i”是TUN模式）

执行脚本，可查看到权重

[root@lvs ~]# sh nat.sh
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.200:80 rr
  -> 192.168.10.140:80            Route   1      0          0         
  -> 192.168.10.150:80            Route   1      0          0       

2.3 配置NFS服务器

[root@nfs ~]# yum -y install nfs-utils rpcbind
[root@nfs ~]# systemctl start nfs-utils
[root@nfs ~]# systemctl start rpcbind
[root@nfs ~]# mkdir /opt/web1 /opt/web2  #建立测试网页
[root@nfs ~]# cd /opt/web1
[root@nfs web1]# echo "server1" > index.html  #给web1服务器使用
[root@nfs web1]# cd /opt/web2
[root@nfs web2]# echo "server2" > index.html  #给web2服务器使用
[root@nfs web2]# vi /etc/exports
/opt/web1 192.168.10.140 (ro,sync)
/opt/web2 192.168.10.150 (ro,sync)
[root@nfs web2]# systemctl restart nfs
[root@nfs web2]# systemctl restart rpcbind
#关闭防火墙核心防护
[root@nfs web2]# systemctl stop firewalld
[root@nfs web2]# setenforce 0

2.4 配置节点服务器

以web1为例
安装httpd网页服务

[root@web1 ~]# yum -y install httpd

查看nfs服务器的发布

#关闭防火墙核心防护
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0
[root@web1 ~]# showmount -e 192.168.10.160
Export list for 192.168.10.160:
/opt/web2 (everyone)
/opt/web1 (everyone)

挂载使用nfs服务器的网页

[root@web1 ~]# mount 192.168.10.160:/opt/web1 /var/www/html
[root@web1 ~]# systemctl start httpd #开启网络服务

节点2用/opt/web2

DR模式配置：编辑脚本执行，两节点服务器一样，都需要配置

#!/bin/bash
#添加虚拟IP，必须用lo网卡
ifconfig lo:0 192.168.10.200 broadcast 192.168.10.200 netmask 255.255.255.255 up
route add -host 192.168.10.200 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
systctl -p &> /dev/null

2.5 验证效果

用客户机访问，192.168.10.200
首先由节点一提供服务

再开一个网页请求，由节点二提供服务
再下一次就是节点一提供服务，两个服务器轮流提供网页服务