利用LVS实现Web服务器的负载均衡

LVS介绍

LVS：Linux Virtual Server，负载调度器，是全球最流行的四层负载均衡开源软件，由章文嵩博士（当前阿里云产品技术负责人）在1998年5月创立，可以实现Linux平台下的负载均衡。

LVS集群类型中的术语

VS：Virtual Server，Director Server（DS），Dispatcher（调度器），Load Balancer

RS：Real Server，upstream Server（Nginx），backend Server（haproxy）

CIP：Client IP

VIP：Virtual Server IP（VS外网的IP地址）

DIP：Director IP（VS内网的IP地址）

RIP：Real Server IP

访问流程：CIP <--> VIP == DIP <--> RIP

LVS工作原理

LVS根据请求报文的目标IP和目标协议及端口将其调度转发至后台某RS，根据调度算法来挑选RS。LVS是内核的功能，工作在INPUT链的位置，将发往INPUT的流量进行“处理”，具体处理过程详见下面的三个工作模式，将处理完的请求发送到后端RS服务器，后端RS服务器收到请求报文后进行处理，并发送响应报文给客户端。

LVS集群的工作模式

共有4中工作模式：1、LVS-NAT模式：修改请求报文的目的IP，和RS响应报文的源IP。2、LVS-DR模式（默认模式）：操作封装新的MAC地址。3、LVS-TUN模式：在原请求报文之外新加一个IP首部。4、LVS-FULLNAT模式：修改请求报文的源和目标IP。由于默认Linux内核不支持FULLNAT模式，生产环境一般使用的是NAT和DR模式，所以这里只介绍前三种工作模式。

1、LVS的NAT模式

（1）客户端发送请求报文给LVS，报文的源IP地址为CIP，目的IP地址为VIP。

（2）请求报文通过VIP所在物理网口到达LVS服务器之后，经过PREROUTING链检查之后，发现该请求报文的目的地址是自己本身，于是转发给INPUT链进行处理。

（3）LVS根据用户空间的IPVSADM定义的调度算法挑选出一台RS，使工作在INPUT上的IPVS将请求报文的目的IP地址修改为挑选出的RS地址也就是RIP，此时请求报文的源地址还是CIP，而目的地址变成了IP，然后将该请求报文直接转发给POSTROUTING链，再通过DIP所在的物理网口转发给挑选出的RS服务器。

（4）当对应的RS服务器收到LVS转发过来的请求报文，得知请求的是目的地址是自己，进行处理并发送响应报文给LVS，此时响应报文的源IP地址为自己的IP地址即RIP，目的地址为请求报文的源IP地址即CIP。

（5）LVS服务器收到RS服务器发过来的响应报文，将此报文再次进行修改，将响应报文的源IP地址修改为自己的外网口地址即VIP，目的地址不变，通过LVS服务器的外网口发送至客户端，此时响应报文的源IP地址为VIP，目的地址为CIP。

LVS-NAT模式特点：

（1）RIP和DIP应在同一IP网络，且应使用私网地址，RS的网关要指向DIP。

（2）请求报文和响应报文必须经由LVS转发，LVS服务器易成为系统瓶颈。

（3）支持端口映射，可修改请求报文的目标端口。

（4）LVS必须是Linux系统，RS可以是任意OS系统。

2、LVS-DR工作模式

LVS服务器和RS服务器都配置有VIP，为确保客户端的请求报文能够被准确的发送到LVS服务器，有三种种解决办法：

①在前端网关设备做静态绑定VIP和LVS的MAC地址。

②在每个RS上使用arptables工具进行处理：

[root@CentOS7 ~]# arptables -A IN -d 192.168.10.100 -j DROP
[root@CentOS7 ~]# arptables -A OUT -s 192.168.19.100 -j mangle --mangle-ip-s 10.0.0.17

③在每个RS服务器上修改内核参数已限制ARP通告及应答级别

[root@CentOS7 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@CentOS7 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@CentOS7 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@CentOS7 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_announce

限制响应级别：arp_ignore
0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
1：仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应
限制通告级别：arp_announce
0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告
1：尽量避免将接口信息向非直接连接网络进行通告
2：必须避免将接口信息向非本网络进行通告

（1）客户端发送请求报文给LVS，报文的源IP地址为CIP，目的IP地址为VIP，由于在每台RS服务器修改内核参数以限制ARP通告及应答，所以客户端的ARP表里VIP地址只会和LVS服务器MAC地址信息相对于，因此客户端的请求报文会直接发给LVS服务器。

（2）请求报文到达LVS服务器之后，经过PREROUTING链检查之后，发现该请求报文的目的地址是自己本身，于是转发给INPUT链进行处理。

（3）LVS根据用户空间的IPVSADM定义的调度算法挑选出一台RS，使工作在INPUT上的IPVS将请求报文的源MAC地址修改为LVS服务器的D-MAC地址目的MAC地址修改为挑选出的RS-MAC地址，源IP和目标IP不变，然后将该请求报文直接转发给POSTROUTING链，再转发给挑选出的RS服务器。

（4）客户端的请求报文被LVS转发并经过链路层寻址到达RS后，由于RS的lo接口配置了VIP(请求中的目标IP正是VIP)，所以接收请求并处理。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时响应报文的源IP地址为VIP，目标IP为CIP，源MAC地址修改为RS服务器的D-MAC地址目的MAC地址修改为C-MAC地址。

（5）响应报文通过二层链路传输，最终送达至客户端。

DR模式的特点：

（1）LVS和各RS都配置有VIP。

（2） 确保前端路由器将目标IP为VIP的请求报文发往LVS

        在前端网关做静态绑定VIP和LVS的MAC地址
        在RS上使用arptables工具
        在RS上修改内核参数以限制arp通告及应答级别

（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由LVS

（4）RS和LVS要在同一个物理网络

（5）请求报文要经由LVS，但响应报文不经由LVS，而由RS直接发往Client

（6）不支持端口映射（端口不能修改）

（7）无需开启 ip_forward

（8）RS可使用大多数OS系统

3、LVS-TUN工作模式

（1）客户端发送请求报文给LVS服务器，报文的源IP地址为CIP，目的IP地址为VIP。

（2）请求报文到达LVS服务器之后，经过PREROUTING链检查之后，发现该请求报文的目的地址是自己本身，于是转发给INPUT链进行处理。

（3）LVS根据用户空间的IPVSADM定义的调度算法挑选出一台RS，使工作在INPUT上的IPVS在请求报文的头部加上一层IP隧道数据，隧道数据中源IP地址为DIP，目的地址为RIP，然后将该请求报文直接转发给POSTROUTING链，再通过隧道转发给挑选出的RS服务器。

（4）RS收到请求报文后，会首先拆开第一层隧道封装,然后发现里面还有一层IP首部的目标地址是自己Tunl接口上的VIP，所以会处理此请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。

TUN模式特点：

1. RIP和DIP可以不处于同一物理网络中，RS的网关一般不能指向DIP,且RIP可以和公网通信，也就是说集群节点可以跨互联网实现，DIP, VIP, RIP可以是公网地址。

2. RS的tunl接口上需要配置VIP地址，以便接收LVS转发过来的数据包，以及作为响应的报文源IP。

3. LVS转发给RS时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而RS响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP。

4. 请求报文要经由LVS，但响应不经由LVS,响应由RS自己完成。

5. 不支持端口映射。

6. RS的OS须支持隧道功能。