LVS负载均衡

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务 器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在 设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

一、LVS 四种工作模式原理简介及优缺点分析

1、NAT模式（NAT）

 

原理：把客户端发来的数据包在负载均衡器上将目的地址封装成其中一台RS的IP地址，并发至该RS来处理,RS处理完成后把数据包发给负载均衡器, 负载均衡器再把数据包的原IP地址封装成为自己的IP，将目的地址封装成客户端IP地址，然后发给客户端｡无论是进来的流量,还是出去的流量,都必须经过 负载均衡器｡

优点：集群中的物理服务器可以使用任何支持 TCP/IP 的操作系统，只有负载均衡器需要一个合法的IP地址。

缺点：扩展性有限。当服务器节点（普通PC服务器）增长过多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时，大量的数据包都交汇在负载均衡器那，速度就会变慢！

2、IP隧道模式（TUN）

 

原理：由于互联网上的大多Internet服务的请求包很短小，而应答包通常很庞大，使用nat模式庞大的应答数据包也必须经过负载均衡器，这就加 重了负载均衡器的负担，隧道模式就是优化这个问题的。所以隧道模式就是，把客户端发来的数据包，封装一个新的IP头标记(仅目的IP)发给RS,RS收到 后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器｡注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议｡所以,在RS的内核中,必须编译支持IPTUNNEL这个选项

优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。

缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。

3、直接路由模式（DR）

 

原理：负载均衡器和RS都使用同一个IP对外服务｡但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默｡也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC（因为IP一致）并将请求 分发给这台RS｡这时RS收到这个数据包,处理完成之后，由于IP一致，可以直接将数据返给客户，则等于直接从客户端收到这个数据包无异,处理后直接返回 给客户端｡由于负载均衡器要对二层包头进行改换,所以负载均衡器和RS之间必须在一个广播域,也可以简单的理解为在同一台交换机上｡

优点：和TUN（隧道模式）一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器。

不足：要求负载均衡器的网卡必须与物理网卡在一个物理段上

4.LVS FULL NAT 模式

原理：FULL NAT 在client请求VIP 时，不仅替换了package 的dst ip，还替换了package的src ip；但VIP 返回给client时也替换了src ip，具体分析如下： 

首先client 发送请求[package] 给VIP；VIP 收到package后，会根据LVS设置的LB算法选择一个合适的realserver，然后把package 的DST IP 修改为realserver；把sorce ip 改成 lvs 集群的LB IP ；realserver 收到这个package后判断dst ip 是自己，就处理这个package ，处理完后把这个包发送给LVS VIP；LVS 收到这个package 后把sorce ip改成VIP的IP，dst ip改成 client ip然后发送给client。 

FULL NAT 模式也不需要LBIP 和realserver ip 在同一个网段；

full nat 跟nat 相比的优点是：保证RS回包一定能够回到LVS；因为源地址就是LVS–> 不确定

full nat 因为要更新sorce ip 所以性能正常比nat 模式下降10%

二、LVS负载均衡配置

实验环境：VS： 172.25.60.1      RS1：172.25.60.2      RS2：172.25.60.3

以DR模式为例：

(1) VS：yum install ipvsadm -y

编写脚本 vim vs.sh

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
vip=172.25.60.100
rs1=172.25.60.2
rs2=172.25.60.3
ifconfig eth0:0 down
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.0 up
route add -host $vip dev eth0:0
ipvsadm -C
ipvsadm -A -t $vip:80 -s wrr
ipvsadm -a -t $vip:80 -r $rs1:80 -g -w 3
ipvsadm -a -t $vip:80 -r $rs2:80 -g -w 1

pvsadm                             ##查看ipvsadm条目，如果存在可以执行下一条命令删除

ipvsadm -D -t 172.25.254.200:80     ##删除ipvsadm条目172.25.254.200:80 （一般用下面这条删除所有的命令）

ipvsadm -C          ##删除所有ipvsadm条目

ipvsadm -A -t 172.25.60.100:80 -s wrr   ##添加ipvsadm条目，-A表示追加条目，-t表示使用tcp协议，-s rr表示使用加权轮询算法

ipvsadm -a -t 172.25.60.100:80 -r 172.25.60.2 -g -w 3 ##-a表示追加规则，-t表示使用tcp协议，-r表示real-server,-g表示使用DR模型，-w表示权重为3

也可执行命令

ipvsadm -A -t 172.25.60.100:80 -s wrr
ipvsadm -a -t 172.25.60.100:80 -r 172.25.60.2:80 -g -w 3
ipvsadm -a -t 172.25.60.100:80 -r 172.25.60.3:80 -g -w 1
ip addr add 172.25.60.100/24 dev eth0

检查策略添加情况

(2) RS配置

编写脚本 vim rs.sh

#! /bin/bash
vip=172.25.60.100
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

有关arp_ignore的相关介绍：

    arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式

        0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求

        1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求

        2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内

        3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应

        4-7 - 保留未使用

        8 -不回应所有（本地地址）的arp查询

有关arp_announce的相关介绍：

    arp_announce:对网络接口上本地IP地址发出的ARP回应作出相应级别的限制

          0 - (默认) 回应在任意网络接口（eth0,eth1，lo）上的任何本地地址

        1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.

        2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

    因为路由器一般是动态学习ARP包的（一般动态配置DHCP的话），当内网的机器要发送一个到外部的ip包，那么它就会请求路由器的Mac地址，发送一个arp请求，这个arp请求里面包括了自己的ip地址和Mac地址，而linux默认是使用ip的源ip地址作为arp里面 的源ip地址，而不是使用发送设备上面的 ，这样在lvs这样的架构下，所有发送包都是同一个VIP地址，那么arp请求就会包括VIP地址和设备 Mac，而路由器收到这个arp请求就会更新自己的arp缓存，这样就会造成ip欺骗了，VIP被抢夺，所以就会有问题。因此要对arp响应做一个限制。来保障lvs的正常工作。

(3). 测试