LVS的三种工作模式和调度算法

原文链接：
https://juejin.im/post/5aab604b518825558805268c
https://blog.csdn.net/weixin_40470303/article/details/80541639

---

一、LVS简介

    LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示。

    终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。

LVS相关术语介绍

    虚拟IP地址（VIP）
    用于向客户端提供服务的IP地址（配置于负载均衡器上）
    真实的IP地址（RIP）
    集群中节点服务器的IP地址 
    负载均衡器IP地址（DIP） 
    负载均衡器的IP地址，物理网卡上的IP，用与同外网连接的地址 
    客户端主机IP地址（CIP）
    终端请求用户的主机IP地址

二、工作模式的解析

1、基于NAT的LVS模式负载均衡

    NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。通过网络地址转换，调度器LB重写请求报文的目标地址，根据算法将请求分配给后端的真实主机服务器，真实服务器响应处理报文后返回给调度器LB，经过LB的报文源地址被重写，再返回给请求的客户端用户。

过程详解：

1：客户端请求CIP（10.10.0.1:80），目标的地址是VIP（1.1.1.1:80）；

2：数据经过LB，目的地址将被LB改写成后端服务器其中一个主机地址（RIP1192.168.1.1:80）；

3：服务器接收到数据请求后返回应答信息（源地址：192.168.1.：80，目的地址：1.1.1.1:80，因此处的网关地址需指向LB）给LB；

4：LB需将源数据地址改写成VIP地址（1.1.1.1:80，但实际的源地址是RIP1的地址）；

5：LB将数据返回给请求的客户端用户，完成整个流程的访问。因此WEB访问量很大的时候，LB就会有很大的负载压力，一般支持10-20台节点，但是这种模式支持IP和端口的转换功能，即10.10.0.1:80----->1.1.1.1:80------->192.168.1.1:8080。

2、基于TUN的LVS负载均衡

LB将请求的报文通过IP隧道转发给真实服务器，这样LB只要需要处理请求入站报文，因此可提高访问效率

过程详解：

1：客户端发送请求数据包（源：CIP10.10.1.1:80，目的地址：VIP1.1.1.1:80）；

2：数据包到达LB后，LB将数据包重新封装成另一个IP包（源目地址不变，增加一个IP头），通过隧道转发给真实服务器；

3：真实服务器收到数据包后进行解包，数据包信息是（源：CIP 10.10.1.1:80，目的地址：VIP 1.1.1.1:80），最终发现目的地址不是自己（因此需要在服务器LO上绑定一个VIP地址），这样才会处理数据，返回处理数据；

4：客户端接收到返回的数据（源地址VIP 1.1.1.1:80，目的地址CIP 10.10.1.1:80），符合TCP/IP的原理，因此整个访问过程完成。

注：这时肯定有朋友发现这里会有一个问题，每台服务器上都绑定了一个相同VIP地址，用户访问时的目的地址也是VIP，当数据包达到路由器后经过转发至内网，内网可能会产生多台回应数据包的机器，然后用户收到的最快回应的内网机器发来的数据，这样一来数据包也就没有经过LB，就不是负载均衡了，所以需要做抑制ARP的功能，使所有真实服务器不再响应目的地址是VIP的请求，只要LB来响应请求，从而达到负载均衡。在实际生产环境中很少使用这种模式

3、基于DR的LVS负载均衡

DR模式（Direct Routing）直接路由模式 *** 此模式是通过改写请求报文的目标MAC地址，将请求发给真实服务器，而真实服务器将响应后的数据直接回应给请求的客户端，此模式要求LB与真实服务器需要有一块物理网卡都是连接在同一网段上。

过程详解：

1：客户端发出请求数据包（源CIP 10.10.1.1:80 目的 VIP1.1.1.1:80）；

2：LB接收到数据包后，不转换地址及端口，也不重新封装，只是将数据帧中的目的地址的MAC地址改写算法调度的真实机的MAC地址，将数据包转发出去；

3：真实机收到数据后，但是发现数据包中目的地址不是自己（所以事先也得在LO上绑定一个VIP地址，同时配置抑制ARP），这样真实机做出响应直接回复客户端；

4：客户端收到回复的数据包（源VIP 1.1.1.1:80 目的CIP 10.10.1.1:80）,完成整个访问过程。

注：LB只能改写目的MAC地址，因此它不能改变请求报文的目的端口端口，LVS只支持unix和linux，但集群节点服务器可以是win系统，此种模式配置相当麻烦

FULLNAT模式（淘宝开源

解决了上述三种的缺点，解决了真实服务器能跨越VLAN通讯，只需要连接到内网即可 入站时，目标IP更改为真实服务器的IP,源IP更改为内网的本地IP（一组内网IP） 出站时，目标IP更改为客户端的IP，源IP更换为VIP

三、LVS负载均衡调度算法

    根据前面的介绍，我们了解了LVS的三种工作模式，但不管实际环境中采用的是哪种模式，调度算法进行调度的策略与算法都是LVS的核心技术，LVS在内核中主要实现了一下十种调度算法。

1.轮询调度

    轮询调度（Round Robin 简称’RR’）算法就是按依次循环的方式将请求调度到不同的服务器上，该算法最大的特点就是实现简单。轮询算法假设所有的服务器处理请求的能力都一样的，调度器会将所有的请求平均分配给每个真实服务器。

2.加权轮询调度

    加权轮询（Weight Round Robin 简称’WRR’）算法主要是对轮询算法的一种优化与补充，LVS会考虑每台服务器的性能，并给每台服务器添加一个权值，如果服务器A的权值为1，服务器B的权值为2，则调度器调度到服务器B的请求会是服务器A的两倍。权值越高的服务器，处理的请求越多。

3.最小连接调度

    最小连接调度（Least Connections 简称’LC’）算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态的调度算法，它通过服务器当前活跃的连接数来估计服务器的情况。调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中断或者超时，其连接数减1。

（集群系统的真实服务器具有相近的系统性能，采用最小连接调度算法可以比较好地均衡负载。)

4.加权最小连接调度

    加权最少连接（Weight Least Connections 简称’WLC’）算法是最小连接调度的超集，各个服务器相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

5.基于局部的最少连接

    基于局部的最少连接调度（Locality-Based Least Connections 简称’LBLC’）算法是针对请求报文的目标IP地址的 负载均衡调度，目前主要用于Cache集群系统，因为在Cache集群客户请求报文的目标IP地址是变化的。这里假设任何后端服务器都可以处理任一请求，算法的设计目标是在服务器的负载基本平衡情况下，将相同目标IP地址的请求调度到同一台服务器，来提高各台服务器的访问局部性和Cache命中率，从而提升整个集群系统的处理能力。LBLC调度算法先根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则使用’最少连接’的原则选出一个可用的服务器，将请求发送到服务器。

6.带复制的基于局部性的最少连接

    带复制的基于局部性的最少连接（Locality-Based Least Connections with Replication 简称’LBLCR’）算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统，它与LBLC算法不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。按’最小连接’原则从该服务器组中选出一一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按’最小连接’原则从整个集群中选出一台服务器，将该服务器加入到这个服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

7.目标地址散列调度

    目标地址散列调度（Destination Hashing 简称’DH’）算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。

8.源地址散列调度U

    源地址散列调度（Source Hashing 简称’SH’）算法先根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法的相同，它的算法流程与目标地址散列调度算法的基本相似。

9.最短的期望的延迟

    最短的期望的延迟调度（Shortest Expected Delay 简称’SED’）算法基于WLC算法。举个例子吧，ABC三台服务器的权重分别为1、2、3 。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用SED算法后会进行一个运算

A：（1+1）/1=2 B：（1+2）/2=3/2 C：（1+3）/3=4/3 就把请求交给得出运算结果最小的服务器。

10.最少队列调度

    最少队列调度（Never Queue 简称’NQ’）算法，无需队列。如果有realserver的连接数等于0就直接分配过去，不需要在进行SED运算。