企业级负载均衡lvs集群——基础概念[3种工作模式+10种调度算法 ]

一、负载均衡LVS相关概念

1、LB集群

• LB集群：load balance集群的简写，中文即为负载均衡集群。
  常用的负载均衡开源软件：nginx（七层应用层），lvs（四层传输层），haproxy；
  商业的硬件负载均衡设备：F5、Netscale。
• LB集群的架构和原理：当用户的请求过来时，会直接分发到调度服务器（Director Server）上，然后它把用户的请求根据设置好的调度算法，智能均衡地分发到后端真正的服务器（real server）上。

2、LVS的概念

• LVS ：Linux Virtual Server 的简称，即Linux虚拟服务器。 现在LVS已经被集成到 Linux内核模块中。该项目在Linux内核中实现了基于IP 的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器。 比如轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但 如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。

• LVS的相关术语
  DS：Director Server。指的是前端负载均衡器节点。
  RS：Real Server。后端真实的工作服务器。
  VIP：向外部直接面向用户请求，作为用户请求的 目标IP地址。
  DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
  RIP：Real Server IP，后端服务器的IP地址。
  CIP：Client IP，访问客户端的IP地址。

• lvs附着于netfiler
  五个内置的钩子函数
  PREROUTING —> INPUT（流向内部)
  PREROUTING----> FORWARD —> POSTROUTING(转发)‘
  OUTPUT—> POSTROUTING(流向外部)
  lvs工作于INPUT : PREROUTING —> INPUT(lvs在此强行改变数据流向)—>POSTROUTING

 - 当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空间
 - PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链
 - IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链
 - POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器

• lvs是由两部份组成
  ipvs(ip virrual server): 一段代码(工作在内核netfilter input钩子函数上)是真正生效实现调度的代码
  ipvsadm :（工作在用户空间的命令行工具，负责为ipvs内核框架编写规则,用于管理集群服务）

3、 LVS的三种模式

• NAT（网络地址转换）

  定义： 多目标的DNAT（端口转发） ，通过修改请求报文的目标IP（VIP）地址(同时可能会修改目标端口)，至挑选出某RS（后端工作服务器）的RIP地址（后端服务器的IP地址）实现转发。
  作用：通过数据报头的修改，使得位于 企业内部的私有IP地址 可以访问 外网，以及 外部用户 可以访问位于公司内部的私有IP主机

  1）RS和DIP应该使用私网地址，且 RS的网关要指向DIP
  2）请求和响应报文都要经由DS转发，极高负载的场景中，DS可能会成为系统瓶颈
  3）RS的RIP和DS的DIP必须要在同一IP网络：RS的网关要指向DIP
  弊端 ：极高负载的场景中，DS可能会成为系统瓶颈

(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP
(d). POSTROUTING链通过选路，将数据包发送给Real Server
(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP
(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

• TUN

  IP tunning的定义：在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)，不修改请求报文的ip首部(cip—vip)，而是通过在原有的ip首部(dip–rip)，再封装一个ip首部。IP隧道（IP tunning） 是一种数据包封装技术，它可以将原始数据包封装并添加新的包头(内容包括新的源地址及端口、目标地址及端口)，从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器(Real Server)，通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。

  TUN的定义: 数据请求包往往远小于响应数据包的大小。 因为响应数据包中包含有客户需要的具体数据，所以 LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。
  1） RIP DIP VIP 全是公网地址
  2）RS的网关不能指向DIP
  3）请求报文必须经由director调度，但响应报文必须不能经由director
  4）RS的os必须支持隧道功能
  弊端： 在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会 增加服务器的负担

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。
(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c) IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP
(d) POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP
(e) RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP
(f) 响应报文最终送达至客户端

• DR(直接路由模式)

  DR模式: 该模式中 LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。 与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享， 因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址，所以 在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

1. 保证前端路由器将目标IP为VIP的请求报文发送给director(静态绑定 arptables 修改rs主机内核的参数)
2. rs的rip可以使用私有地址，但也可以使用公网地址
3. 请求报文经由director调度，但向英国报文一定不能经由director
4. rs跟director必须在同一物理网络中(同一物理网络不等于同网段)
5. RS网关不能指向dip
   

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
(d) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP
(f) 响应报文最终送达至客户端

4、LVS负载均衡的10种调度算法

（1）轮询调度算法
轮询调度（Round Robin 简称’RR’）算法就是按 依次循环 的方式将请求调度到不同的服务器上,该算法最大的特点就是实现简单. 轮询算法假设所有的服务器处理请求的能力都一样的，调度器会 将所有的请求平均分配给每个真实服务器 ，俗话说：你一个，我一个（web1接收一个访问，web2接收一个访问，这样轮询）

（2）加权轮询调度算法
加权轮询（Weight Round Robin 简称’WRR’）算法主要是对轮询算法的一种优化与补充，LVS会考虑每台服务器的性能，并给每台服务器添加一个权值，如果服务器A的权值为1，服务器B的权值为2，则调度器调度到服务器B的请求会是服务器A的两倍，权值越高的服务器，处理的请求越多 ，俗话说：拿钱多的干的活就多（哪个服务器性能好哪个服务器就多接受客户的请求）

（3）最小连接调度算法
最小连接调度（Least Connections 简称’LC’）算法是把新的连接请求分配到当前连接数最小的服务器，最小连接调度是一种动态的调度算法，它通过服务器当前活跃的连接数来估计服务器的情况，调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中断或者超时，其连接数减1。俗话说：谁比较闲就让谁干活。集群系统的真实服务器具有相近的系统性能，采用最小连接调度算法可以比较好地均衡负载

（4）加权最小连接调度算法
加权最少连接（Weight Least Connections 简称’WLC’）算法是最小连接调度的超集，各个服务器相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。 调度器可以自动问询真实服务器的负载情况，并动态地调整其权值，俗话说：根据实际情况给后端服务器分配任务

（5）基于局部的最少连接算法
基于局部的最少连接调度（Locality-Based Least Connections 简称’LBLC’）算法是 针对请求报文的目标IP地址的负载均衡调度
目前主要 用于Cache集群系统 ，因为在Cache集群客户请求报文的目标IP地址是变化的这里假设任何后端服务器都可以处理任一请求，算法的设计目标是在 服务器的负载基本平衡情况下，将相同目标IP地址的请求调度到同一台服务器 ，来提高各台服务器的访问局部性和Cache命中率，从而提升整个集群系统的处理能力，LBLC调度算法先根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器，若服务器不存在或该服务器超载且有服务器处于一半的工作负载，则使用’最少连接’的原则选出一个可用的服务器，将请求发送到服务器

（6）带复制的基于局部性的最少连接算法
带复制的基于局部性的最少连接（Locality-Based Least Connections with Replication 简称’LBLCR’）算法也是针对目标IP地址的负载均衡
目前主要用于Cache集群系统，它与LBLC算法不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。按’最小连接’原则从该服务器组中选出一一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按’最小连接’原则从整个集群中选出一台服务器， 将该服务器加入到这个服务器组中，将请求发送到该服务器， 同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度

（7）目标地址散列调度算法
目标地址散列调度（Destination Hashing 简称’DH’）算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若服务器是可用的且并未超载，将请求发送到该服务器，否则返回空

（8）源地址散列调度算法
源地址散列调度（Source Hashing 简称’SH’）算法先根据请求的源IP地址作为散列键（Hash Key）从静态分配的散列表找出对应的服务，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空，它采用的散列函数与目标地址散列调度算法的相同，它的算法流程与目标地址散列调度算法的基本相似

（9）最短的期望的延迟算法
最短的期望的延迟调度（Shortest Expected Delay 简称’SED’）算法基于WLC算法，举个例子吧，ABC三台服务器的权重分别为1、2、3，那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个，使用SED算法后会进行一个运算 A：（1+1）/1=2 B：（1+2）/2=3/2 C：（1+3）/3=4/3 就把请求交给得出运算结果最小的服务器

（10）最少队列调度
最少队列调度（Never Queue 简称’NQ’）算法，无需队列。如果有realserver的连接数等于0就直接分配过去，不需要在进行SED运算