负载均衡的高可用性

高可用性

负载均衡器本身的一个重要作用就是提供高可用性。

另外，其本身也需要是一个高可用的系统。

1.使用Keepalived做健康检查

Keepalived是一常常用来配合四层负载均衡器使用的软件。除了可以管理负载均衡配置，它还有很多其他功能。健康检查就是一项不可忽视的功能。

Keepalived的健康检查可以工作在网络层、传输层或应用层。即它可以发送ICMP探测包、TCP/UDP健康检查报文包、HTTP请求来进行健康检查。当发现返回的数据不是自己期望的值时，就会判断后端服务器已经不再健康，需要从集群中摘除。

以常用的TCP的负载均衡来说，使用TCP_CHECK进行健康检查。健康检查的方法是由负载均衡器发送SYN包到后台指定的端口（一般是设置为后台服务器提供服务的端口），当后台服务器返回SYN/ACK后，负载均衡器就认为后台服务还是健康的，会向后台服务器发送一个RST数据包，同时关闭自己的TCP连接。这样非完整状态的三次握手、四次挥手可以较快地进行健康检查，也利于节约资源。TCP-CHECK的一般会在real_server的配置块内部进行配置，代码如下：

另外，如果四层负载均衡实际上提供的是HTTP的服务，则可以使用HTTP_GET进行健康检查。它主要是根据发送HTTP请求获得的响应，并进行md5加密，查看与期望值是否相符。如果与期望值相符，则认为后端服务器是健康的，否则摘除这个后端服务器。HTTP_GET的一般配置代码如下：

其中，digest表示加密期望值。在实际使用场景中，我们可以先获取一次正常的后端服务器的返回值，并对该返回值加密获得。

在某些情况下，上述两种健康检查是不能满足业务需求的。比如，业务有自己的判断健康命令；又如，业务是一个UDP的负载均衡服务。Keepalived专门提供了一个自定义的健康检查接口来满足这种情况，它可以根据自定义的命令/脚本运行后的返回值来判断后台服务器是否健康。在一般情况下，exit 0表示健康检查正常，exit 1表示健康检查失败。下面是对自定义的UDP的514端口进行健康检查的方法：

事实上，MISC_CHECK还有动态调整后端服务器权重的作用。当负载均衡调度算法为加权调度时，如果在MISC_CHECK内配置了misc_dynamic并且自定义监控的返回值是2～255，则对应的后台服务器的权重就会被调整为返回值再减去2。例如，健康检查的返回值是255，则权重会被调整为255-2=253。

2. 使用VRRP实现主备

Keepalived很重要的一个功能就是可以实现主备模式的集群化四层负载均衡器。在通常情况下，我们将两台服务器配置成主从模式。即一台是MASTER，另一台是BACKUP。

MASTER 会 不 停 地 往 外 发 送 虚 拟 路 由 冗 余 协 议 （ Virtual RouterRedundancy Protocol，VRRP）的多播信号，当BACKUP接收到这个多播信号，并判断这个虚拟路由器标识符（Virtual Router ID，VRID）属于自己的组时，就会强制让自己静默（自己是指BACKUP，不要有接管VIP这类的行为）。

当BACKUP接收不到正常的VRRP多播信号时，就会认为MASTER已经出现故障，这时 BACKUP 就 会 切 换 成 MASTER 来 接 管 VIP ， 并 发 送 免 费 ARP 报 文（gratuitousARP），同时发出VRRP数据包。当MASTER服务器重新恢复服务，发送出VRRP数据包后，BACKUP机器就会发现自己的优先级没有MASTER发出的VRRP优先级高，会再次把自己设置为BACKUP，并摘除自己的VIP。MASTER在恢复服务后会发现自己的优先级最高，占据MASTER的状态重新接管VIP，发送免费ARP。这样的主备模式可以确保在MASTER正常工作时，流量一直在MASTER上；当MASTER异常时，流量可以切换到BACKUP。

常见的VRRP主备配置代码如下：

其中，virtual_router_id在一个网段内的一组主备机器上需要保证一致，并且在该网段内需要有唯一性，否则就会导致VRID冲突及主备模式不可用。priority为主备各自的优先级配置，要确保MASTER的priority的值大于BACKUP的priority的值。advert_int表示发送VRRP数据包的周期，它会影响主备切换的时间效率。advert-int的值越小主备切换的感知速度就会越快，数据包发送频率也就会越快，对服务器的资源耗费显然也会越大。

3. 使用ECMP实现集群化

从第2节中我们知道，可以使用VRRP实现主备的集群模式。但是主备模式的瓶颈是一个VIP最多只能有一台机器的吞吐量。我们能否像后端服务器一样横向扩展负载均衡集群呢？答案是肯定的。通常，我们采用ECMP来实现VIP的分流，依托的软件就是Quagga。

ECMP（Equal-Cost Multi Path Routing，等价多路径路由协议）主要应用在路由策略上。比如，当某一个节点发现发往下一跳的多个路由都是最佳路径时，就会根据一定的策略将数据包分发到不同的下一跳。在通常情况下，为了确保一个数据流都分发到同一个下一跳，这个策略一般是哈希算法。

OSPF是一个支持ECMP的内部网关协议，它是一种动态的路由协议，通过在同网段内传输一个组播的数据包来让所有的路由器感知自己这个邻居节点。如果想要实现集群化的负载均衡服务，就需要依赖动态路由协议自动摘除故障负载均衡器，并在集群扩容时，自动加入新的负载均衡器。如果是静态路由协议，某个节点发生故障后下线，就无法实现自动摘除。

Quagga是一款集成了OSPF、RIP及BGP在内的多种路由协议的软件。我们通常使用OSPF来实现集群化（在Quagga中对应进程ospfd）。对于Quagga来说，ospfd进程的配置文件中可以进行如下配置：

172.27.11.140/26是交换机和服务器的互连路由，服务器上的OSPF通过network的方式将它发布出去。redistribute connected命令表示OSPF将所有本地的直连路由发布出去，由于负载均衡的业务VIP的路由都是直连路由，所以该命令相当于发布了所有VIP的路由。其余具体字段的信息可以查看Quagga官网，本节不再赘述。

我们依托上述协议，使用Quagga在服务器上模拟路由器节点，利用OSPF对外发布VIP的路由。交换机和服务器采用互连IP互相通信，并通过OSPF动态路由协议实现邻居感知和路由发现。如果一个负载均衡集群中的多台服务器同时发布相同的VIP路由，则交换机能通过OSPF发现存在多个路径到该VIP。如果各个路径的优先级和链路质量相同，则交换机认为这些路径是等价的，并按照等价路由的流量分发策略把该VIP的数据包分发到多台负载均衡服务器上。

4.使用网卡绑定扩展单网卡流量

网卡绑定是一种常用的技术。可以将多张网卡绑定成一个虚拟网卡。网卡绑定有不同的绑定模式，通常需要交换机配合。以两张网卡绑定为例，可以让其中一张网卡有流量，另一张网卡做备份。也可以使两张网卡都承载流量，达到横向扩展的目的。