如何设计和实现自适应的负载均衡

在现代分布式应用中，服务请求是由物理机或虚拟机组成的 server 池进行处理的。 通常，server 池规模巨大且服务容量各不相同，受网络、内存、CPU、下游服务等各种因素影响，一个 server 的服务容量始终处于动态变动和趋于稳定的状态，如何设计和实现这种系统的负载均衡算法是一个极具挑战的难题。

自适应负载均衡的需求背景

负载均衡有两个主要目标：

• 保持较短的请求响应时间和较小的请求阻塞概率；
• 负载均衡算法的 overhead 在可控级别，不占用过多的 CPU 、网络等资源。

自适应负载均衡是指无论系统处于空闲、稳定还是繁忙状态，负载均衡算法都会自动评估系统的服务能力，进行合理的流量分配，使整个系统始终保持较好的性能，不产生饥饿或者过载、宕机。

这种算法对于现在的电商系统、数据中心、云计算等领域都很有必要，使用自适应负载均衡能够更合理的利用资源，提高性能。例如，在双十一零点，用户集中下单支付，整个电商系统的请求速率到达峰值。如果将这些请求流量只分配给少部分 server，这些机器接收到的请求速率会远超过处理速率，新来的任务来不及处理，产生请求任务堆积。

对用户而言，一旦产生任务堆积，请求会变慢甚至超时，体验严重下降，甚至导致服务不可用。而处理请求的机器也会由于堆积的任务越来越多而发生严重过载，直到被打垮。剩余的尚未宕机的其它机器会逐渐重复这个过程，直至整个应用不可用，发生系统故障。

为了避免这种情况发生，我们可能会想到一种常用的办法：在服务上线前提前进行压测，使用压测的容量作为限流值，当线上服务的请求速率大于限流值的时候，服务拒绝新到的服务࿰