负载均衡概述

概念

负载均衡（Load Balance），是分布式系统中一个非常重要的概念。当访问的服务具有多个实例节点时，需要根据某种“均衡”的策略决定请求发往哪个节点，这个过程就是所谓的负载均衡。

从字面意思上来看，负载均衡是要平衡多个节点之间的“负载”，从而更好地发挥出集群的服务能力。而在实际应用中，负载均衡往往跟名字服务（NameServer）协作。一方面，通过对请求进行路由，防止部分节点资源过载，也能避免请求发往故障的节点。另一方面，将客户端与服务端解耦，从而支持服务端的水平扩展，灵活调整集群的容量。

四层与七层负载均衡

在设计分布式系统时，有很多种方式来实现负载均衡，比如购买专用硬件（比较昂贵），使用HaProxy等负载均衡软件。那么什么是四层和七层负载均衡呢？这里的四层和七层是指负载均衡器工作在OSI网络协议的第几层

• 四层负载均衡：在网络协议中，第四层是传输层（TCP、UDP）。这一层往往是根据来源和目的IP端口来做决策，比如大名鼎鼎的LVS。这种方式不需要去理解应用层协议，性能好，但是牺牲了灵活性；
• 七层负载均衡：第七层是应用层，通过解析应用层协议，可以做出一些更加复杂、灵活的负载均衡策略。一般自研的负载均衡软件，都会采用这种方式。比如，根据服务端返回的状态信息来做流量的调控。常用的HaProxy就是七层负载均衡软件。

负载均衡算法

常用的有随机、一致性Hash、RoundRobin（轮询）、Weighted RoundRobin（加权轮询）、加权一致性Hash等。下面会重点介绍加权轮询和加权一致性Hash算法，以及对动态权重算法的一些思考。

普通轮询算法最大的一个问题，是将每个节点等同地对待，无法应用于节点间服务能力有差异的场景。LVS和nginx都提供了加权的轮询算法。

普通加权轮询（LVS方案）

实现：

1. 计算服务端节点的最大权重max，以及所有权重的最大公约数gcd；
2. 定义变量current_weight为当前能被选中节点的最小权重值。current_weight初始化为max；
3. 轮询服务器节点，找到权重大于current_weight的节点返回；
4. 轮询执行一圈之后，current_weight-= gcd，当current_weight为0时，重置为max。然后跳转到步骤3继续执行；

分析：
current_weight每一轮的值依次是max、max-gcd、…、0。而每轮中大于current_weight的节点会被选中1次，权重为w的节点将被选中w/gcd次。如此一来，每个节点的请求数就跟权重成正比。

但是此算法有一个缺点就是，选择的节点不均匀。比如s1\s2\s3权重为5:1:1，则选中节点顺序为s1、s1、s1、s1、s1、s2、s3。Nginx在设计加权轮询算法时，对此作了改进。

平滑的加权轮询（nginx方案）

实现：

1. 每个服务器节点有两个权重，一个是服务器的静态权重weight，另一个是服务器的动态权重current_weight，初始值为0，会动态调整；
2. 每次访问时，遍历所有的节点。对每个节点，current_weight增加自身的weight值，同时累加所有节点的weight，保存为total；
3. 遍历之后，选取current_weight最大的节点返回。同时该节点current_weight减去total；

加权一致性hash

随机和轮询都适合于访问无数据、无状态的节点。如果服务端节点有状态，则一致性hash更加合适。但是普通的一致性hash不能处理带权重的情况。下面将介绍一种加权一致性hash算法。

为了提高一致性hash的均匀性，往往会加入虚拟节点。当虚拟节点数越多时，在hash环上随机分布越均匀。假设权重weight是0到100的整数，每个节点的虚拟节点数为100，并给每个虚拟节点按顺序赋予1到100的权重。只有小于该节点本身的权重的虚拟节点是可见的，也就是落到hash环上该虚拟节点位置时认为是落到空白区域，选择顺时针最近的可见节点返回。比如节点的权重为100，则100个虚拟节点都可见。当权重为50时，只有小于50的虚拟节点可见，通过这种方式改变节点选中的概率。

动态权重的一点思考

以上算法是常用的负载均衡算法，实际上并没有根据服务端节点的负载来做均衡，有负于这个名号。如果能够根据节点的负载动态调节权重，就可以实现真正的“负载”均衡策略。比如以latency作为衡量负载的指标，latency越大，则赋予的权重越小，再结合加权一致性hash，可以实现一个动态负载均衡的算法。当然，单纯的依赖latency并不可靠，需要收集服务端节点更多的状态信息来做参考，比如错误码、是否降级或者限流等。这个话题可以留到后面再聊。