服务负载均衡

负载均衡

JSQ（最闲轮训）算法

描述

客户端记录服务端的处理数，发送请求到最小处理数的服务实例。

缺点

缺乏服务端视角，相同的服务实例被多个客户端调用时，JSQ算法得出的结果就不会是最优的结果。

P2C（pick two choice）算法

描述

随机选两个节点进行打分，选择最优的一个节点

打分标准

• cpu：服务端的cpu指标
• health：客户端视角的服务端健康度指标
• inflight：客户端视角的服务端qps指标
• latency：服务端的延迟指标

使用简单的线性方程计算出分数:
分数=health/(cpu * inflight * lagtency)

处理新的服务节点

对于新的节点使用常量惩罚值，以及使用探针方式最小化放量进行预热。例如jvm之类需要热身的。逐渐调度流量，不至于一瞬间的流量导致高负载。

处理永久黑名单问题

描述

对于一些服务每次比较都是比较差的，所以没有流量，导致统计的指标无法更新，逻辑上就行程的永久黑名单了。

解决方案

采用统计衰减的方式，让服务逐渐恢复到初始状态，即默认值。随着时间的推移，让健康度和latency做统计衰减（cpu和inflight偏实时）。然后试探性地放一些流量探测（指标上来后分数就会上来，比较的时候就可能会胜出），经过流量探测就知道实时的指标。这样就可以解决永久黑名单的问题。

处理latency问题

有些服务的latency比50线的节点都药差，则可能会进行一些惩罚，从而提高算法的敏感度。

例子

P2C算法
The power of two choices in randomized load balancing

面试经验

假设有BFF和服务user，其中user有3个实例，BFF有3个实例。问题：BFF怎么感知服务user的实例的状态，并且实时调度流量？

答：采用P2C算法，然后描述P2C算法的特点。如果是采用JSQ算法，单从客户端视角决定负载是会产生误差的。