过载保护和负载均衡的设计学习

负载均衡

指将请求/数据分摊到多个操作单元上执行，关键在与均衡。
根据异构服务器的处理能力来动态，自适应的进行负载均衡。

实现

站点层根据service的处理能力，动态自适应的进行负载调度。

方案一 通过“静态权重”标志service的处理能力

每个下游service设置一个权重，代表service的处理能力，来调整访问到的每个service的概率。
如果service1，service 2 ,service 3 的处理能力相同，可以设置权重1 =1
，权重2=1，权重3 =1，三个service被调用的概率就都是1/3,能保证均衡访问。
如果service 1的处理能力是其他service的2倍，就可以设置权重1=2，权重2=1，权重3=1，这样三个service链接被获取到的概率就是2/4，1/4，1/4，能够保证能力强的service分到等比的流量，不至于资源浪费。

优点

能够快速实现异构服务器的负载均衡

缺点

权重是固定的，无法自适应动态调整

通过动态权重标识service的处理能力

每个service都有一个相同初始权重，开始负载均衡，每当service成功处理一个请求，认为service处理能力足够，权重动态+1；
每当service超时处理一个请求，认为service处理能力可能要跟不上了，权重动态-10。
最终结果是处理能力强的service的权重越来越高， 被调用的概率也越来越大。

过载保护

指当瓦斯不负载超过系统处理能力时，系统会进行自我保护，依然能对外提供有损的稳定服务。

实现

方案一 通过设定负载阈值来处理

服务端设定一个负载阈值，超过这个阈值的请求压过来，全部抛弃。

方案二 借助“动态权重”来实施过载保护

当某个服务器，连续3个请求都超时，就可以认为，服务器处理不过来了，得给这个服务器喘一口气，接下来一秒，负载不再分配给这个服务器；
如果一个service的动态权重，降为0，就可以认为，服务器完全处理不过来了，于是接下来的若干时间内，例如一分钟，请求不再分给这个服务器。