基于服务端状态的负载均衡策略

客户端基于服务状态数据的统计，指标包含：
请求数总数，耗时，错误数
然后可以计算出 error_percent 和 avg_rt
负载均衡策略思路都是减少问题机器的流量，当机器恢复时，恢复流量。并且要规避以下两个问题：

抖动：分摊到各个机器的流量比例一直在变化，不确定的东西对系统来说是不好的。相对比较耗费cpu计算
雪崩：减少问题机器的流量，导致其他机器因为流量过高而崩溃，进而导致集群崩溃。

响应时间权重算法

统计每个服务的平均rt：avg_rt_server1、 avg_rt_server2 、avg_rt_serverN
所有服务器的平均rt之和 : avg_rt_sum = avg_rt_server1 + … + avg_rt_serverN
某个服务器的权重值 : weight_server1 = avg_rt_sum - avg_rt_server1
服务器的权重值之和 : weight_sum = weight_server1 + … + weight_serverN
某个服务器被选中的概率 : probability_server1 = weight_server1 / weight_sum

效果：响应慢的机器被选中的概率偏小

优点：相对保险，不会导致雪崩。
缺点：只对正常请求有效，对直接报错的请求么有保护效果。权重的动态变化会导致流量的频繁波动。

netflix中的熔断策略
if( error_percent > user_specified_threshhold && allow_recover_test() ){
//错误率超过阀值，禁止改机器的调用
}

//被熔断的机器，在经过一个时间窗口后，允许进行一次调用来检测是否恢复
boolean allow_recover_test(){
if(System.currentTimeMillis() > last_recover_test_timestamp + user_specified_recover_time_window){
last_recover_test_timestamp = System.currentTimeMillis();
return true;
}
return false
}
根据这个算法，错误率超过阀值的机器，就不会被调用到了。

优点： 对错误的场景有保护效果（响应时间太长可以认为是一种错误）。比时间权重更稳定，抛开被熔断的机器，剩下的机器按照随机算法均分流量，不会频繁波动。

缺点： 有雪崩的风险，被熔断的机器不再分担流量，流量打到别的机器，可能导致别的机器因为压力过大而产生错误，进而导致整个集群崩溃。

改进：当发现有雪崩迹象时，关闭熔断功能，让流量分摊到所有机器，接受一定比例的错误，避免雪崩。
增加一个控制参数 max_isolated_machine_percentage(被熔断的机器占机器总数的最大比例),如果超过这个比例，则关闭熔断功能，让流量平摊到所有机器。

比如10台服务器，每台服务器容量为100，平时每台机器的流量为60。
(10-x)40 = x * 60
x = 4
4台机器被熔断后，这4台机器的 460 的流量平摊到另外6台机器，正好将另外6台机器打满。如果有超过4台机器被熔断，那么极有可能导致雪崩。
那么max_isolated_machine_percentage的最大值是 4/10， 保守一点，可以设得更小。