分布式限流（4）要注意的问题

分布式限流要注意的问题

1. 为什么需要匀速限流

为什么令牌需要匀速发放？
我们做这样一个场景假设，在某个限流策略中我们设置了10r/s（每秒十个请求）的限流速率，在令牌桶算法的实现中，令牌生成器每秒会产生10个新令牌放入令牌桶。Guava的RateLimiter采用了一种“匀速”的策略生成令牌，也就是说，这10个令牌平均分到1秒钟的时间窗口中生成，每0.1秒产生一个令牌。如果在这一秒来了10个请求，这些请求会在一秒钟以内匀速消化掉。
假如我们不采用匀速发放，而是采用一把梭的模式发令牌，在每一秒开始的时候把令牌一次性发放，这样会带来什么问题呢？我们可以用两个场景来说明这种模式的弊端。
一个最明显的问题就是令牌利用率降低，比如说我在前一秒还有9个令牌，在下一秒刚开始就直接生产10个令牌，这时候令牌桶明显装不下，因此会丢弃掉9个令牌。如果在这一秒突然涌来了15个请求，由于这一秒的令牌都已经发放完毕，所以这种一把梭的发牌模式最多只能在当前时间窗口内处理10个请求，剩下的5个请求要延后到下一秒处理。而如果我们采用匀速发牌的模式，这15个请求会在下一秒的一开始就处理掉10个，剩下的请求每隔0.1秒就会获取到一个新令牌，这样一来，15个请求在一秒内就可以处理完。
除此之外，还有一个可能导致服务雪崩的问题。
以上面的图为例，在00:01秒和00:02秒各有10个令牌发放。现在我化身为一个黑客，想方设法打出高额QPS（query per second）击垮后台服务，我想了这么一个方法，我专挑当前这一秒和下一秒交汇的时间发起攻击，假如在00:01秒