高可用系统设计之限流

系统限流的目的是在高访问量，高并发的情况下限制一部分流量对正常业务的访问保证系统能正常运行而不奔溃或者宕机的一种有效的手段之一。
限流算法有很多，比如信号量计数，线程池隔离；还有固定窗口计数，自然窗口计数，滑动窗口计数等，虽然其中有些方法粗暴，但实现起来相对简单，其最主要的目的是一定的时间内限制对服务器业务的访问的数量。
说起限流算法，其中令牌桶算法与漏桶算法算是业界比较有名的2种算法。

令牌桶算法

令牌桶算法是网络流量整形和速率限制中最常使用的一种算法。典型情况下，令牌桶算法用来控制发送到网络上的数据的数目，并允许突发数据的发送。
令牌桶算法的基本过程如下：
假如用户配置的平均发送速率为r，则每隔1/r秒一个令牌被加入到桶中；
假设桶最多可以存发b个令牌。如果令牌到达时令牌桶已经满了，那么这个令牌会被丢弃；
当一个n个字节的数据包到达时，就从令牌桶中删除n个令牌，并且数据包被发送到网络；
如果令牌桶中少于n个令牌，那么不会删除令牌，并且认为这个数据包在流量限制之外；
算法允许最长b个字节的突发，但从长期运行结果看，数据包的速率被限制成常量r。对于在流量限制外的数据包可以以不同的方式处理：
它们可以被丢弃；
它们可以排放在队列中以便当令牌桶中累积了足够多的令牌时再传输；
它们可以继续发送，但需要做特殊标记，网络过载的时候将这些特殊标记的包丢弃。

漏桶算法

漏桶算法与令牌桶算法一样，也是网络中流量整形或速率限制时经常使用的一种算法，它的主要目的是控制数据注入到网络的速率，平滑网络上的突发流量。漏桶算法提供了一种机制，通过它，突发流量可以被整形以便为网络提供一个稳定的流量。
漏桶算法在数据包传送过程中的实现原理。
1、队列接收到准备转发的数据包。
2、队列被调度，得到转发机会。由于队列配置了流量整形，队列中的数据包首先进入漏桶中。
3、根据数据包到达漏桶的速率与漏桶的输出速率关系，确定数据包是否被转发。
如果到达速率≤输出速率，则漏桶不起作用。
如果到达速率>输出速率，则需考虑漏桶是否能承担这个瞬间的流量。
1） 若数据包到达的速率-漏桶流出的速率≤配置的漏桶突发速率，则数据包可被不延时的送出。
2） 若数据包到达的速率-漏桶流出的速率>配置的漏桶突发速率，则多余的数据包被存储到漏桶中。暂存在漏桶中的数据包在不超过漏桶容量的情况下延时发出。
3） 若数据包到达的速率-漏桶流出的速率>配置的漏桶突发速率，且数据包的数量已经超过漏桶的容量，则这些数据包将被丢弃。

区别

这两种算法的主要区别在于“漏桶算法”能够强行限制数据的传输速率，而“令牌桶算法”在能够限制数据的平均传输速率外，还允许某种程度的突发传输。在“令牌桶算法”中，只要令牌桶中存在令牌，那么就允许突发地传输数据直到达到用户配置的门限，因此它适合于具有突发特性的流量。