限流算法类别
- 计数器算法
- 令牌桶算法
- 漏桶算法
计数器算法
-
简要
计算器算法是以固定速率单位时间内计数,如果达到最大速率则拒绝访问走服务降级。类似返回:“服务忙,请稍后重试!”等服务降级信息。
固定计数速率:限制时间段内访问总数,例如限制一分钟10个请求:10R/M
-
图示
-
缺点
临界点问题,如下图所示
平滑计数器算法(滑动窗口)
-
简要
平滑计数器算法主要是为了解决计数器算法临界点问题,达到平滑访问。相比计数器算法,滑动窗口会更加平滑,能自动消除毛刺。
-
图示
令牌桶算法
- 简要
令牌桶算法是以恒定的速率源源不断地产生令牌放入桶中。如果令牌不被消耗,或者被消耗的速度小于产生的速度,令牌就会不断地增多,直到把桶填满。如果桶中无令牌则拒绝访问。
固定速率:固定速率生成令牌数量
固定大小:桶容量大小固定,当令牌桶满后则直接丢弃还在生成的令牌,当桶容量有剩余时继续放入令牌。
-
图示
-
缺点
存在t1时间段无请求,此时令牌还在生成,生成的令牌数量为t1*速率,当t2时间段时候假设此时桶中已有100个令牌,此时则能一次性接收100个请求,给服务器带来的是瞬间性的压力,所以不能够达到平滑效果。
-
实现
使用Google guava包中的
RateLimiter
类可以很简单的实现令牌桶限流算法。@RestController public class IndexController { /** * guava工具包提供的限流类, * 参数:permitsPerSecond 表示一秒生成令牌的数量 */ private RateLimiter rateLimiter = RateLimiter.create(1.0); @RequestMapping("/index") public String index() { //尝试获取令牌,获取令牌超时时间为500毫秒 boolean tryAcquire = rateLimiter.tryAcquire(500, TimeUnit.MICROSECONDS); //如果未拿到令牌,则走服务降级,返回提示信息 if (!tryAcquire) { System.out.println("服务忙,请稍后重试!"); return "服务忙,请稍后重试!"; } // 执行业务逻辑 System.out.println("....执行业务逻辑....."); return "处理成功"; } }
以上设置令牌桶生成的速率为1R/S,浏览器访问/index,狂按F5刷新访问,可以看到偶尔会出现"服务忙,请稍后重试!"提示信息,控制台打印信息如下。
....执行业务逻辑..... ....执行业务逻辑..... ....执行业务逻辑..... ....执行业务逻辑..... 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! ....执行业务逻辑..... 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! ....执行业务逻辑..... 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! 服务忙,请稍后重试! ....执行业务逻辑.....
漏桶算法
-
简要
漏桶算法可以控制端口的流量输出速率,平滑网络上的突发流量,实现流量整形,从而为网络提供一个稳定的流量。类似于沙漏效果。
固定流出速率:流出桶外的水滴速率固定
固定大小:漏桶算法桶大小固定,当桶满后续请求直接走服务降级操作。
任意流入速率:流入桶中的水滴速率任意
-
图示
-
实现
1、使用guava的RateLimiter创建SmoothWarmingUp限速器达到类似漏桶算法的实现。
/** * double permitsPerSecond : 每秒生成令牌数 * long warmupPeriod, * TimeUnit unit */ private RateLimiter rateLimiter = RateLimiter.create(10.0, 1L, TimeUnit.SECONDS); @RequestMapping("/guavaIndex") public String index() { //尝试获取令牌,获取令牌超时时间为500毫秒 boolean tryAcquire = rateLimiter.tryAcquire(500, TimeUnit.MICROSECONDS); //如果未拿到令牌,则走服务降级,返回提示信息 if (!tryAcquire) {