限流知识梳理

首发链接

什么是限流?

• 限流其实是指当系统资源不够,不足以应对大量请求,为了保证有限的资源能够正常服务,对系统按照预设的规则进行流量限制或功能限制的一种方法。

为什么需要限流?

• 在流量过大的情况下为了保证服务可用
  == 比如我的服务,因为资源问题,qps在300左右,如果超过这个服务器承受不住可能会挂掉 ==

限流算法

漏桶算法

• 请求进入漏桶里,人为设置请求速率,超过这个速率,请求被拒绝
• 漏桶算法的核心:
  • 存下请求
  • 匀速处理
  • 多于丢弃
• 这是一种强行限制请求速率的方式,缺点非常明显,主要有两点：
  • 无法面对突发的大流量
  • 无法有效利用网络资源

令牌桶算法

• 令牌桶算法是网络流量整形（Traffic Shaping）和限流（Rate Limiting）中最常使用的一种算法,它可用于控制发送到网络上数据的数量并允许突发数据的发送。
• 令牌桶的过程
  • 系统以恒定的速率产生令牌,然后将令牌放入令牌桶中
  • 令牌桶有一个容量,当令牌桶满了的时候,再向其中放入的令牌就会被丢弃
  • 每次一个请求过来,需要从令牌桶中获取一个令牌,假设有令牌,那么提供服务；假设没有令牌,那么拒绝服务。

== 令牌桶算法可以防止一定程度的突发流量? ==

• 假设速率是1000QPS,第1秒只有800个请求,那意味着第2秒可以容许1200个请求,这就是一定程度突发流量的意思,反之我们看漏桶算法,第一秒只有800个请求,那么全部放过,第二秒这1200个请求将会被打回200个

** 使用令牌桶算法特别注意设置桶中令牌的上限即可 **

ratelimiter在项目中的应用

private static final RateLimiter limiter = RateLimiter.create(200);
final boolean b = limiter.tryAcquire();
if (!b) {
  logger.info("RateLimiterInterceptor preHandle busy");
  response.setContentType("application/plain;charset=utf-8");
  response.sendError(503, "the system is busy");
  return false;
}