Java高并发系统的常用限流策略

Java高并发系统的常用限流策略

在高并发访问时,常会出现服务或接口面对暴涨的请求而不可用的情况,更甚至导致整个系统崩溃.而使用的技术手段之一就是限流,当请求达到一定的并发数或速率,就进行等待,排队,降级,拒绝服务等.

在开发高并发系统时有三把利器用来保护系统:缓存,降级和限流.

限流常见算法

计数器/时间窗口法

最简单也最容易实现的一种,通过在单位时间内设置最大访问数就可以达到限流的目的,但是缺陷也非常明显,存在突刺效应.

突刺效应 : 例如某个系统能够承载的一般qps为60,那我们就可以使用计算器法,在单位时间一秒内,限制接口只能被访问60次.但有个缺陷,假如在时间窗的前1%的时间内流量就达到顶峰了(可能导致系统崩溃),那么在时间窗内还有99%的时间系统即使能够继续提供服务,但是由于这种算法的缺陷还是会被拒绝服务.

漏桶法

漏桶法不同于计算器法,它有效的避免了计数器法限流的突刺效应,实现也不复杂,通过固定大小的队列+定时取队列元素的方式即可实现.

漏桶法就好比一个盛水的容器,漏桶法只限制容器出水的速率,当进水的速率过大时,将会填满容器造成溢出,溢出部分的流量也就是拒绝的流量.

假设容器大小为100,出水速率为每秒10/s,当桶为空时,最大的流量可以到达100/s,但是即使这样,受限于固定的流出速率,后端处理的也只能是最大每秒10个,其余的流量都会被缓冲在漏桶中.这个也这是漏桶法的缺陷,没法真正处理突发的流量洪峰,效率不高.

令牌桶算法

令牌桶法也是基于桶的原型,但是和漏桶算法截然不同的时,没有出水口.令牌桶通过令牌的产生速率+令牌桶的容积来控制流量,有效的解决了漏桶效率不高的问题.

假设容积为100的桶,令牌产生速率为50/s,那么就代表当桶中令牌已满的时候,最大能够承载100的流量,后面如果流量一直居高不下,也会以每秒50个流量的速度恒速处理请求.

令牌桶的这种特性有效的处理了洪峰流量也能做到不被洪峰压垮，是目前限流比较常见的实现方法。比较著名的实现有谷歌guava中的RateLimiter.

项目中的应用

基于Google Guava应用

maven主要依赖

<!--Google guava 工具类 -->
<dependency>
  <groupId>com.google.guava</groupId>
  <artifactId>guava</artifactId>
</dependency>
 <!-- aop切面 -->
<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-aop</artifactId>
</dependency>

Guava限流使用注解

@Target({
   ElementType.METHOD,ElementType.TYPE}