常见接口限流介绍

一、基本限流算法

1.固定窗口

固定时间窗口是最常见的限流算法之一。其中窗口的概念，对应限流场景当中的限流时间单元。

原理

• 时间线划分为多个独立且固定大小窗口；

• 落在每一个时间窗口内的请求就将计数器加1；

• 如果计数器超过了限流阈值，则后续落在该窗口的请求都会被拒绝。但时间达到下一个时间窗口时，计数器会被重置为0

优点

逻辑简单、维护成本比较低；

缺点

无法应对突发流量的情况，比如每秒允许放行100个请求，但是在0.9秒前都没有请求进来，这就造成了在0.9秒到1秒这段时间内要处理100个请求，而在1秒到1.1秒间可能会再进入100个请求，这就造成了要在0.2秒内处理200个请求，这种流量激增就可能导致后端服务出现异常。

---

2.滑动窗口

滑动窗口算法是对固定窗口算法的一种改进，在滑动窗口的算法中，同样需要针对当前的请求来动态查询窗口。但窗口中的每一个元素，都是子窗口。子窗口的概念类似于方案一中的固定窗口，子窗口的大小是可以动态调整的。

原理

• 将单位时间划分为多个区间，一般都是均分为多个小的时间段；

• 每一个区间内都有一个计数器，有一个请求落在该区间内，则该区间内的计数器就会加一；

• 每过一个时间段，时间窗口就会往右滑动一格，抛弃最老的一个区间，并纳入新的一个区间；

• 计算整个时间窗口内的请求总数时会累加所有的时间片段内的计数器，计数总和超过了限制数量，则本窗口内所有的请求都被丢弃。

优点

滑动窗口算法通过将时间片进行分片，对流量的控制更加精细化，

缺点

浪费一些存储空间，用来维护每一块时间内的单独计数，并且还没有解决固定窗口中可能出现的流量激增问题

---

3.漏桶算法

漏桶算法是水先进入到漏桶里，漏桶再以一定的速率出水，当流入水的数量大于流出水时，多余的水直接溢出。把水换成请求来看，漏桶相当于服务器队列，但请求量大于限流阈值时，多出来的请求就会被拒绝服务。漏桶算法使用队列实现，可以以固定的速率控制流量的访问速度，可以做到流量的平整化处理。

原理

• 将每个请求放入固定大小的队列进行中

• 队列以固定速率向外流出请求，如果队列为空则停止流出。

• 如队列满了则多余的请求会被直接拒绝

优点

能应对流量激增,控制速率

缺点

不管当前系统的负载压力如何，所有请求都得进行排队，即使此时服务器的负载处于相对空闲的状态，这样会造成系统资源的浪费。因此一般场景不会将该算法放到生产上使用

---

4.令牌桶算法

令牌桶算法是基于漏桶算法的一种改进，主要在于令牌桶算法能够在限制服务调用的平均速率的同时，还能够允许一定程度内的突发调用。

原理

• 令牌以固定速率生成并放入到令牌桶中；

• 如果令牌桶满了则多余的令牌会直接丢弃，当请求到达时，会尝试从令牌桶中取令牌，取到了令牌的请求可以执行；

• 如果桶空了,则拒绝该请求。

优点

能应对突发激增流量,又能控制速率,同时不会成为流量卡点,导致浪费机器资源

缺点

实现相对复杂

---

5、小结

固定窗口：实现简单，适用于流量相对均匀分布，对限流准确度要求不严格的场景。

滑动窗口：适用于对准确性和性能有一定的要求场景，可以调整子窗口数量来权衡性能和准确度

漏桶算法：适用于流量绝对平滑的场景

令牌桶算法：适用于流量整体平滑的情况下，同时也可以满足一定的突发流程场景

---

二、限流的一些方案

上述基本算法只是基础,真正生产需求场景往往更复杂,需要借助基础算法结合实际场景,产出相应解决方案,以下列举一些情况

1.分布式限流-基于中间件的保护

• 往往生产应用都是集群部署的,为了应对整个集群流量达到预期限流效果,单单在应用本身中通过限流算法无法保证,此时需要考虑借助中间件统一控制集群流量,以下是一张sentinel集群限流依靠的方式

• 生产上限流需要进行调整,硬编码的方式肯定是无法响应的

  • sentinel结合nacos完成限流

2.基于网关的保护

TBD