限流是服务降级的一种手段,顾名思义,通过限制系统的流量,从而实现保护系统的目的。
合理的限流配置,需要了解系统的吞吐量,所以,限流一般需要结合容量规划和压测来进行。
当外部请求接近或者达到系统的最大阈值时,触发限流,采取其他的手段进行降级,保护系统不被压垮。常见的降级策略包括延迟处理、拒绝服务、随机拒绝等。
限流后的策略,其实和 Java 并发编程中的线程池非常类似,我们都知道,线程池在任务满的情况下,可以配置不同的拒绝策略,比如:
- AbortPolicy,会丢弃任务并抛出异常
- DiscardPolicy,丢弃任务,不抛出异常
- DiscardOldestPolicy 等,当然也可以自己实现拒绝策略
Java 的线程池是开发中一个小的功能点,但是见微知著,也可以引申到系统的设计和架构上,将知识进行合理地迁移复用。
限流方案中有一点非常关键,那就是如何判断当前的流量已经达到我们设置的最大值,具体有不同的实现策略,下面进行简单分析。
1. 计数器法
一般来说,我们进行限流时使用的是单位时间内的请求数,也就是平常说的 QPS,统计 QPS 最直接的想法就是实现一个计数器。
计数器法是限流算法里最简单的一种算法,我们假设一个接口限制 100 秒内的访问次数不能超过 10000 次,维护一个计数器,每次有新的请求过来,