什么是限流
限流,也称流量控制。是指系统在面临高并发,或者大流量请求的情况下,限制新的请求对系统的访问,从而保证系统的稳定性。限流会导致部分用户请求处理不及时或者被拒,这就影响了用户体验。所以一般需要在系统稳定和用户体验之间平衡一下。
常见的限流算法
固定窗口限流算法
首先维护一个计数器,将单位时间段当做一个窗口,计数器记录这个窗口接收请求的次数。
- 当次数少于限流阀值,就允许访问,并且计数器+1
- 当次数大于限流阀值,就拒绝访问。
- 当前的时间窗口过去之后,计数器清零。
假设单位时间是1秒,限流阀值为3。在单位时间1秒内,每来一个请求,计数器就加1,如果计数器累加的次数超过限流阀值3,后续的请求全部拒绝。等到1s结束后,计数器清0,重新开始计数。
但是,这种算法有一个很明显的临界问题:假设限流阀值为5个请求,单位时间窗口是1s,如果我们在单位时间内的前0.8-1s和1-1.2s,分别并发5个请求。虽然都没有超过阀值,但是如果算0.8-1.2s,则并发数高达10,已经超过单位时间1s不超过5阀值的定义啦。
滑动窗口限流算法
滑动窗口限流解决固定窗口临界值的问题。它将单位时间周期分为n个小周期,分别记录每个小周期内接口的访问次数,并且根据时间滑动删除过期的小周期。
假设单位时间还是1s,滑动窗口算法把它划分为5个小周期,也就是滑动窗口(单位时间)被划分为5个小格子。每格表示0.2s。每过0.2s,时间窗口就会往右滑动一格。然后呢,每个小周期,都有自己独立的计数器,如果请求是0.83s到达的,0.8~1.0s对应的计数器就会加1。
漏桶算法
漏桶算法面对限流,就更加的柔性,不存在直接的粗暴拒绝。
它的原理很简单,可以认为就是注水漏水的过程。往漏桶中以任意速率流入水,以固定的速率流出水。当水超过桶的容量时,会被溢出,也就是被丢弃。因为桶容量是不变的,保证了整体的速率。
在正常流量的时候,系统按照固定的速率处理请求,是我们想要的。但是面对突发流量的时候,漏桶算法还是循规蹈矩地处理请求,这就不是我们想看到的。流量变突发时,我们希望系统尽量快点处理请求。
令牌桶算法
面对突发流量的时候,我们可以使用令牌桶算法限流。
令牌桶算法原理:
- 有一个令牌管理员,根据限流大小,定速往令牌桶里放令牌。
- 如果令牌数量满了,超过令牌桶容量的限制,那就丢弃。
- 系统在接受到一个用户请求时,都会先去令牌桶要一个令牌。如果拿到令牌,那么就处理这个请求的业务逻辑;
- 如果拿不到令牌,就直接拒绝这个请求。
基于Redission 实现限流令牌桶算法
Redisson 提供的 RRateLimiter
是一个基于 Redis 的限流组件,它实现了令牌桶算法,并且具有以下优点:
- 分布式和高可用:由于基于 Redis,它天然支持分布式环境,可以在系统的不同组件之间共享限流器。
- 持久化:令牌桶的状态存储在 Redis 中,这意味着即使应用程序重启,限流器的状态也不会丢失。
- 原子性:Redisson 通过使用 Redis 命令来保证操作的原子性,避免了并发环境下的竞态条件。
- 易于监控:可以使用 Redis 的监控工具来观察和调试限流器的状态和性能。
下面为一个基本实现
创建一个RedisLimiterManager类,其中实现了两个方法,分别可以实现固定限流规则和自定义限流规则。
@Service
public class RedisLimiterManager {
@Resource
private RedissonClient redissonClient;
/**
* 实现基于令牌桶算法的速率限制。
* 使用Redisson的RateLimiter实现,通过配置指定的速率限制,来控制对特定资源的访问频率。
*
* @param key Redis中限流器的键名,用于标识不同的资源。
* @throws BusinessException 如果无法获取令牌,表示请求速率过高,此时抛出业务异常。
*/
public void doRateLimit(String key) {
// 创建一个名称为rateLimiter的限流器,每秒最多访问 2 次
RRateLimiter rateLimiter = redissonClient.getRateLimiter(key);
// 设置限流器的速率,每秒最多2个请求
rateLimiter.trySetRate(RateType.OVERALL, 2, 1, RateIntervalUnit.SECONDS);
// 尝试获取一个令牌,如果获取失败(即速率限制已达到),则抛出异常
// 每当一个操作来了后,请求一个令牌
boolean canOp = rateLimiter.tryAcquire(1);
if (!canOp) {
throw new BusinessException(ErrorCode.SYSTEM_ERROR,"请求频率过高");
}
}
/**
* 实现基于令牌桶算法的速率限制。
* 通过指定的键、限制数量和时间间隔,控制对特定资源的访问速率。
* 如果请求速率超过设定的限制,将抛出业务异常,提示请求频率过高。
*
* @param key 限流器的键,用于标识具体的资源。
* @param limitNum 每second秒允许的请求数量。
* @param second 设置速率的时间间隔,单位为秒。
* @throws BusinessException 如果请求速率超过限制,抛出此异常。
*/
public void doRateLimit(String key,int limitNum,int second) {
// 创建一个名称为rateLimiter的限流器,每秒最多访问 2 次
RRateLimiter rateLimiter = redissonClient.getRateLimiter(key);
// 设置限流器的速率,每second秒最多limitNum个请求
rateLimiter.trySetRate(RateType.OVERALL, limitNum, second, RateIntervalUnit.SECONDS);
// 尝试获取一个令牌,如果获取失败(即速率限制已达到),则抛出异常
// 每当一个操作来了后,请求一个令牌
boolean canOp = rateLimiter.tryAcquire(1);
if (!canOp) {
throw new BusinessException(ErrorCode.SYSTEM_ERROR,"请求频率过高");
}
}
}