面试官:你知道哪些限流算法?

一般做接口限流主要是为了应对突发流量,避免突发流量拖垮服务。如下面一些场景就有可能发生突发流量

  1. 微博热搜
  2. 恶意刷单
  3. 恶意爬虫
  4. 促销活动

接口限流的算法有如下几种:

1、计数器(固定窗口)算法

计数器算法是使用计数器在周期内累加访问次数,当达到设定的限流值时,触发限流策略。下一个周期开始时,进行清零,重新计数。

此算法在单机还是分布式环境下实现都非常简单,使用redis的incr原子自增性和线程安全即可轻松实现。

伪代码:

int unitTime = 1s //设置单位时间为1s
int limitCount = 1000 //设置单位时间只能1000次请求
string limitKey = "limitkey"; //单位时间限流状态key


if(!has(limitKey)){
    //初始化单位时间限流状态,并设定期有效期(有效期为一个单位时间)
    //参考redis的set命令
    set(limitKey,0,unitTime)
}


//原子递增请求量,并返回当前单位时间已有的请求数
int counter = incr(limitKey,1)


if(counter>limitCount)
    //超出设置的限流规则,直接返回503(也可自定义返回内容)
    return 503 
else
    continue;//继续执行业务逻辑   

这个算法通常用于QPS限流和统计总访问量,对于秒级以上的时间周期来说,会存在一个非常严重的问题,那就是临界问题(突刺现象):

假设1s内服务器的负载能力为1000,因此一个周期的访问量限制在1000,然而在第一个周期的最后200微秒和下一个周期的开始200微秒时间段内,分别涌入800的访问量,虽然没有超过每个周期的限制量,但是整体上400微秒内已达到1600的访问量,已远远超过服务器的负载能力,由此可见,计数器算法方式限流对于周期比较长的限流,存在很大的弊端。

2、滑动窗口算法


滑动窗口算法是将时间周期分为N个小周期,分别记录每个小周期内访问次数,并且根据时间滑动删除过期的小周期。

假设时间周期为1s,将1s再分为2个小周期,统计每个小周期的访问数量,则可以看到,第一个时间周期内,访问数量为1000,第二个时间周期内,访问数量为1000,超过1000的访问可以被限流掉

由此可见,当滑动窗口的格子划分的越多,那么滑动窗口的滚动就越平滑,限流的统计就会越精确。

此算法可以很好的解决固定窗口算法的临界问题。

int unitTime = 1000ms //设置单位时间为1s(1000ms)
int limitCount = 1000 //设置单位时间只能1000次请求
string listKey = 'limitkey'; //单位时间限流状态key


//获取当前毫秒数
int curMilliseconds = nowMilliseconds();
//计算单位时间的起始时间
int startMilliseconds = curMilliseconds-unitTime*1000 //获取单位时间的起始时间


//获取当前往前推1s 之内的所有请求量(这一步及耗性能)
//参考redis的ZCOUNT命令
int counter = ZCOUNT(listKey,startMilliseconds,curMilliseconds)


if counter>limitCount
    //超出设置的限流规则,直接返回503(也可自定义返回内容)
    return 503 
else
    ZADD(listKey,curMilliseconds,唯一标识)
    continue;//继续执行业务逻辑   
end

3、漏桶算法

漏桶算法是访问请求到达时直接放入漏桶,如当前容量已达到上限(限流值),则进行丢弃(触发限流策略)。漏桶以固定的速率进行释放访问请求(即请求通过),直到漏桶为空。

漏桶算法参考家里使用的漏斗你就能明白了,往漏斗里面倒水,不论倒多少水,下面出水的速率是恒定的。当漏斗满了,多余的水就被直接丢弃了。

类比流量,每秒处理的速率是恒定的,如果有大量的流量过来就先放到漏斗里面。当漏斗也满了,请求则被丢弃。

实现:用队列保存请求,用ScheduledThreadPoolExecutor(支持定时任务的线程池)来定时从队列中取请求来执行

4、令牌桶算法

令牌桶算法可以说是对漏桶算法的改进。漏桶算法能限制请求的速率。而令牌桶算法在限制请求速率的同时还允许一定程度的突发调用

令牌桶算法是程序以r(r=时间周期/限流值)的速度向令牌桶中增加令牌,直到令牌桶满,请求到达时向令牌桶请求令牌,如获取到令牌则通过请求,否则触发限流策略。

过程如下

一直放令牌,如果令牌桶达到上限则丢弃令牌,假设每秒放10个
可以应对一定程度的流量激增,如此时令牌桶有100个令牌,突然发生200次调用,则此时最开始的100次请求可以正常调用,后续的请求才会以10个/s的速率来调用
实现:用队列保存令牌,用ScheduledThreadPoolExecutor来定时放令牌

一般使用google提供的guava工具包即可

加入依赖:

 <dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>18.0</version>
</dependency>
public class RateLimiterDemo {
    public static void main(String[] args) {
        // 每秒生成2个令牌
        RateLimiter rateLimiter = RateLimiter.create(2);
        for (int i = 0; i < 12; i++) {
            new Thread(() -> {
                // 获得令牌
                rateLimiter.acquire();
                System.out.println(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()));
            }).start();
        }
    }
}

rateLimiter提供了acquire()和tryAcquire()方法

  1. acquire()方法,如果没有可用令牌,会一直阻塞到获得令牌
  2. tryAcquire()方法,如果没有可用令牌,则直接返回false,可以设置超时获取

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值