Redis之zset实现滑动窗口限流

目录

1、需求

2、常见的错误设计

3、滑动窗口算法

3.1 解决方案

3.2 pipeline代码实现

3.3 lua代码实现

---

1、需求

---

限定用户的某个行为在指定时间T内，只允许发生N次。假设T为1秒钟，N为1000次。

2、常见的错误设计

---

程序员设计了一个在每分钟内只允许访问1000次的限流方案，如下图01:00s-02:00s之间只允许访问1000次，这种设计最大的问题在于，请求可能在01:59s-02:00s之间被请求1000次，02:00s-02:01s之间被请求了1000次，这种情况下01:59s-02:01s间隔0.02s之间被请求2000次，很显然这种设计是错误的。

3、滑动窗口算法

---

3.1 解决方案

指定时间T内，只允许发生N次。我们可以将这个指定时间T，看成一个滑动时间窗口（定宽）。我们采用Redis的zset基本数据类型的score来圈出这个滑动时间窗口。在实际操作zset的过程中，我们只需要保留在这个滑动时间窗口以内的数据，其他的数据不处理即可。

• 每个用户的行为采用一个zset存储，score为毫秒时间戳，value也使用毫秒时间戳（比UUID更加节省内存）

• 只保留滑动窗口时间内的行为记录，如果zset为空，则移除zset，不再占用内存（节省内存）

3.2 pipeline代码实现

代码的实现的逻辑是统计滑动窗口内zset中的行为数量，并且与阈值maxCount直接进行比较就可以判断当前行为是否被允许。这里涉及多个redis操作，因此使用pipeline可以大大提升效率

package com.lizba.redis.limit;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import redis.clients.jedis.Response;

/**

* 

*     通过zset实现滑动窗口算法限流

* 

* @Author: Liziba

* @Date: 2021/9/6 18:11

*/

public class SimpleSlidingWindowByZSet {

private Jedis jedis;

public SimpleSlidingWindowByZSet(Jedis jedis) {

this.jedis = jedis;

}

/**

* 判断行为是否被允许

* @param userId        用户id

* @param actionKey     行为key

* @param period        限流周期

* @param maxCount      最大请求次数（滑动窗口大小）

* @return

*/

public boolean isActionAllowed(String userId, String actionKey, int period, int maxCount) {

String key = this.key(userId, actionKey);

long ts = System.currentTimeMillis();

Pipeline pipe = jedis.pipelined();

pipe.multi();

pipe.zadd(key, ts, String.valueOf(ts));

// 移除滑动窗口之外的数据

pipe.zremrangeByScore(key, 0, ts - (period * 1000));

Response count = pipe.zcard(key);

// 设置行为的过期时间，如果数据为冷数据，zset将会删除以此节省内存空间

pipe.expire(key, period);

pipe.exec();

pipe.close();

return count.get() <= maxCount;

}

/**

* 限流key

* @param userId

* @param actionKey

* @return

*/

public String key(String userId, String actionKey) {

return String.format(“limit:%s:%s”, userId, actionKey);

}

}

测试代码：

package com.lizba.redis.limit;

import redis.clients.jedis.Jedis;

/**

* @Author: Liziba

* @Date: 2021/9/6 20:10

*/

public class TestSimpleSlidingWindowByZSet {

public static void main(String[] args) {

Jedis jedis = new Jedis(“192.168.211.108”, 6379);

SimpleSlidingWindowByZSet slidingWindow = new SimpleSlidingWindowByZSet(jedis);

for (int i = 1; i <= 15; i++) {

boolean actionAllowed = slidingWindow.isActionAllowed(“liziba”, “view”, 60, 5);

System.out.println(“第” + i +“次操作” + (actionAllowed ? “成功” : “失败”));

}

jedis.close();

}

}

测试效果：

从测试输出的数据可以看出，起到了限流的效果，从第11次以后的请求操作都是失败的，但是这个和我们允许的5次误差还是比较大的。这个问题的原因是我们测试System.currentTimeMillis()的毫秒可能相同，而且此时value也是System.currentTimeMillis()也相同，会导致zset中元素覆盖！

修改代码测试：

在循环中睡眠1毫秒即可，测试结果符合预期！

TimeUnit.MILLISECONDS.sleep(1);

3.3 lua代码实现

我们在项目中使用原子性的lua脚步来实现限流的使用会更多，因此这里也提供一个基于操作zset的lua版本

package com.lizba.redis.limit;

import com.google.common.collect.ImmutableList;

import redis.clients.jedis.Jedis;

最后

**一个零基础的新人，我认为坚持是最最重要的。**我的很多朋友都找我来学习过，我也很用心的教他们，可是不到一个月就坚持不下来了。我认为他们坚持不下来有两点主要原因：

他们打算入行不是因为兴趣，而是因为所谓的IT行业工资高，或者说完全对未来没有任何规划。

刚开始学的时候确实很枯燥，这确实对你是个考验，所以说坚持下来也很不容易，但是如果你有兴趣就不会认为这是累，不会认为这很枯燥，总之还是贵在坚持。

技术提升遇到瓶颈了？缺高级Android进阶视频学习提升自己吗？还有大量大厂面试题为你面试做准备！

提升自己去挑战一下BAT面试难关吧

对于很多Android工程师而言，想要提升技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。整理的这些知识图谱希望对Android开发的朋友们有所参考以及少走弯路，本文的重点是你有没有收获与成长，其余的都不重要，希望读者们能谨记这一点。

不论遇到什么困难，都不应该成为我们放弃的理由！

如果有什么疑问的可以直接私我，我尽自己最大力量帮助你！

最后祝各位新人都能坚持下来，学有所成。
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门，即可获取！
转存中…(img-KeftWAMw-1715425265579)]

对于很多Android工程师而言，想要提升技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。整理的这些知识图谱希望对Android开发的朋友们有所参考以及少走弯路，本文的重点是你有没有收获与成长，其余的都不重要，希望读者们能谨记这一点。

不论遇到什么困难，都不应该成为我们放弃的理由！

如果有什么疑问的可以直接私我，我尽自己最大力量帮助你！

最后祝各位新人都能坚持下来，学有所成。
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门，即可获取！