Redis之zset实现滑动窗口限流,【大牛疯狂教学】

限定用户的某个行为在指定时间T内,只允许发生N次。假设T为1秒钟,N为1000次。

2、常见的错误设计


程序员设计了一个在每分钟内只允许访问1000次的限流方案,如下图01:00s-02:00s之间只允许访问1000次,这种设计最大的问题在于,请求可能在01:59s-02:00s之间被请求1000次,02:00s-02:01s之间被请求了1000次,这种情况下01:59s-02:01s间隔0.02s之间被请求2000次,很显然这种设计是错误的。

错误限流.png

3、滑动窗口算法


3.1 解决方案

指定时间T内,只允许发生N次。我们可以将这个指定时间T,看成一个滑动时间窗口(定宽)。我们采用Redis的zset基本数据类型的score来圈出这个滑动时间窗口。在实际操作zset的过程中,我们只需要保留在这个滑动时间窗口以内的数据,其他的数据不处理即可。

  • 每个用户的行为采用一个zset存储,score为毫秒时间戳,value也使用毫秒时间戳(比UUID更加节省内存)

  • 只保留滑动窗口时间内的行为记录,如果zset为空,则移除zset,不再占用内存(节省内存)

zset滑动窗口限流.png

3.2 pipeline代码实现

代码的实现的逻辑是统计滑动窗口内zset中的行为数量,并且与阈值maxCount直接进行比较就可以判断当前行为是否被允许。这里涉及多个redis操作,因此使用pipeline可以大大提升效率

package com.lizba.redis.limit;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import redis.clients.jedis.Response;

/**

*     通过zset实现滑动窗口算法限流

* @Author: Liziba

* @Date: 2021/9/6 18:11

*/

public class SimpleSlidingWindowByZSet {

private Jedis jedis;

public SimpleSlidingWindowByZSet(Jedis jedis) {

this.jedis = jedis;

}

/**

* 判断行为是否被允许

* @param userId        用户id

* @param actionKey     行为key

* @param period        限流周期

* @param maxCount      最大请求次数(滑动窗口大小)

* @return

*/

public boolean isActionAllowed(String userId, String actionKey, int period, int maxCount) {

String key = this.key(userId, actionKey);

long ts = System.currentTimeMillis();

Pipeline pipe = jedis.pipelined();

pipe.multi();

pipe.zadd(key, ts, String.valueOf(ts));

// 移除滑动窗口之外的数据

pipe.zremrangeByScore(key, 0, ts - (period * 1000));

Response count = pipe.zcard(key);

// 设置行为的过期时间,如果数据为冷数据,zset将会删除以此节省内存空间

pipe.expire(key, period);

pipe.exec();

pipe.close();

return count.get() <= maxCount;

}

/**

* 限流key

* @param userId

* @param actionKey

* @return

*/

public String key(String userId, String actionKey) {

return String.format(“limit:%s:%s”, userId, actionKey);

}

}

测试代码:

package com.lizba.redis.limit;

import redis.clients.jedis.Jedis;

/**

* @Author: Liziba

* @Date: 2021/9/6 20:10

*/

public class TestSimpleSlidingWindowByZSet {

public static void main(String[] args) {

Jedis jedis = new Jedis(“192.168.211.108”, 6379);

SimpleSlidingWindowByZSet slidingWindow = new SimpleSlidingWindowByZSet(jedis);

for (int i = 1; i <= 15; i++) {

boolean actionAllowed = slidingWindow.isActionAllowed(“liziba”, “view”, 60, 5);

System.out.println(“第” + i +“次操作” + (actionAllowed ? “成功” : “失败”));

}

jedis.close();

}

}

测试效果:

从测试输出的数据可以看出,起到了限流的效果,从第11次以后的请求操作都是失败的,但是这个和我们允许的5次误差还是比较大的。这个问题的原因是我们测试System.currentTimeMillis()的毫秒可能相同,而且此时value也是System.currentTimeMillis()也相同,会导致zset中元素覆盖!

image.png

修改代码测试:

在循环中睡眠1毫秒即可,测试结果符合预期!

TimeUnit.MILLISECONDS.sleep(1);

image.png

3.3 lua代码实现

我们在项目中使用原子性的lua脚步来实现限流的使用会更多,因此这里也提供一个基于操作zset的lua版本

package com.lizba.redis.limit;

import com.google.common.collect.ImmutableList;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import redis.clients.jedis.Response;

/**

*     通过zset实现滑动窗口算法限流

* @Author: Liziba

* @Date: 2021/9/6 18:11

*/

public class SimpleSlidingWindowByZSet {
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

img

img

img

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注:Android)

最后

这里我特地整理了一份《Android开发核心知识点笔记》,里面就包含了自定义View相关的内容

除了这份笔记,还给大家分享 Android学习PDF+架构视频+面试文档+源码笔记,高级架构技术进阶脑图、Android开发面试专题资料,高级进阶架构资料这几块的内容。非常适合近期有面试和想在技术道路上继续精进的朋友。

分享上面这些资源,希望可以帮助到大家提升进阶,如果你觉得还算有用的话,不妨把它们推荐给你的朋友~

喜欢本文的话,给我点个小赞、评论区留言或者转发支持一下呗~

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

ndroid学习PDF+架构视频+面试文档+源码笔记**,高级架构技术进阶脑图、Android开发面试专题资料,高级进阶架构资料这几块的内容。非常适合近期有面试和想在技术道路上继续精进的朋友。

[外链图片转存中…(img-8W5XcNcA-1712795790956)]

分享上面这些资源,希望可以帮助到大家提升进阶,如果你觉得还算有用的话,不妨把它们推荐给你的朋友~

喜欢本文的话,给我点个小赞、评论区留言或者转发支持一下呗~

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

  • 7
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值