简单的滑动窗口限流接口

已于 2024-08-12 15:53:05 修改
阅读量553 收藏 3
点赞数 12
分类专栏： redis 文章标签： java redis
于 2024-08-12 14:12:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19342829/article/details/141120298
版权

简单的滑动窗口限流接口

1.需求

我们公司的流程部分使用了好几个版本的流程服务，当前修改为activiti5.5，那么原有的流程部分则进行了停止，但是历史流程部分还是需要提供查询，当前功能只需要流程历史三个月前数据查询使用即可，所以部分代码写死了只处理流程三个月历史信息查询。

比如近三个数据，这部分数据则需要先查询老流程wfms数据，还要查询新生成的activiti数据，其中wfms历史数据量非常大，两部分查询数据还需要进行整合导致接口查询效率过低，那么现在需要一个限流机制，想要同一时间段内最多5人查询，多出的人查询则提示当前查询人数过多，请稍后再查，等查询的5人当中有人查询结束，则其他人可以再次进行查询，这个功能就是一个简单的时间窗口限流功能。

2.具体实现过程

此功能主要实现的方式是通过redis的ZSet功能实现，具体使用的是 ZRANGEBYSCORE。

他的主要语法为 ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT offset count]，意思是返回指定分数的成员。分数在 min max 之间，返回的成员按照 分数 从小到大排列，比如获取key对应score分数在0~100之内的数据，简单例子如下：

ZRANGEBYSCORE key 0 100

我们的时间窗口正是使用此功能， 我们使用功能的url作为redis的key，使用时间戳作为score分数， 那么判定一段时间内还有多少个该功能请求未完成可以使用 redisTemplate.opsForZSet().rangeByScore(key, currentTime - timeWindow, currentTime);获取，再获取返回值的size即可。具体实现过程如下：

  • 获取请求信息，判定是否添加时间窗口限流注解，没有则正常执行，添加进行限流校验
  • 切面拦截请求信息，判定是否首次添加，首次添加则redis注解生成Zset，key为url,value为uuid,score为当前时间戳，如果不是首次添加，则判定 当前时间-timeWindow时间内Zset值的size是否大于初始设定5，如果大于则提示查询人数过多提示，否则再添加Zset值，key为url,value为uuid,score为当前时间戳。

3.代码部分

代码部分主要有四部分，具体内容如下：

  • 注解部分

  • 切面部分

  • 公共类部分

  • 调用部分

  • 注解代码部分实现过程

    package cn.git.common.limit;

import java.lang.annotation.*;

/**
 * @description: 滑动窗口限流接口
 * @program: bank-credit-sy
 * @author: lixuchun
 * @create: 2023-03-09 04:24:06
 */
@Documented
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface ApiLimitSlidingWindow {

    /**
     * 限流枚举 默认流程三个月前跟踪列表
     * @return
     */
    SlidingWindowEnum slidingWindowEnum() default SlidingWindowEnum.WORKFLOW_TRACE_HIS_WINDOW;

}

  • 切面部分

    package cn.git.common.limit;

import cn.git.common.exception.ServiceException;
import cn.git.common.log.LogOperateProperties;
import cn.git.redis.RedisUtil;
import cn.hutool.core.util.ObjectUtil;
import cn.hutool.core.util.StrUtil;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import io.swagger.annotations.ApiOperation;
import lombok.extern.slf4j.Slf4j;
import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.annotation.AfterReturning;
import org.aspectj.lang.annotation.AfterThrowing;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.aspectj.lang.reflect.MethodSignature;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;

import javax.servlet.http.HttpServletRequest;
import java.lang.reflect.Method;

/**
 * @description:
 * @program: bank-credit-sy
 * @author: lixuchun
 * @create: 2023-03-09 05:54:11
 */
@Aspect
@Slf4j
@Component
public class LimitSlidingWindowAspect {

    /**
     * SCORE_INFO
     */
    private static final ThreadLocal<ZsetScore> SCORE_INFO = new ThreadLocal<>();

    /**
     * 设置分数信息
     * @param zsetScore score信息
     */
    private void setZsetScoreInfo(ZsetScore zsetScore) {
        if (ObjectUtil.isNotNull(zsetScore)) {
            SCORE_INFO.set(zsetScore);
        }
    }

    /**
     * 获取分数信息
     * @return 加锁值信息
     */
    private ZsetScore getZsetScoreInfo() {
        return SCORE_INFO.get();
    }

    /**
     * 删除分数信息
     */
    private void removeZsetScoreInfo() {
        SCORE_INFO.remove();
    }

    @Autowired
    private RedisUtil redisUtil;

    /**
     * post请求标识
     */
    private static final String POST_FLAG = "POST";

    /**
     * get请求标识
     */
    private static final String GET_FLAG = "GET";

    /**
     * 跟踪列表数据
     */
    private static final String WORKFLOW_TRACE_URI = "/findTraceList";

    /**
     * 限流名称前缀
     */
    private static final String LIMIT_SLIDING_WINDOW_PREFIX = "DICS_CUS_SLIDING_WINDOW:";

    /**
     * 0 信贷系统 1 风险系统 2 储备系统
     */
    private static final String SYSTEM_FLAG = "0";

    /**
     * 是否三个月前标识
     * 0 否 1 是
     */
    private static final String IF_THREE_MONTH_AGO_FLAG = "1";

    /**
     * 是否替换maxCount标识 0否 1是
     */
    private static final String IF_SPECIAL_FLAG = "1";

    /**
     * 切面信息前置切面
     * @param joinPoint 切点
     * @param apiLimitSlidingWindow 枚举类型
     */
    @Before("@annotation(apiLimitSlidingWindow)")
    public void beforePointCut(JoinPoint joinPoint, ApiLimitSlidingWindow apiLimitSlidingWindow) {
        //  参数为空设置默认值
        SlidingWindowEnum slidingWindowEnum = apiLimitSlidingWindow.slidingWindowEnum();
        if (ObjectUtil.isNull(slidingWindowEnum)) {
            slidingWindowEnum = SlidingWindowEnum.WORKFLOW_TRACE_HIS_WINDOW;
        }

        // 接收到请求，记录请求内容
        ServletRequestAttributes attributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();
        HttpServletRequest request = attributes.getRequest();

        // 获取服务接口名称
        MethodSignature signature = (MethodSignature) joinPoint.getSignature();
        Method method = signature.getMethod();

        // GET请求
        if (GET_FLAG.equals(request.getMethod())) {
            // 获取参数信息
            Object[] args = joinPoint.getArgs();

            // 当前如果流程跟踪列表，则需要根据参数判断是否进行限流处理
            if (request.getRequestURI().contains(WORKFLOW_TRACE_URI)) {
                if (ObjectUtil.isNotNull(args[0])) {
                    JSONObject paramJSON = JSON.parseObject(JSONObject.toJSONString(args[0]));
                    String systemFlag = paramJSON.getString("systemFlag");
                    String ifThreeMonthsAgo = paramJSON.getString("ifThreeMonthsAgo");
                    // 如果是信贷系统查询三个月以前信息，则需要加入限流处理
                    boolean ifLoanThreeMonthAgo = IF_THREE_MONTH_AGO_FLAG.equals(ifThreeMonthsAgo)
                            && (StrUtil.isBlank(systemFlag) || SYSTEM_FLAG.equals(systemFlag));
                    if (ifLoanThreeMonthAgo) {
                        setAndCheckLimitSlidingWindow(slidingWindowEnum, request.getRequestURI(), method, null);
                    } else if (ObjectUtil.isNotNull(slidingWindowEnum.getSpecialMaxCount())) {
                        setAndCheckLimitSlidingWindow(slidingWindowEnum, request.getRequestURI(), method, IF_SPECIAL_FLAG);
                    }
                }
            }
        } else {
            // POST请求
            setAndCheckLimitSlidingWindow(slidingWindowEnum, request.getRequestURI(), method, IF_SPECIAL_FLAG);
        }
    }

    /**
     * 后置切面，释放查询信息
     * @param joinPoint 切面
     * @param apiLimitSlidingWindow 时间窗口
     */
    @AfterReturning("@annotation(apiLimitSlidingWindow)")
    public void afterReturning(JoinPoint joinPoint, ApiLimitSlidingWindow apiLimitSlidingWindow) {
        // 获取排序分数信息
        ZsetScore zsetScore = SCORE_INFO.get();
        SCORE_INFO.remove();
        if (ObjectUtil.isNotNull(zsetScore)) {
            redisUtil.removeZset(zsetScore.getKey(), zsetScore.getValue());
        }
    }

    /**
     * 后置异常切面 捕获异常信息
     * @param joinPoint joinPoint
     * @param e 异常信息
     */
    @AfterThrowing(value = "@annotation(apiLimitSlidingWindow)" , throwing = LogOperateProperties.LOG_EXCEPTION)
    public void afterThrowing(JoinPoint joinPoint, ApiLimitSlidingWindow apiLimitSlidingWindow, Exception e) {
        // 获取排序分数信息
        ZsetScore zsetScore = SCORE_INFO.get();
        SCORE_INFO.remove();
        if (ObjectUtil.isNotNull(zsetScore)) {
            redisUtil.removeZset(zsetScore.getKey(), zsetScore.getValue());
        }
    }

    /**
     * 设置限流时间窗口信息
     * @param slidingWindowEnum 窗口信息
     * @param uri 请求路径信息
     * @param method 方法描述
     * @param ifSpecial 是否maxCount替换标识 0 否 1 是
     */
    private void setAndCheckLimitSlidingWindow(SlidingWindowEnum slidingWindowEnum, String uri, Method method, String ifSpecial) {
        // 获取时间窗口内最大count数量,时间窗口
        Integer maxCount = slidingWindowEnum.getMaxCount();
        if (IF_SPECIAL_FLAG.equals(ifSpecial) && ObjectUtil.isNotNull(slidingWindowEnum.getSpecialMaxCount())) {
            maxCount = slidingWindowEnum.getSpecialMaxCount();
        }
        Integer timeWindow = slidingWindowEnum.getTimeWindow();

        // 判断是否已经存在限流信息
        String slidingWindowKey = LIMIT_SLIDING_WINDOW_PREFIX.concat(uri);
        if (redisUtil.hasKey(slidingWindowKey)) {
            // 判断是否已经大于最大限流
            if (redisUtil.rangeByScore(slidingWindowKey, timeWindow) > maxCount) {
                ApiOperation apiOperation = method.getAnnotation(ApiOperation.class);
                String methodDesc = null;
                if (ObjectUtil.isNotNull(apiOperation)) {
                    methodDesc = apiOperation.value();
                }
                log.error("服务请求地址[{}]请求人数过多!", uri);
                if (StrUtil.isNotBlank(methodDesc)) {
                    throw new ServiceException(StrUtil.format("[{}]请求人数过多，请稍后再试!", methodDesc));
                } else {
                    throw new ServiceException("当前功能请求人数过多，请稍后再试!");
                }
            }
        }
        // 新增限流基数
        String scoreValue = redisUtil.addZset(slidingWindowKey);

        // 设置线程传递值
        ZsetScore zsetScore = new ZsetScore();
        zsetScore.setKey(slidingWindowKey);
        zsetScore.setValue(scoreValue);
        SCORE_INFO.set(zsetScore);
    }

}

  • 公共类部分
    公共类部分包含枚举部分以及ZsetScore对象类

    package cn.git.common.limit;

import lombok.Getter;

/**
 * @description: 滑动窗口枚举类
 * @program: bank-credit-sy
 * @author: lixuchun
 * @create: 2023-03-09 04:25:57
 */
@Getter
public enum SlidingWindowEnum {

    /**
     * 限流枚举实例
     */
    WORKFLOW_TRACE_HIS_WINDOW("老流程三个月前老历史任务查询限流", 60000, 5, 30),
    WORKFLOW_NEW_TRACE_HIS_WINDOW("新流程三个月前老历史任务查询限流", 60000, 5)
    ;

    /**
     * 限流描述信息
     */
    private String desc;

    /**
     * 时间窗口（毫秒）
     */
    private Integer timeWindow;

    /**
     * 时间窗口内默认最大限流
     */
    private Integer maxCount;

    /**
     * 正常业务，特定maxCount信息
     */
    private Integer specialMaxCount;

    /**
     * 自定义限流器构造方法
     * @param desc 描述信息
     * @param timeWindow 时间窗口
     * @param maxCount 时间窗口内最大限流
     */
    SlidingWindowEnum(String desc, Integer timeWindow, Integer maxCount) {
        this.desc = desc;
        this.timeWindow = timeWindow;
        this.maxCount = maxCount;
    }

    /**
     * 自定义限流器构造方法
     * @param desc 描述信息
     * @param timeWindow 时间窗口
     * @param maxCount 时间窗口内最大限流
     * @param specialMaxCount 特定maxCount信息,依情况判定，代替maxCount
     */
    SlidingWindowEnum(String desc, Integer timeWindow, Integer maxCount, Integer specialMaxCount) {
        this.desc = desc;
        this.timeWindow = timeWindow;
        this.maxCount = maxCount;
        this.specialMaxCount = specialMaxCount;
    }

}

    实体对象部分

    package cn.git.common.limit;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

/**
 * @description: zsetScore
 * @program: bank-credit-sy
 * @author: lixuchun
 * @create: 2023-03-13 02:35:58
 */
@Data
@AllArgsConstructor
@NoArgsConstructor
public class ZsetScore {

    /**
     * 列key
     */
    private String key;

    /**
     * value值
     */
    private String value;

    /**
     * 分数
     */
    private long score;

}

  • 调用部分
    调用部分很简单，直接使用窗口注解设定窗口枚举对象即可
    在这里插入图片描述

4. 测试部分

使用jemeter进行简单测，20个线程同时请求数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小大力
关注
专栏目录
滑动窗口限流 java_Java应用限流
weixin_39812142的博客
02-28 510
在开发高并发系统时，有三把利器用来保护系统：缓存、降级和限流：缓存：缓存的目的是提升系统访问速度和增大系统处理容量降级：降级是当服务出现问题或者影响到核心流程时，需要暂时屏蔽掉，待高峰或者问题解决后再打开限流：限流的目的是通过对并发访问/请求进行限速，或者对一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理常见算法：1、计时器限流2、滑动窗口3、漏桶算法...
滑动窗口计算器如何对多个接口限流_接口限流看这一篇就够了！！！
weixin_39795325的博客
12-21 122
导读前几天和一个朋友讨论了他们公司的系统问题，传统的单体应用，集群部署，他说近期服务的并发量可能会出现瞬时增加的风险，虽然部署了集群，但是通过压测后发现请求延迟仍然是很大，想问问我有什么改进的地方。我沉思了一会，现在去改架构显然是不可能的，于是我给出了一个建议，让他去做个接口限流，这样能够保证瞬时并发量飙高也不会出现请求延迟的问题，用户的体验度也会上去。至于什么是接口限流？怎么实现接口限流？如何实...
滑动时间窗口实现简单接口限流
朱守成
03-03 857
本文目的 在学习阿里开源框架sentinel后，为加深对滑动时间窗口的理解，故自己实现简单接口限流。 Sentinel Sentinel 是面向分布式服务架构的高可用流量防护组件，主要以流量为切入点，从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定性。 Sentinel的一切功能都是以流量统计为基础。基于滑动时间窗口实现秒级的流量统计。 滑动时间窗口 Sentinel以1秒为时间宽度，将1秒平均分隔成指定数量的时间窗口，任意的时间对应唯一的一个时间窗口，每个时间
Redis实现滑动窗口限流
weixin_44639291的博客
02-15 1307
RateLimiter：限流注解RateLimitRule：限流规则RateLimiters：存放多个限流注解的容器，为了可以重复使用该注解// 支持重复注解/*** 限流键前缀* @return*//*** 限流规则* @return*//*** 限流类型* @return*//*** 时间窗口, 单位秒* @return*//*** 允许请求数* @return*/定义一个切面实现限流逻辑：RateLimiterAspect。
滑动窗口计算器如何对多个接口限流_分布式高并发系统限流原理与实践
weixin_30443729的博客
01-02 228
分布式三大利器随着业务的发展壮大，对后端服务的压力也会越来越大，为了打造高效稳定的系统， 产生了分布式，微服务等等系统设计，因为这个原因，设计复杂度也随之增加，基于此 诞生了高并发系统三大利器限流，缓存，降级/熔断。限流: 从系统的流量入口考虑，从进入的流量上进行限制，达到保护系统的作用；缓存： 将数据库中的数据缓存起来，提升系统访问速度和并发度，保护数据库资源。降级和熔断比较类似，都是属于过载保...
时间滑动窗口限流
baidu_41907361的博客
03-30 898
时间滑动窗口
接口限流算法总结
代码笔记
07-19 325
在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。缓存的目的是提升系统访问速度和增大系统能处理的容量，可谓是抗高并发流量的银弹；而降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉，待高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）、频繁的复杂查询（评论的最后几页），因此需有一种手段来限制这些场景的并发/请求量，即限...
滑动窗口
pao___pao的博客
06-29 319
滑动窗口是用两个指针来维持一个窗口，并通过相应策略来更新窗口的一种解题思路 1.和为S的连续正数序列:（如果S=100，则18,19,20,21,22为其中一个序列） public ArrayList<ArrayList<Integer> > FindContinuousSequence(int sum) { ArrayList<ArrayList&lt...
常见的限流算法，以及实现思路（着重讲解滑动窗口限流）
a2120454642的博客
02-18 1146
那么，我们就可以把login接口这个需要做限流的资源名作为key在redis中进行存储，然后value我们现在ZSET这种数据结构，把他的score设置为当前请求的时间戳，member的话建议用请求的详情的hash进行存储(或者UUID、MD5什么的)，避免在并发时，时间戳一致出现scode和memberv一样导致被zadd幂等的问题。7、滑动窗口限流：基于一个和固定大小的时间窗口，允许在该时间窗口内的请求数不超过设定的阈值，这个时间窗口随着时间的推移不断滑动，以适应不同时间段内的请求流量。
Redis之zset实现滑动窗口限流
m0_67614284的博客
05-04 2925
3.3 lua代码实现 1、需求 限定用户的某个行为在指定时间T内，只允许发生N次。假设T为1秒钟，N为1000次。 2、常见的错误设计 程序员设计了一个在每分钟内只允许访问1000次的限流方案，如下图01:00s-02:00s之间只允许访问1000次，这种设计最大的问题在于，请求可能在01:59s-02:00s之间被请求1000次，02:00s-02:01s之间被请求了1000次，这种情况下01:59s-02:01s间隔0.02s之间被请求2000次，很显然这种设计是错误的。 3、滑动窗口算法
RateLimit-使用guava来做接口限流代码示例
08-28
RateLimit-使用guava来做接口限流代码示例 RateLimit 是一种用于限制应用程序中某些资源的使用频率的机制，它可以防止恶意攻击、避免系统过载、保护系统的稳定性。在本文中，我们将使用 Guava 库来实现 RateLimit...
redis限流器, redis滑动窗口限流器
MrzhangSrk的博客
01-19 1196
限流器,就是限制用户访问或请求的一种方式,在开发过程中,有些时候不得不去限制用户一直请求,来减少服务器的压力。 那么就来用代码实现一下限流器 这是一个限制访问请求的接口,一个用户30s内只能访问5次,用redis实现 参数:需要一个唯一能识别用户的参数,时间,次数 普通限流器 r = redis.Redis(decode_responses=True) def pass_window(username,time_zone=30,times=5): # 获取计数器 count =
Java企业面试题3
最新发布
m0_74972727的博客
09-15 361
1. break和continue的作用(智*图) break：用于完全退出一个循环（如 for, while）或一个 switch 语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。 continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在 for 循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。 2. if分支语句和switch分支语句的异同之处(智*图) 相同点：都是用来根据不同的条件执行不同的代码块。
上传文件到钉盘流程详解
jspyth的博客
09-14 572
本文详解如何通过钉钉的API实现上传文件到钉盘目录，代码通过JAVA实现。
【学习笔记】手写 Tomcat 三
LearnTech_123的博客
09-12 1092
响应动态资源不需要写文件名了，只需要写功能的名称即可。比如登录功能，可以定义名称为 doLogin
Gradle
xiaocaij_icai的博客
09-15 132
");
笔记：Centos Jdk Nginx 安装包安装命令
贰十六的博客
09-12 601
进入到usr中的src，把刚才下载的安装包拉进去。# ./configure 报错。# 将下面填写到配置最下方。# JDK 解压版 配置。# 进入环境变量配置。
C#基础（11）函数重载
a6s686的博客
09-12 868
我们通过这些例子的学习，想毕你一定已经掌握了函数重载的相关内容，我相信你只要稍加练习，便能达到很熟练的程度。不过不管知识点难或者简单，还是那句话，学习路上，戒骄戒躁，脚踏实地。请期待我的下一篇博客！
Python+Redis实现接口限流：固定窗口与滑动窗口法
通过Python结合Redis实现限流，可以采用固定窗口法和滑动窗口法两种常见策略。 固定窗口法是一种基础限流方法，它将时间划分为固定长度的区间（如1分钟），每个区间内允许的请求数量是固定的。使用Python实现时，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值