应用级限流 — Guava的RateLimiter

目录

一、Guava

二、RateLimiter

1. 测试SmoothBursty

2. 测试SmoothWarmingUp

三、应用级限流实例

1. 导入jar包

2. 创建RateLimiter

3. Apollo配置限流数

4. 限流拦截器

5. Web请求配置

6. 压测验证

---

一、Guava

        Guava被Google的Java项目广泛依赖的核心库，是个工具包，集成集合、缓存、并发等相关工具。作为缓存，是全内存本地缓存且线程安全；作为并发，提供的RateLimiter限流是通过令牌桶算法实现限流。

        本章使用限流工具类RateLimiter提供应用级限流或平滑某接口的请求数。

二、RateLimiter

1. 测试SmoothBursty

package com.common.instance.test.ratelimiter;

import com.google.common.util.concurrent.RateLimiter;
import org.junit.jupiter.api.Test;

/**
 * @description 测试Guava的RateLimiter
 * @author tcm
 * @version 1.0.0
 * @date 2021/10/15 10:50
 **/
public class TestRateLimiter {

    @Test
    public void testRateLimiter() {
        // 创建容量为5的限流（200ms添加一个令牌）
        RateLimiter limiter = RateLimiter.create(5);

        System.out.println(limiter.acquire(10));
        System.out.println(limiter.acquire(1));
        System.out.println(limiter.acquire(1));
        System.out.println(limiter.acquire(1));
    }

}

0.0
1.932383
0.172446
0.200498

        acquire()，返回的延迟秒数。0.0表示：不用延迟，直接拿取令牌（说明桶中有令牌），非0.0表示：延迟秒数，即：等待桶中有令牌的秒数。如上测试，桶容量为5，第一次成功消费10个，第二次要延迟10/5=2s。允许将一段时间内没有消费的令牌暂存到令牌桶中，保留待未来使用，并允许未来请求突发。第3、4个消费在恢复固定速率。

       SmoothBursty中有个参数：最大突发秒数maxBurstSeconds，默认为1s。允许将一段时间内没有消费的令牌暂存到令牌桶中，保留待未来使用，并允许未来请求突发。

2. 测试SmoothWarmingUp

package com.common.instance.test.ratelimiter;

import com.google.common.util.concurrent.RateLimiter;
import org.junit.jupiter.api.Test;

import java.util.concurrent.TimeUnit;

/**
 * @description 测试Guava的RateLimiter
 * @author tcm
 * @version 1.0.0
 * @date 2021/10/15 10:50
 **/
public class TestRateLimiter {


    @Test
    public void testSmoothWarmingUp(){
        // 创建桶容量为5， 预热时间为1s
        RateLimiter limiter = RateLimiter.create(5, 1000, TimeUnit.MILLISECONDS);
        for (int i = 0; i < 5; i++) {
            System.out.println(limiter.acquire(1));
        }
    }

}

0.0
0.519131
0.3593
0.220322
0.187465

        SmoothBursty允许突发，担心这种突发引起服务发生崩溃，则就需要SmoothWarmingUp。如上代码测试，处理请求的速率刚开始很慢（开始500ms），大约1s后，速率达到平滑固定速率（200ms）。

三、应用级限流实例

1. 导入jar包

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>30.1-jre</version>
</dependency>

2. 创建RateLimiter

package com.common.instance.demo.config.ratelimiter;

import com.google.common.util.concurrent.RateLimiter;

/**
 * @description 创建RateLimiter
 * @author tcm
 * @version 1.0.0
 * @date 2021/10/12 17:55
 **/
public class RateLimiterHelper {

    // 服务内限流对象
    private static RateLimiter rateLimiter;

    static {
        initRateLimiter(4000);
    }

    public static void initRateLimiter(int thread) {
        rateLimiter = RateLimiter.create((double)thread * 0.8D);
    }

    // 获取令牌
    public static boolean tryAcquire() {
        boolean flag = false;
        if (rateLimiter.tryAcquire()) {
            flag = true;
        }
        return flag;
    }

    public static double getRate() {
        return rateLimiter.getRate();
    }

}

3. Apollo配置限流数

package com.common.instance.demo.config.ratelimiter;

import com.ctrip.framework.apollo.model.ConfigChange;
import com.ctrip.framework.apollo.model.ConfigChangeEvent;
import com.ctrip.framework.apollo.spring.annotation.ApolloConfigChangeListener;
import com.log.util.LogUtil;
import org.apache.commons.lang.math.NumberUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;

/**
 * @description apollo配置限流数
 * @author tcm
 * @version 1.0.0
 * @date 2021/10/12 18:01
 **/
@Component
public class RateLimiterConfig {

    @Value("${qps.rateLimit}")
    private Integer rateLimit = 1600;

    @PostConstruct
    public void initRateLimiter() {
        RateLimiterHelper.initRateLimiter(rateLimit);
        LogUtil.info(String.format("完成服务内限流初始化，rateLimit: %s", rateLimit));
    }

    // 监听Apollo改变
    @ApolloConfigChangeListener(value = {"application.yml", "application-dev.yml", "application-local.yml"})
    public void changeServerConfiguration(ConfigChangeEvent changeEvent) {
        try {
            LogUtil.info("defaultConfiguration before refresh {" + changeEvent.getNamespace() + "===" + changeEvent.changedKeys() + "} ");

            // qps.rateLimit配置是否改变
            if (changeEvent.changedKeys().contains("qps.rateLimit")) {
                ConfigChange configChange = changeEvent.getChange("qps.rateLimit");
                // 获取改变后的值
                int rateLimit = NumberUtils.toInt(configChange.getNewValue(), 0);

                if (rateLimit > 0) {
                    RateLimiterHelper.initRateLimiter(rateLimit);
                    LogUtil.info("更改[initRateLimiter] rateLimit:" + rateLimit);
                }
            }
        } catch (Exception e) {
            LogUtil.error("RateLimiterConfig.changeServerConfiguration() error", e);
        }
    }

}

4. 限流拦截器

package com.common.instance.demo.config.ratelimiter;

import com.alibaba.fastjson.JSON;
import com.common.instance.demo.core.Response;
import org.springframework.http.MediaType;
import org.springframework.web.servlet.handler.HandlerInterceptorAdapter;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.nio.charset.StandardCharsets;

/**
 * @description 限流拦截器
 * @author tcm
 * @version 1.0.0
 * @date 2021/10/13 9:55
 **/
public class RateLimiterInterceptor extends HandlerInterceptorAdapter {

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        // 请求取到令牌
        if (RateLimiterHelper.tryAcquire()){
            return true;
        }

        // 没有令牌，响应结果
        response.setCharacterEncoding(StandardCharsets.UTF_8.name());
        response.setContentType(MediaType.APPLICATION_JSON_VALUE);
        response.getWriter().write(JSON.toJSONString(Response.error("服务器繁忙,请稍后重试!")));
        return false;
    }

}

5. Web请求配置

注意：可以配置对哪些路径拦截，此处是所有接口都拦截。

package com.common.instance.demo.core;

import com.common.instance.demo.config.ratelimiter.RateLimiterInterceptor;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.servlet.config.annotation.InterceptorRegistry;
import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;

/**
 * @description Web请求配置
 * @author tcm
 * @version 1.0.0
 * @date 2021/10/13 10:04
 **/
@Configuration
public class WebMvcConfiguration implements WebMvcConfigurer {

    // 注册自定义拦截器
    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        // 添加限流拦截器
        registry.addInterceptor(new RateLimiterInterceptor()).addPathPatterns("/**");
    }

}

6. 压测验证