springcloud(7) - 服务限流

一、限流概念

高并发系统中有三把利器用来保护系统：缓存、降级和限流
限流的目的是为了保护系统不被大量的请求冲垮，通过限制请求的速度和次数来保护系统
在电商的描述活动中(例如：双11)，限流是必不可少的一个环节

二、实现方式

限流的方式也有很多种，可以在 Nginx 层面限流，也可以在应用当中限流，比如在API网关中

三、限流算法

令牌桶

令牌桶算法是 一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌。可以控制流量也可以控制并发量，
假如我们想要控制 API 网关的并发量最高为1000，可以创建一个令牌桶，以固定的速度往桶里添加令牌，超出了1000则不添加。

当一个请求到达之后就从桶中获取一个令牌，如果能获取到令牌就可以继续往下请求，
获取不到就说明令牌不够，并发量达到了最高，请求就被拦截

漏桶

漏桶是一个固定容量的桶，按照固定的速率流出，可以以任意的速率流入到漏桶中，超出了漏桶的容量就被丢弃，
总容量是不变的。但是输出的速率是固定的，无论你上面的水流入的多快，下面的出口中有这么大，就像水坝开闸放水一样

四、令牌桶算法

package com.jwxt.filter;

import com.alibaba.fastjson.JSON;
import com.google.common.util.concurrent.RateLimiter;
import com.jwxt.response.Result;
import com.jwxt.response.ResultCode;
import com.netflix.zuul.ZuulFilter;
import com.netflix.zuul.context.RequestContext;
import com.netflix.zuul.exception.ZuulException;
import org.springframework.stereotype.Component;

/**网关限流过滤器，通过令牌桶算法实现  最先执行*/
@Component
public class LimiterFilter extends ZuulFilter {


    //volatile: 保持内存可见性   作用: 防止指令重排
    //内存可见性:指当某个线程正在使用对象状态而另一个线程在同时修改该状态，
    //需要确保当一个线程修改了对象状态后，其他线程能够立即看到发生的状态变化。

    //指令重排序是JVM为了优化指令，提高程序运行效率，在不影响单线程程序执行结果的前提下，
    //尽可能地提高并行度。编译器、处理器也遵循这样一个目标。注意是单线程
    private static volatile RateLimiter rateLimiter = RateLimiter.create(1);//当我们有一系列的任务需要执行，并且我们期望是每秒执行100个任务,速率是100个令牌/秒

    public LimiterFilter(){
        super();
    }


    @Override
    public String filterType() {
        return "pre";
    }

    @Override
    public int filterOrder() {
        return 0;
    }

    @Override
    public boolean shouldFilter() {
        return true;
    }

    @Override
    public Object run() throws ZuulException {

        if(!rateLimiter.tryAcquire()){
            RequestContext context = RequestContext.getCurrentContext();
            context.setSendZuulResponse(false);
            Result result = new Result(ResultCode.SERVICE_IS_RATE_LIMIT);
            context.setResponseBody(JSON.toJSONString(result));
            context.getResponse().setContentType("application/json;charset=utf-8");
            context.setResponseStatusCode(429); //429这个状态码在http协议中是指请求超过速率限制。
        }
        return null;
    }
}

五、计数器

<jwxt-wuul>

pom.xml

<dependency>
    <groupId>com.marcosbarbero.cloud</groupId>
    <artifactId>spring-cloud-zuul-ratelimit</artifactId>
    <version>2.0.6.RELEASE</version>
</dependency>

全局限流配置

application.yml

zuul:
  routes:
    jwxt-teacher:
      path: /teacher/**
      service-id: jwxt-teacher
    jwxt-learner:
      path: /student/**
      service-id: jwxt-learner
    ignored-services: '*'
  ratelimit: #3秒内访问不允许超过 2 次，并且这 2 次请求要小于 5 秒
    enabled: true  # 开启限流开关
    behind-proxy: true # 开启限流代理
    default-policy: #
      limit: 2 #单元时间内置允许访问2次
      quota: 5 #单元时间内每个请求不得超过5秒
      refresh-interval: 3 #单元时间 3秒

服务限流配置

zuul:
  routes:
    jwxt-teacher:
      path: /teacher/**
      service-id: jwxt-teacher
    jwxt-learner:
      path: /student/**
      service-id: jwxt-learner
    ignored-services: '*'
  ratelimit: #3秒内访问不允许超过 2 次，并且这 2 次请求要小于 5 秒
    enabled: true  # 开启限流开关
    behind-proxy: true # 开启限流代理
    default-policy: #
      limit: 2 #单元时间内置允许访问2次
      quota: 5 #单元时间内每个请求不得超过5秒
      refresh-interval: 3 #单元时间 3秒
      type:
        - user
        - origin
        - url
    policies:
      jwxt-learner: #特定服务
        limit: 4 #单元时间内置允许访问4次
        quota: 5 #单元时间内每个请求不得超过5秒
        refresh-interval: 3 #单元时间 3秒