springcloud - 服务限流

一 限流概念

高并发系统中有三把利器用来保护系统：缓存，降级和限流。
限流的目的是为了保护系统不被大量请求冲垮，通过限制请求的速度和次数保护系统。
在电商的秒杀活动中，限流是必不可少的一个环节。

二 实现方法

限流的方式也有很多种，可以在Nginx层面限流，也可以在应用当中限流，比如在API网关中。

三限流算法

计数器：
  计算单元时间内访问接口的次数，如果达到次数，则限制访问
令牌桶；
    令牌桶算法是一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌，可以控制流量也可以控制并发量
    假如我们想要控制API网关的并发量最高为1000，可以创建一个令牌桶，以固定的速度往桶里添加令牌，超出了1000则不添加。
漏桶:
    漏桶是一个固定容量的桶，按照固定的速率流出，可以以任意的速率流入到桶中，超出漏桶的容量就被丢弃。
    总容量是不变的。但是输出的速率是固定的，无论你上面的水流入的多快，下面的出口只有这么大，就像水坝开闸    放水一样

四. 令牌桶算法

  package com.jwxt.filter;

import com.alibaba.fastjson.JSON;
import com.google.common.util.concurrent.RateLimiter;
import com.jwxt.response.Result;
import com.jwxt.response.ResultCode;
import com.netflix.zuul.ZuulFilter;
import com.netflix.zuul.context.RequestContext;
import com.netflix.zuul.exception.ZuulException;
import org.springframework.stereotype.Component;

/*网关限流过滤器，通过令牌桶算法实现 最先执行/
@Component
public class LimiterFilter extends ZuulFilter {

//volatile: 保持内存可见性   作用: 防止指令重排
//内存可见性:指当某个线程正在使用对象状态而另一个线程在同时修改该状态，
//需要确保当一个线程修改了对象状态后，其他线程能够立即看到发生的状态变化。

//指令重排序是JVM为了优化指令，提高程序运行效率，在不影响单线程程序执行结果的前提下，
//尽可能地提高并行度。编译器、处理器也遵循这样一个目标。注意是单线程
private static volatile RateLimiter rateLimiter = RateLimiter.create(1);//当我们有一系列的任务需要执行，并且我们期望是每秒执行100个任务,速率是100个令牌/秒

public LimiterFilter(){
    super();
}


@Override
public String filterType() {
    return "pre";
}

@Override
public int filterOrder() {
    return 0;
}

@Override
public boolean shouldFilter() {
    return true;
}

@Override
public Object run() throws ZuulException {

    if(!rateLimiter.tryAcquire()){
        RequestContext context = RequestContext.getCurrentContext();
        context.setSendZuulResponse(false);
        Result result = new Result(ResultCode.SERVICE_IS_RATE_LIMIT);
        context.setResponseBody(JSON.toJSONString(result));
        context.getResponse().setContentType("application/json;charset=utf-8");
        context.setResponseStatusCode(429); //429这个状态码在http协议中是指请求超过速率限制。
    }
    return null;
}

}

五.计数器: Spring Cloud Zuul通过zuul-ratelimit实现限流(重点)

	<jwxt-zuul>
	
	pom.xml
	<dependency>
	    <groupId>com.marcosbarbero.cloud</groupId>
	    <artifactId>spring-cloud-zuul-ratelimit</artifactId>
	    <version>2.0.6.RELEASE</version>
	</dependency>

全局限流配置

application.yml
zuul:
routes:
jwxt-teacher:
path: /teacher/**
service-id: jwxt-teacher
jwxt-learner:
path: /student/**
service-id: jwxt-learner
ignored-services: ‘*’
ratelimit: #3秒内访问不允许超过 2 次，并且这 2 次请求要小于 5 秒
enabled: true # 开启限流开关
behind-proxy: true # 开启限流代理
default-policy: #
limit: 2 #单元时间内置允许访问2次
quota: 5 #单元时间内每个请求不得超过5秒
refresh-interval: 3 #单元时间 3秒

服务限流配置
限流粒度

zuul:
routes:
jwxt-teacher:
path: /teacher/**
service-id: jwxt-teacher
jwxt-learner:
path: /student/**
service-id: jwxt-learner
ignored-services: ‘*’
ratelimit: #3秒内访问不允许超过 2 次，并且这 2 次请求要小于 5 秒
enabled: true # 开启限流开关
behind-proxy: true # 开启限流代理
default-policy: #
limit: 2 #单元时间内置允许访问2次
quota: 5 #单元时间内每个请求不得超过5秒
refresh-interval: 3 #单元时间 3秒
type:
- user
- origin
- url
policies:
jwxt-learner: #特定服务
limit: 4 #单元时间内置允许访问4次
quota: 5 #单元时间内每个请求不得超过5秒
refresh-interval: 3 #单元时间 3秒