服务限流

一.限流概念

高并发系统中有三把利器用来保护系统：缓存、降级和限流。
限流的目的是为了保护系统不被大量请求冲垮，通过限制请求的速度和次数来保护系统。
在电商的秒杀活动中，限流是必须不可少的一个环节

二.实现方式

限流的方式也有很多种，可以在Nginx层面限流，也可以在应用当中限流，比如在API网关中

三.限流算法

计算器：
计算单元时间内访问接口的次数，如果达到次数，则限制访问

令牌桶：
令牌桶算法是一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌。可以控制流量也可以控制并发量。
假如我们想要控制API网关的并发量最高为 1000，可以创建一个令牌桶，以固定的速度往桶里添加令牌，超出1000 则不添加。

	当一个请求到达之后就从桶中获取一个令牌，如果能获取到令牌可以继续往下请求，
	获取不到就说明令牌不够，并发量达到了最高，请求就被拦截

漏桶：
漏桶是个固定容量的桶，按照固定的速率流出，可以任意的速率流入到漏桶中，超出了漏桶的容量就被丢弃。
总容量是不变得。但是输出的速率是固定的，无论你上面的水流入的多块，下面的出口只有这么大，就像水坝开闸放水一样

四. 令牌桶算法

package com.jwxt.filter;

import com.alibaba.fastjson.JSON;
import com.google.common.util.concurrent.RateLimiter;
import com.jwxt.response.Result;
import com.jwxt.response.ResultCode;
import com.netflix.zuul.ZuulFilter;
import com.netflix.zuul.context.RequestContext;
import com.netflix.zuul.exception.ZuulException;
import org.springframework.stereotype.Component;

/*网关限流过滤器，通过令牌桶算法实现 最先执行/
@Component
public class LimiterFilter extends ZuulFilter {

//volatile: 保持内存可见性   作用: 防止指令重排
//内存可见性:指当某个线程正在使用对象状态而另一个线程在同时修改该状态，
//需要确保当一个线程修改了对象状态后，其他线程能够立即看到发生的状态变化。

//指令重排序是JVM为了优化指令，提高程序运行效率，在不影响单线程程序执行结果的前提下，
//尽可能地提高并行度。编译器、处理器也遵循这样一个目标。注意是单线程
private static volatile RateLimiter rateLimiter = RateLimiter.create(1);//当我们有一系列的任务需要执行，并且我们期望是每秒执行100个任务,速率是100个令牌/秒

public LimiterFilter(){
    super();
}


@Override
public String filterType() {
    return "pre";
}

@Override
public int filterOrder() {
    return 0;
}

@Override
public boolean shouldFilter() {
    return true;
}

@Override
public Object run() throws ZuulException {
    if(!rateLimiter.tryAcquire()){
        RequestContext context = RequestContext.getCurrentContext();
        context.setSendZuulResponse(false);
        Result result = new Result(ResultCode.SERVICE_IS_RATE_LIMIT);
        context.setResponseBody(JSON.toJSONString(result));
        context.getResponse().setContentType("application/json;charset=utf-8");
        context.setResponseStatusCode(429); //429这个状态码在http协议中是指请求超过速率限制。
    }
    return null;
}

}

五.计数器: Spring Cloud Zuul通过zuul-ratelimit实现限流(重点)

pom.xml

com.marcosbarbero.cloud
spring-cloud-zuul-ratelimit
2.0.6.RELEASE

全局限流配置

	application.yml
	zuul:
	  routes:
	    jwxt-teacher:
	      path: /teacher/**
	      service-id: jwxt-teacher
	    jwxt-learner:
	      path: /student/**
	      service-id: jwxt-learner
	    ignored-services: '*'
	  ratelimit: #3秒内访问不允许超过 2 次，并且这 2 次请求要小于 5 秒
	    enabled: true  # 开启限流开关
	    behind-proxy: true # 开启限流代理
	    default-policy: #
	      limit: 2 #单元时间内置允许访问2次
	      quota: 5 #单元时间内每个请求不得超过5秒
	      refresh-interval: 3 #单元时间 3秒

服务限流配置

	zuul:
	  routes:
	    jwxt-teacher:
	      path: /teacher/**
	      service-id: jwxt-teacher
	    jwxt-learner:
	      path: /student/**
	      service-id: jwxt-learner
	    ignored-services: '*'
	  ratelimit: #3秒内访问不允许超过 2 次，并且这 2 次请求要小于 5 秒
	    enabled: true  # 开启限流开关
	    behind-proxy: true # 开启限流代理
	    default-policy: #
	      limit: 2 #单元时间内置允许访问2次
	      quota: 5 #单元时间内每个请求不得超过5秒
	      refresh-interval: 3 #单元时间 3秒
	      type:
	        - user
	        - origin
	        - url
	    policies:
	      jwxt-learner: #特定服务
	        limit: 4 #单元时间内置允许访问4次
	        quota: 5 #单元时间内每个请求不得超过5秒
	        refresh-interval: 3 #单元时间 3秒