一、前言
1、什么是RateLimiter、Spring Cloud Zuul RateLimiter?
RateLimiter是Google开源的实现了令牌桶算法的限流工具(速率限制器)。http://ifeve.com/guava-ratelimiter/
Spring Cloud Zuul RateLimiter结合Zuul对RateLimiter进行了封装,通过实现ZuulFilter提供了服务限流功能
限流粒度/类型 | 说明 |
---|---|
Authenticated User | 针对请求的用户进行限流 |
Request Origin | 针对请求的Origin进行限流 |
URL | 针对URL/接口进行限流 |
Service | 针对服务进行限流,如果没有配置限流类型,则此类型生效 |
https://github.com/marcosbarbero/spring-cloud-zuul-ratelimit
2、本篇主要内容
- 服务限流配置示例与说明
- URL限流配置示例与说明
- Zull集群服务限流说明(+Redis)
- Spring Cloud Zuul RateLimiter参数介绍
3、本篇环境信息
框架 | 版本 |
---|---|
Spring Boot | 2.0.0.RELEASE |
Spring Cloud | Finchley.RELEASE |
Zuul | 1.3.1 |
JDK | 1.8.x |
4、准备工作
参考上一篇:https://ken.io/note/spring-cloud-zuul-quickstart
基于源码:https://github.com/ken-io/springcloud-course/tree/master/chapter-08
- 准备Eureka Server、服务提供者
启动Eureka Server: http://localhost:8800
启动Test Service:http://localhost:8602
二、服务限流(Zuul+RateLimiter)
基于上一篇中zuul项目的源码进行修改即可:https://github.com/ken-io/springcloud-course/tree/master/chapter-08/zuul
- 引入spring-cloud-zuul-ratelimit
<dependency>
<groupId>com.marcosbarbero.cloud</groupId>
<artifactId>spring-cloud-zuul-ratelimit</artifactId>
<version>2.0.4.RELEASE</version>
</dependency>
1、默认服务限流策略
- 修改 application.yml 配置限流策略
zuul:
ratelimit:
enabled: true
default-policy:
limit: 1
quota: 2
refresh-interval: 3
以上配置表示启用限流策略,并且所有服务在3秒内只能有1次请求且所有请求时间总和不得超过2秒
- 限流测试
启动zuul项目,然后访问 http://localhost:8888/testservice?token=ken
3秒内访问两次,就会看到错误页面
错误信息:type=Too Many Requests, status=429
这说明3秒内的>1次的访问已经被限流策略挡掉
2、为指定服务单独配置限流策略
- 修改 application.yml 配置限流策略
zuul:
ratelimit:
enabled: true
default-policy:
limit: 1
quota: 1
refresh-interval: 3
policies:
testservice:
limit: 10
quota: 50
refresh-interval: 60
以上配置单独为testservice配置了限流策略。60秒内访问次数不得查过10次且访问时间这不得超过50秒。
虽然我们也同时配置了默认限流策略,而且默认限流策略比testservice的限流策略还要更严格,但是这个限流并不会冲突。因为一旦我们为某个服务单独配置了限流策略,那么只有这个单独配置的限流策略会对该服务生效。
3、基于URL的限流策略
- 修改 application.yml 配置限流策略
zuul:
ratelimit:
enabled: true
default-policy:
limit: 1
quota: 1
refresh-interval: 3
policies:
testservice:
limit: 10
quota: 50
refresh-interval: 60
type: url
以上配置只是在testservice的策略上增加了type参数的设置。(当然也可以在默认策略加这个参数)。
那么这个策略就变成了:每个Url60秒内访问次数不得超过10次且总计访问时间这不得超过50秒。
- 访问测试
启动zuul项目,然后访问: http://localhost:8888/testservice?token=ken
达到限流阈值后,访问:
http://localhost:8888/testservice/plus?token=ken&numA=1&numB=2
依然可以正常访问。
另外,需要值得注意的是,?
后面的参数是不会作为限流的key的。
http://localhost:8888/testservice?token=ken , http://localhost:8888/testservice?token=ken.io 会被作为同一个url进行限流
如果zuul-ratelimiter的限流粒度/方式不能满足你的需求,你可以选择自定义ZuulFilter集成RateLimiter去做限流。
三、Zuul集群服务限流(Zuul+RateLimiter+Redis)
RateLimiter的限流数据是默认以ConcurrentHashMap方式存储在内存中的,
当我们部署了Zuul集群的时候,就会影响我们的限流策略了。我们可以将限流数据存储在Redis中,这样就可以集中记录各个Zuul节点的限流数据,来保证限流的准确性。
1、部署Reids Server
参考:https://ken.io/note/centos7-redis4-setup
2、引入 Spring Data Redis
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<version>2.0.4.RELEASE</version>
</dependency>
3、配置Redis连接
修改application.yml
spring:
redis:
host: 192.168.88.11
port: 6379
4、配置RateLimiter数据存储方式
zuul:
ratelimit:
enabled: true
repository: redis
default-policy:
limit: 1
quota: 1
refresh-interval: 3
policies:
testservice:
limit: 10
quota: 50
refresh-interval: 60
type: url
四、备注
Zuul-RateLimiter参数说明
- Zuul-RateLimiter基本配置项
配置项 | 可选值 | 说明 |
---|---|---|
enabled | true/false | 是否启用限流 |
behind-proxy | true/false | 翻了源码,没发现有使用。。。作者也没说明。。。 |
key-prefix | String | 限流key前缀 |
repository | CONSUL, REDIS, JPA, BUCKET4J_JCACHE, BUCKET4J_HAZELCAST, BUCKET4J_INFINISPAN, BUCKET4J_IGNITE, IN_MEMORY | 限流数据的存储方式,默认是:IN_MEMORY |
default-policy | — | 默认策略 |
policies | — | 自定义策略 |
postFilterOrder | — | postFilter过滤顺序 |
preFilterOrder | — | preFilter过滤顺序 |
- Policy限流策略配置项说明
项 | 说明 |
---|---|
limit | 单位时间内请求次数限制 |
quota | 单位时间内累计请求时间限制(秒),非必要参数 |
refresh-interval | 单位时间(秒),默认60秒 |
type | 限流方式:ORIGIN, USER, URL |
zuul cookie丢失解决方法:
zuul.sensitiveHeaders= 设置为空或者指定zuul.sensitiveHeaders= Cookie, Set-Cookie, Authorization 具体传递对象
子服务使用redirect进行重定向的时候,会出现浏览器的路径变成子服务的路径,而非路由的路径,从而暴露了子服务路径。对于此问题解决方法是 设置 zuul.add-host-header= true
但是会出现另外一个问题,比如如下子服务(EURKA-CLIENT1):
@Controller
@RequestMapping("/get")
public class userController {
@Value("${server.port}")
String port;
@RequestMapping("/get")
public String get(HttpServletRequest request){
Cookie[]coks= request.getCookies();
System.out.println(coks);
return "redirect:get1";
}
@RequestMapping("/get1")
public @ResponseBody Object get1(HttpServletRequest request){
return port;
}
}
路由配置如下:
zuul:
routes:
api-a:
path: /api-a/**
serviceId: EURKA-CLIENT1
sensitiveHeaders:
api-b:
path: /api-b/**
serviceId: EURKA-CLIENT11
api-c:
path: /api-c/**
url: forward:/se
add-host-header: true
http://localhost:8281/api-a/get/get进行访问时,发现最后出现http://localhost:8281/get/get1导致访问不了。此问题不知道如何解决
使用sercurity进行服务加密,增加spring-boot-starter-security jar之后,springcloud默认开启安全验证,默认的用户名和密码是user ,密码则是服务启动时日志中打印内容。同时也可以手动设置账户和密码
---
spring:
security:
user:
password: by
name: by
可以通过如下代码进行验证关闭(实则所有请求通过)
@Configuration
@EnableWebSecurity
public class conf extends WebSecurityConfigurerAdapter {
@Override
protected void configure(HttpSecurity http) throws Exception {
http.authorizeRequests().anyRequest().permitAll().and().logout().permitAll();
}
}
如果服务中心开启了安全验证,其他服务在进行注册的话,
eureka:
client:
serviceUrl:
defaultZone: http://by:by@localhost:8081/eureka/
进行访问,其中by是用户名,by是密码,如果设置到此,不做其他处理,其他服务在进行注册的时候,Cannot execute request on any known server,此时的原因是springcloud在设置安全验证之后,默认开启了crsf,所以需要在注册中心进行crsf关闭操作
如下:
@EnableWebSecurity
@Configuration
public class WebSecurityConfig extends WebSecurityConfigurerAdapter {
@Override
protected void configure(HttpSecurity http) throws Exception {
http.csrf().disable();//关闭csrf
super.configure(http);
}
}
最后,我还发现一个问题,如果注册中心进行进行安全验证了,及时路由器没有设置安全验证,还是需要进行密码登入,不知道是什么原因
只能在zuul的代码中进行设置
@Configuration
@EnableWebSecurity
public class conf extends WebSecurityConfigurerAdapter {
@Override
protected void configure(HttpSecurity http) throws Exception {
http.csrf().disable();
http.authorizeRequests().anyRequest().permitAll().and().logout().permitAll();
}
}
进行安全验证通过。