微服务整合Sentinel、限流、流控、隔离降级、自定义异常、规则持久化、源码修改
微服务整合Sentinel:
-
导入依赖
<!-- 引入sentinel依赖--> <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId> </dependency>
-
在application.yml中添加配置文件
spring: application: name: 服务名称 cloud: nacos: server-addr: localhost:8848 # nacos服务地址 sentinel: transport: dashboard: localhost:8080 # sentinel服务地址
-
访问微服务的任意端点,触发sentinel的监控
限流规则
簇点链路
簇点链路:就是项目内的调用链路,链路中被监控的每个接口就是一个资源。默认情况下sentinel:会监控SpringMVC的每一个端点(接口)(Endpoint),因此SpringMVC的每一个端点(Endpoint)就是调用链路中的一个资源。
流控、熔断等都是针对簇点链路中的资源来设置的,因此我们可以点击对应资源后面的按钮来设置规则:
- 实例(流控规则)
- jmeter测试
- 流控的高级配置
-
在添加限流规则时,点击高级选项,可以选择三种流控模式:
-
直接:统计当前资源的请求,触发阈值时对当前资源直接限流,也是默认的模式
-
关联:统计与当前资源相关的另一个资源,触发阈值时,对当前资源限流
- 使用场景:比如用户支付时需要修改订单状态,同时用户要查询订单。查询和修改操作会争抢数据库锁,产生竞争业务需求是有限支付和更新订单的业务,因此当修改订单业务触发阈值时,需要对查询订单业务限流。
- 两个资源当一个的QPS超过阈值时对另一个资源做限流
-
链路:统计从指定链路访问到本资源的请求,触发阈值时,对指定链路限流
-
只针对从指定链路访问到本资源的请求做统计,判断是否超过阈值。
-
Sentinel默认只标记Controller中的方法为资源,如果要标记其它方法,需要利用@SentinelResource注解,示例:
@SentinelResource("shapping") public void showshapping(){ System.out.println("请求被调用"); }
-
同时Sentinel默认会将Controller方法做context整合,导致链路模式的流控失效,需要修改application.yml,添加配置:
spring: cloud: nacos: server-addr: localhost:8848 # nacos服务地址 sentinel: transport: dashboard: localhost:8080 # sentinel服务地址 web-context-unify: false # 关闭context整合
- 如果不关闭整合,Sentinel会默认所有的controller都是由同一个根链路发展来的子链路。所以就没办法完成链路控制
-
-
流控效果:
流控效果是指请求达到流控阈值时应该采取的措施,包括三种:
- 快速失败:达到阈值后,新的请求会被立即拒绝并抛出FlowException:异常。是默认的处理方式。
- warm up:预热模式,对超出阈值的请求同样是拒绝并抛出异常。但这种模式阈值会动态变化,从一个较小值逐渐增加到最大阈值。
- warm up也叫预热模式,是应对服务冷启动的一种方案。请求阈值初始值threshold/coldFactor,持续指定时长后,逐渐提高到threshold值。而coldFactor的默认值是3
- 排队等待:让所有的请求按照先后次序排队执行,两个请求的间隔不能小于指定时长
- 当请求超过QPS阈值时,快速失败和warm up会拒绝新的请求并抛出异常。而排队等待则是让所有请求进入一个队列中,然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成,如果请求预期的等待时间超出最大时长,则会被拒绝。
- 针对QPS的突然暴增的情况(流量整形)
热点参数限流:
之前的限流是统计访问某个资源的所有请求,判断是否超过QPS阈值。而热点参数限流是分别统计参数值相同的请求,判断是否超过QPS阈值。(参数值相同的请求)
热点参数限流对默认的SpringMVC资源无效(controller){被Sentinel默认监控的资源}
- 参数类型:必须是java基本类型以及String
- 更细力度的限流
隔离和降级
虽然限流可以尽量避免因高并发而引起的服务故障,但服务还会因为其它原因而故障。而要将这些故障控制在一定范围,避免雪崩,就要靠线程隔离(舱壁模式)和熔断降级手段了。
不管是线程隔离还是熔断降级,都是对客户端(调用方)的保护。
feign整合Sentinel:
-
修改application.yml文件,开启feign的Sentinel功能
feign: httpclient: enabled: true # 支持HttpClient的开关 max-connections: 200 # 最大连接数 max-connections-per-route: 50 # 单个路径的最大连接数 sentinel: enabled: true #开启feign对sentinel的支持
-
给feign编写失败后的降级逻辑(最好想办法给出一个备用方案)
-
方式一:FallbackClass,无法对远程调用的异常做处理
-
方式二:FallbackFactory,可以对远程调用的异常做处理,我们选择这种
-
在client包内创建UserClientFallbackFactory类
@Slf4j public class UserClientFallbackFactory implements FallbackFactory<UserClient> { @Override public UserClient create(Throwable throwable) { return new UserClient() { @Override public User findById(Long id) { //编写降级的业务逻辑 log.error("查询用户异常",throwable); return new User(); } }; } }
-
将UserClientFallbackFactory类注入到Bean中
@Bean public UserClientFallbackFactory userClientFallbackFactory(){ return new UserClientFallbackFactory(); }
-
在对应的FeignClient注解中添加参描述
@FeignClient(value = "userservice",fallbackFactory = UserClientFallbackFactory.class)
-
线程隔离:
信号量隔离 | 线程池隔离 | |
---|---|---|
优点 | 轻量级、无额外开销 | 支持主动超时,支持异步调用 |
缺点 | 不支持主动超时,不支持异步调用 | 线程的额外开销较大 |
场景 | 高频调用,高扇出 | 低扇出 |
授权规则
授权规则可以对调用方的来源做控制,有白名单和黑名单两种方式。
- 白名单:来源(origin)在白名单内的调用者允许访问
- 黑名单:来源(origin)在黑名单内的调用者不允许访问
Sentinel是通过RequestOriginParseri这个接口的parseOrigin.来获取请求的来源的。
-
在需要授权的服务中新建一个sentinel.HaderOriginParser的类
@Component public class HaderOriginParser implements RequestOriginParser{ @Override public String parseOrigin(HttpServletRequest request) { //1.获取请求头 String origin = request.getHeader("origin"); //非空判断 System.out.println(StringUtils.isEmpty(origin)); if(StringUtils.isEmpty(origin)){ return "black"; } return origin; } }
-
在网关的配置中添加
- AddRequestHeader=origin,getway
gateway: routes: - id: user-service # 路由标示,必须唯一 uri: lb://userservice # 路由的目标地址 predicates: # 路由断言,判断请求是否符合规则 - Path=/user/** # 路径断言,判断路径是否是以/user开头,如果是则符合 - id: order-service uri: lb://orderservice predicates: - Path=/order/** default-filters: - AddRequestHeader=Truth,Itcast is freaking awesome! - AddRequestHeader=origin,getway
-
重启服务,并且在sentinel控制台中添加授权规则
-
此时只有来自网关的请求可以成功,别的都会被拒绝。
自定义异常:
默认情况下,发生限流、降级、授权拦截时,都会抛出异常到调用方。如果要自定义异常时的返回结果,需要实现BlockExceptionHandler接口:
BlockException包含很多子类,分别对应不同的场景。
异常 | 说明 |
---|---|
FlowException | 限流异常 |
ParamFlowException | 热点参数限流的异常 |
DegradeException | 降级异常 |
AuthorityException | 授权规则异常 |
SystemBlockException | 系统规则异常 |
-
代码实现自定义异常类(在需要做限流的类中添加该类)
@Component public class SentinelExceptionHandel implements BlockExceptionHandler { @Override public void handle(HttpServletRequest httpServletRequest, HttpServletResponse httpServletResponse, BlockException e) throws Exception { String msg="未知异常"; Integer status=429; if (e instanceof FlowException){ msg="请求被限流了"; } else if (e instanceof ParamFlowException) { msg="请求被热点参数限流"; } else if (e instanceof DegradeException) { msg="请求被降级了"; } else if (e instanceof AuthorityException) { msg="没有权限访问"; status=401; } httpServletResponse.setContentType("application/json;charset=utf-8"); httpServletResponse.setStatus(status); httpServletResponse.getWriter().println("{\n" + " \"msg\":\""+msg+"\",\n" + " \"status\":"+status+"\n" + "}"); } }
规则持久化:
Sentinel默认将定义的规则保存在内存中,重启就会丢失
sentinel的控制台规则管理有三种模式:
-
原始模式:
- Sentinel的默认模式,将规则保存在内存中,重启服务就会丢失。
-
pull模式:
- pul模式:控制台将配置的规则推送到Sentinel客户端,而客户端会将配置规则保存在本地文件或数据库中。以后会定时去本地文件或数据库中查询,更新本地规则。
- 时效性较差
-
push模式:
-
push模式:控制台将配置规则推送到远程配置中心,例如Nacos。Sentinel客户端监听Nacos,获取配置变更的推送消息,完成本地配置更新。
-
push模式实现最为复杂,依赖于nacos,并且需要修改Sentinel控制台源码。
-
在pom文件中引入sentinel整合nacos的依赖
<dependency> <groupId>com.alibaba.csp</groupId> <artifactId>sentinel-datasource-nacos</artifactId> </dependency>
-
修改application.yml文件
spring: cloud: sentinel: datasource: flow: nacos: server-addr: localhost:8848 # nacos地址 dataId: orderservice-flow-rules groupId: SENTINEL_GROUP rule-type: flow # 还可以是:degrade、authority、param-flow degrade: nacos: server-addr: localhost:8848 # nacos地址 dataId: orderservice-degrade-rules groupId: SENTINEL_GROUP rule-type: degrade # 还可以是:degrade、authority、param-flow
-
-
二、修改sentinel-dashboard源码
SentinelDashboard默认不支持nacos的持久化,需要修改源码。
1. 解压
解压sentinel源码包:
然后并用IDEA打开这个项目
2. 修改nacos依赖
在sentinel-dashboard源码的pom文件中,nacos的依赖默认的scope是test,只能在测试时使用,这里要去除:
将sentinel-datasource-nacos依赖的scope去掉:
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
3. 添加nacos支持
在sentinel-dashboard的test包下,已经编写了对nacos的支持,我们需要将其拷贝到main下。
4. 修改nacos地址
然后,还需要修改测试代码中的NacosConfig类:
修改其中的nacos地址,让其读取application.properties中的配置:
在sentinel-dashboard的application.properties中添加nacos地址配置:
nacos.addr=localhost:8848
5. 配置nacos数据源
另外,还需要修改com.alibaba.csp.sentinel.dashboard.controller.v2包下的FlowControllerV2类:
让我们添加的Nacos数据源生效:
6. 修改前端页面
接下来,还要修改前端页面,添加一个支持nacos的菜单。
修改src/main/webapp/resources/app/scripts/directives/sidebar/目录下的sidebar.html文件:
将其中的这部分注释打开:
修改其中的文本:
7. 重新编译、打包项目
运行IDEA中的maven插件,编译和打包修改好的Sentinel-Dashboard:
8.启动
启动方式跟官方一样:
java -jar sentinel-dashboard.jar
如果要修改nacos地址,需要添加参数:
java -jar -Dnacos.addr=localhost:8848 sentinel-dashboard.jar