四阶段--day04--Sentinel限流熔断应用实践/限流/流控规则/降级/IDEA中启动sentinel的设置/热点/授权/面试题

在我们日常生活中，经常会在淘宝、天猫、京东、拼多多等平台上参与商品的秒杀、抢购以及一些优惠活动，也会在节假日使用12306 手机APP抢火车票、高铁票，甚至有时候还要帮助同事、朋友为他们家小孩拉投票、刷票，这些场景都无一例外的会引起服务器流量的暴涨，导致网页无法显示、APP反应慢、功能无法正常运转，甚至会引起整个网站的崩溃。
我们如何在这些业务流量变化无常的情况下，保证各种业务安全运营，系统在任何情况下都不会崩溃呢？我们可以在系统负载过高时，采用限流、降级和熔断，三种措施来保护系统，由此一些流量控制中间件诞生。例如Sentinel。

2 Sentinel 定义

Sentinel (分布式系统的流量防卫兵) 是阿里开源的一套用于服务容错的综合性解决方案。它以流量为切入点, 从流量控制、熔断降级、系统负载保护等多个维度来保护服务的稳定性。它是一个对象,平台和服务器.
Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景, 例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。
Sentinel核心分为两个部分:

核心库（Java 客户端）：能够运行于所有 Java 运行时环境，同时对Dubbo /Spring Cloud 等框架也有较好的支持。
控制台（Dashboard）：基于 Spring Boot 开发，打包后可以直接运行。

3 安装Sentinel服务

Sentinel 提供一个轻量级的控制台, 它提供机器发现、单机资源实时监控以及规则管理等功能，其控制台安装步骤如下：

1) 打开sentinel下载网址: https://github.com/alibaba/Sentinel/releases

2) 下载Jar包（可以存储到一个sentinel目录）

在这里插入图片描述

3) 在下载sentinel的jar包的目录路径栏，打开命令行(cmd),启动运行sentinel,(sentinel的jar包不用解压)

java -Dserver.port=8180 -Dcsp.sentinel.dashboard.server=localhost:8180 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.0.jar

检测启动过程，如图所示:

4 访问Sentinal服务

4.1 假如Sentinal启动ok，通过浏览器输入url进行访问测试

在这里插入图片描述

4.2 登录sentinel,默认用户和密码都是sentinel

在这里插入图片描述

二 Sentinel限流入门案例

1 概述

我们系统中的数据库连接池，线程池，nginx的瞬时并发，MQ消息等在使用时都会跟定一个限定的值，这本身就是一种限流的设计。限流的目的防止恶意请求流量、恶意攻击，或者防止流量超过系统峰值。

2 Sentinel集成的步骤

2.1 Sentinel 应用于服务消费方(Consumer)，在消费方添加依赖

<!--sentinel服务依赖 -->
<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
<!--springboot 监控依赖 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>

2.2 打开服务消费方配置文件application.yml，添加sentinel配置

server:
  port: 8090
spring:
  application:
    name: sca-consumer #服务名称
  cloud:
    nacos:
      discovery:
        server-addr: localhost:8848  #服务地址
    sentinel: #sentinel服务
      transport:
       # port: 8719 #跟sentinel控制台交流的端口,默认是8719,随意指定一个未使用的端口即可
        dashboard: localhost:8180 # 指定sentinel控制台地址。
#feign方式的服务熔断处理
feign:
  hystrix: #hystrix 含义是熔断(等于服务停止了) 或降级
    enabled: true

2.3 启动服务提供者，服务消费者，然后在浏览器访问消费者url

前提是nacos服务命令启动和sentinel服务的命令都启动,再启动两个服务的启动类

2.4 刷新sentinel 控制台，检测服务列表

Sentinel的控制台其实就是一个SpringBoot编写的程序，我们需要将我们的服务注册到控制台上，即在微服务中指定控制台的地址，并且还要在消费端开启一个与sentinel控制台传递数据端的端口，控制台可以通过此端口调用微服务中的监控程序来获取各种信息。

3 Sentinel实施限流的步骤

设置一下指定接口的流控(流量控制)，QPS（每秒请求次数）单机阈值为1，代表每秒请求不能超出1次，要不然就做限流处理，处理方式直接调用失败。

3.1 选择要限流的链路

3.2 设置限流策略

在这里插入图片描述

3.4 反复快速刷新访问消费端端服务，检测是否有限流信息输出

在这里插入图片描述

3.5 Sentinel请求拦截的分析

当我们在服务中添加了Sentinel依赖以后，Sentinel会为我们的服务提供一个SpringMVC拦截器，这个拦截器会对请求进行拦截，然后基于请求url获取sentinel控制台中设置好的流控规则，然后采用一定的算法对请求url要访问的资源进行流量限制

3.6 拓展:SpringMVC处理请求和响应的的过程:

其中：
第一：客户端向web服务（例如tomcat)发起请求。
第二：tomcat会调用Filter对请求进行预处理（例如请求编码处理，请求认证分析等）。
第三：请求经过滤器Filter处理过后会交给DispatcherServlet对象（负责资源调度，前端控制器），此对象基于url找到对应的请求处理链对象（HandlerExecutionChain）。
第四：DispatcherServlet获取了请求执行链之后，会首先调用请求执行链中拦截器(HandlerInterceptor)对象(这个对象会在@RestController之前执行).
第五：拦截器对象获取请求以后可以对请求先进行分析，例如记录请求次数，请求时间，然后控制对后端Controller的调用。
第六：拦截器允许请求去传递到Controller时，Controller对象会对请求进行处理，然后将处理结果还会交给MVC 拦截器。
第七：拦截器拿到响应结果以后对其进行分析处理（例如记录Controller方法执行结束的时间）
第八：拦截器将响应结果传递到DispatcherServlet对象。
第九：DispatcherServlet拿到响应结果以后，会基于响应数据的类型，调用相关处理器(Processer)进行处理。
第十：响应结果处理器对象对响应数据处理以后，会将其结果交给DispatcherServlet对象。
第十一：DispatcherServlet对象拿到响应数据的处理结果时，会将结果基于ServletResponse对象响应到客户端。

三 Sentinel流控规则分析

1 阈值类型

QPS(Queries Per Second)：当调用这个api的时，QPS达到单机阈值时，就会限流。
线程数：当调用这个api的时，线程数达到单机阈值时，就会限流。使用Jmeter模拟线程性能测试

2 设置限流模式

Sentinel的流控模式代表的流控的方式，默认【直接】，还有关联，链路.

2.1 直接模式: Sentinel默认的流控处理就是【直接->快速失败】

2.2 关联模式:

当关联的资源达到阈值，就限流自己。例如设置了关联资源为/ur2时，假如关联资源/url2的qps阀值超过1时，就限流/url1接口（是不是感觉很霸道，关联资源达到阀值，是本资源接口被限流了）。这种关联模式有什么应用场景呢？我们举个例子，订单服务中会有2个重要的接口，一个是读取订单信息接口，一个是写入订单信息接口。在高并发业务场景中，两个接口都会占用资源，如果读取接口访问过大，就会影响写入接口的性能。业务中如果我们希望写入订单比较重要，要优先考虑写入订单接口。那就可以利用关联模式；在关联资源上面设置写入接口，资源名设置读取接口就行了；这样就起到了优先写入，一旦写入请求多，就限制读的请求。例如：

在这里插入图片描述

多次刷新访问echo2,然后再刷新一次echo1,即可看到下面的关联模式限流效果:

在这里插入图片描述

2.3 链路模式

链路模式只记录指定链路入口的流量。也就是当多个服务对指定资源调用时，假如流量超出了指定阈值，则进行限流。被调用的方法用@SentinelResource进行注解，然后分别用不同业务方法对此业务进行调用，假如A业务设置了链路模式的限流,在B业务中是不受影响的。例如现在设计一个业务对象，代码如下(为了简单,可以直接写在启动类内部)：

//写在ConsumerController外部
@Service
public class ConsumerService{
    @SentinelResource("doGetResource")
    public String doGetResource(){
        return "doGetResource";
    }
}

//写在ConsumerController内部
 @Autowired
        private ConsumerService consumerService;

接下来我们在/consumer/doRestEcho1对应的方法中对ConsumerService中的doGetResource方法进行调用(应用consumerService对象之前,要先在doRestEcho01方法所在的类中进行consumerService值的注入)。例如:

   @GetMapping("/consumer/doRestEcho1")
    public String doRestEcho01() throws InterruptedException {
        consumerService.doGetResource();
        
        String url="http://localhost:8081/provider/echo/"+server;
        //远程过程调用-RPC
        return restTemplate.getForObject(url,String.class);//String.class调用服务响应数据类型
    }

其路由规则配置如下:

在这里插入图片描述

2.4 流控模式为链路模式时，sentinel 1.7.2以后版本需要添加的配置

Sentinel Web过滤器默认收敛所有URL的入口上下文(sentinel_spring_web_context)，因此互连限流不生效，需要在application.yml添加如下语句来关闭URL PATH聚合(了解,可以自己尝试)：

sentinel:
     web-context-unify: false  
#取消链路聚合,否则sentinel1.7.2以后默认将所有链路聚合到一个入口上

修改配置以后，重新服务启动类，并设置链路流控规则，然后再频繁对链路/consumer/doRestEcho1进行访问，检测是否会出现500异常。

快速刷新页面:发生了链路模式的限流

在这里插入图片描述

3 设计流控效果--了解+自学

3.1 快速失败

流量达到指定阀值，直接返回报异常。（类似路前方坍塌，后面设定路标，让后面的车辆返回）

3.2 WarmUp (预热)

WarmUp也叫预热，根据codeFactor（默认3）的值，（阀值/codeFactor）为初始阈值，经过预热时长，才到达设置的QPS的阈值，假如单机阈值为100，系统初始化的阈为 100/3 ，即阈值为33，然后过了10秒，阈值才恢复到100。这个预热的应用场景，如：秒杀系统在开启的瞬间，会有很多流量上来，很有可能把系统打死，预热方式就是把为了保护系统，可慢慢的把流量放进来，慢慢的把阈值增长到设置的阈值。例如：
在这里插入图片描述

3.3 排队等待

从字面上面就能够猜到，匀速排队，让请求以均匀的速度通过，阈值类型必须设成QPS，否则无效。比如有时候系统在某一个时刻会出现大流量，之后流量就恢复稳定，可以采用这种排队模式，大流量来时可以让流量请求先排队，等恢复了在慢慢进行处理，例如：

在这里插入图片描述

4 小节面试分析

Sentinel是什么？(阿里推出一个流量控制平台，防卫兵)
类似Sentinel的产品你知道有什么？(hystrix-一代微服务产品)
你了解哪些限流算法？(计数器、令牌桶、漏斗算法，滑动窗口算法，…)
Sentinel 默认的限流算法是什么？(滑动窗口算法)
你了解sentinel中的阈值应用类型吗?（两种-QPS,线程数）
Sentinel 限流规则中默认有哪些限流模式?(直连，关联，链路)
Sentinel的限流效果有哪些？(快速失败，预热，排队)
Sentinel 为什么可以对我们的业务进行限流，原理是什么？ (我们在访问web应用时，在web应用内部会有一个拦截器，这个拦截器会对请求的url进行拦截，拦截到请求以后，读取sentinel 控制台推送到web应用的流控规则，基于流控规则对流量进行限流操作。)

四 Sentinel降级入门

1 概述

除了流量控制以外，对调用链路中不稳定的资源进行熔断降级也是保障高可用的重要措施之一。由于调用关系的复杂性，如果调用链路中的某个资源不稳定，最终会导致请求发生堆积。
Sentinel 熔断降级会在调用链路中某个资源出现不稳定状态时（例如调用超时或异常比例升高），对这个资源的调用进行限制，让请求快速失败，避免影响到其它的资源而导致级联错误。当资源被降级后，在接下来的降级时间窗口之内，对该资源的调用都自动熔断（默认行为是抛出 DegradeException）。

2 准备工作

修改ConumserController 类中的doRestEcho01方法,假如没有创建即可,基于此方法演示慢调用过程下的限流,代码如下:

     //J.U.C包提供
    //AtomicLong 类支持线程安全的自增自减操作
    private AtomicLong atomicLong=new AtomicLong(1);
    @GetMapping("/consumer/doRestEcho1")
    public  String doRestEcho01() throws InterruptedException {
        //consumerService.doGetResource();
        //获取自增对象的值,然后再加1
        long num=atomicLong.getAndIncrement();
        if(num%2==0){//模拟50%的慢调用比例
           Thread.sleep(200);
        }
        String url="http://localhost:8081/provider/echo/"+server;
        //远程过程调用-RPC
        return restTemplate.getForObject(url,String.class);//String.class调用服务响应数据类型
    }

3 Sentinel降级入门

3.1 服务启动后，选择要降级的链路

在这里插入图片描述

3.2 选择要降级的链路

在这里插入图片描述

这里表示熔断策略为慢调用比例，表示链路请求数超过3时，假如平均响应时间假如超过200毫秒的有50%，则对请求进行熔断，熔断时长为10秒钟，10秒以后恢复正常。

3.3 对指定链路进行刷新，多次访问测试

假如出现了降级熔断，会出现如下结果:

在这里插入图片描述

我们也可以进行断点调试，在DefaultBlockExceptionHandler中的handle方法内部加断点，分析异常类型，假如异常类型为DegradeException则为降级熔断。

4 Sentinel 异常处理

系统提供了默认的异常处理机制，假如默认处理机制不满足我们需求，我们可以自己进行定义。定义方式上可以直接或间接实现BlockExceptionHandler接口，并将对象交给spring管理。

在这里插入图片描述

consumer创建异常处理包,再创建实现类:

com.jt.exception

@Component
public class ServiceBlockExceptionHandler implements BlockExceptionHandler {
    @Override
    public void handle(HttpServletRequest request, HttpServletResponse response,BlockException e) throws Exception {
         //response.setStatus(601);
         //设置响应数据的编码
         response.setCharacterEncoding("utf-8");
         //告诉客户端要响应的数据类型以及客户端以什么编码呈现数据
         response.setContentType("text/html;charset=utf-8");
         PrintWriter pw=response.getWriter();
         Map<String,Object> map=new HashMap<>();
         if(e instanceof DegradeException){//降级、熔断
             map.put("status",601);
             map.put("message", "服务被熔断了!");
         }else if(e instanceof FlowException){
             map.put("status",602);
             map.put("message", "服务被限流了!");
         }else{
             map.put("status",603);
             map.put("message", "Blocked by Sentinel (flow limiting)");
         }
         //将map对象转换为json格式字符串
         String jsonStr=new ObjectMapper().writeValueAsString(map);
         pw.println(jsonStr);
         pw.flush();
    }
}

5 小节面试分析

何为降级熔断？（让外部应用停止对服务的访问，生活中跳闸，路障设置-此路不通）
为什么要进行熔断呢？(平均响应速度越来越慢或经常出现异常，这样可能会导致调用链堆积，最终系统崩溃)
Sentinel中限流，降级的异常父类是谁？(BlockException)
Sentinel 出现降级熔断时，系统底层抛出的异常是谁？(DegradeException)
Sentinel中异常处理接口是谁？（BlockExceptionHandler）
Sentinel中异常处理接口下默认的实现类为? (DefaultBlockExceptionHandler)
假如Sentinel中默认的异常处理规则不满足我们的需求怎么办?(自己定义)
我们如何自己定义Sentinel中异常处理呢？（直接或间接实现BlockExceptionHandler ）

五 Sentinel热点规则分析（重点)

1 概述

何为热点？热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的 Top N 数据，并对其访问进行限制。

比如:

商品 ID 为参数，统计一段时间内最常购买的商品 ID 并进行限制。
用户 ID 为参数，针对一段时间内频繁访问的用户 ID 进行限制。

热点参数限流会统计传入参数中的热点数据，并根据配置的限流阈值与模式，对包含热点参数的资源调用进行限流。热点参数限流可以看做是一种特殊的流量控制，仅对包含热点参数的资源调用生效。其中，Sentinel会利用 LRU 策略统计最近最常访问的热点参数，结合令牌桶算法来进行参数级别的流控。

2 Sentinel热点快速入门案例

2.1 定义热点业务代码

如图所示：

     //http://ip:port/consumer/doFindById?id=10
        @GetMapping("/consumer/findById")
        @SentinelResource("res")
        public String doFindById(@RequestParam("id") Integer id){
            return "resource id is "+id;
        }

2.2 服务启动后，选择要限流的热点链路

2.3 设置要限流的热点

热点规则的限流模式只有QPS模式（这才叫热点）。参数索引为@SentinelResource注解的方法参数下标，0代表第一个参数，1代表第二个参数。单机阈值以及统计窗口时长表示在此窗口时间超过阈值就限流。

2.4 多次访问热点参数方法，前端会出现如下界面

如图所示：

在这里插入图片描述

如果在后台出现如下异常表示限流成功:

com.alibaba.csp.sentinel.slots.block.flow.param.ParamFlowException: 2

其中，热点参数其实说白了就是特殊的流控，流控设置是针对整个请求的；但是热点参数他可以设置到具体哪个参数，甚至参数针对的值，这样更灵活的进行流控管理。
一般应用在某些特殊资源的特殊处理，如：某些商品流量大，其他商品流量很正常，就可以利用热点参数限流的方案。

3 特定参数设计

配置参数例外项

参数类型也要添加:int类型

这里表示参数值为5时阈值为100，其它参数值阈值为1，例如当我们访问http://ip:port/consumer/doRestEcho1?id=5时的限流阈值为100。

4 sentinel热点面试点

如何理解热点数据？(访问频度比较高的数据，某些商品、谋篇文章、某个视频)
热点数据的限流规则是怎样的?(主要是针对参数进行限流设计)
热点数据中的特殊参数如何理解？(热点限流中的某个参数值的阈值设计)
对于热点数据的访问出现限流以后底层异常是什么？(ParamFlowException)

六 Sentinel系统规则--了解即可

1 概述

系统在生产环境运行过程中，我们经常需要监控服务器的状态，看服务器CPU、内存、IO等的使用率；主要目的就是保证服务器正常的运行，不能被某些应用搞崩溃了；而且在保证稳定的前提下，保持系统的最大吞吐量。
长期以来，系统自适应保护的思路是根据硬指标，即系统的负载 (load1) 来做系统过载保护。当系统负载高于某个阈值，就禁止或者减少流量的进入；当 load 开始好转，则恢复流量的进入。

2 快速入门案例

Sentinel的系统保护规则是从应用级别的入口流量进行控制，从单台机器的总体 Load、RT、入口 QPS 、线程数和CPU使用率五个维度监控应用数据，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。如图所示：

在这里插入图片描述

解析:

Load（仅对 Linux/Unix-like 机器生效）：当系统 load1 超过阈值，且系统当前的并发线程数超过系统容量时才会触发系统保护。系统容量由系统的 maxQps * minRt 计算得出。设定参考值一般是 CPU cores * 2.5。
CPU使用率：当系统 CPU 使用率超过阈值即触发系统保护（取值范围 0.0-1.0）。
RT：当单台机器上所有入口流量的平均 RT 达到阈值即触发系统保护，单位是毫秒。
线程数：当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。
入口 QPS：当单台机器上所有入口流量的 QPS 达到阈值即触发系统保护。
系统保护规则是应用整体维度的，而不是资源维度的，并且仅对入口流量生效。入口流量指的是进入应用的流量（EntryType.IN），比如 Web 服务。

3 sentinel系统规则面试点

如何理解sentinel中的系统规则？(是对所有链路的控制规则,是一种系统保护策略)
Sentinel的常用系统规则有哪些？(RT,QPS,CPU,线程,Load-linux,unix)
Sentinel系统保护规则被触发以后底层会抛出什么异常？（SystemBlockException）

七 Sentinel授权规则(重点)

1 概述

很多时候，我们需要根据调用方来限制资源是否通过，这时候可以使用 Sentinel 的黑白名单控制的功能。黑白名单根据资源的请求来源（origin）限制资源是否通过，若配置白名单则只有请求来源位于白名单内时才可通过；若配置黑名单则请求来源位于黑名单时不通过，其余的请求通过。例如微信中的黑名单。

2 入门分析

sentinel可以基于黑白名单方式进行授权规则设计

在这里插入图片描述

黑白名单规则（AuthorityRule）非常简单，主要有以下配置项：

资源名:即限流规则的作用对象
流控应用:对应的黑名单/白名单中设置的规则值,多个值用逗号隔开.
授权类型:白名单，黑名单(不允许访问).

3 案例实现步骤

定义请求解析器,用于对请求进行解析,并返回解析结果,sentinel底层在拦截到用户请求以后,会对请求数据基于此对象进行解析,判定是否符合黑白名单规则

3.1 定义RequestOriginParser接口的实现类，基于业务在接口方法中解析请求数据并返回.

在com.jt包下创建一个类即可

/*基于此对象解析请求*/
@Component
public class DefaultRequestOriginParser implements RequestOriginParser {
    //http://localhost:8090/consumer/doRestEcho1?origin=app1
    //这个方法会在资源访问时,由底层进行调用,获取请求中的数据,再与我们指定的授权规则进行对比
    @Override
    public String parseOrigin(HttpServletRequest request) {
        String origin = request.getParameter("origin");
        return origin;
    }
}

3.2 定义流控规则

在这里插入图片描述

3.3 执行资源访问,检测授权规则应用

当我们配置的流控应用值为app1和app2时，假如规则为黑名单，则基于http://ip:port/path?origin=app1

的请求不可以通过,会出现如下结果:

在这里插入图片描述

访问其他参数就可以正常获取数据:

3.4 设计过程分析

在这里插入图片描述

4 sentinel授权规则面试点

如何理解Sentinel中的授权规则？(对指定资源的访问给出的一种简易的授权策略)
Sentinel的授权规则是如何设计的？(白名单和黑名单)
如何理解Sentinel中的白名单？（允许访问的资源名单）
如何理解Sentinel中的黑名单？（不允许访问的资源名单）
Sentinel如何识别白名单和黑名单？(在拦截器中通过调用RequestOriginParser对象的方法检测具体的规则)
授权规则中RequestOriginParser类的做用是什么？（对流控应用值进行解析，检查服务访问时传入的值是否与RequestOriginParser的parseOrigin方法返回值是否相同。）

拓展: idea中启动sentinel

-Dserver.port=8180 -Dcsp.sentinel.dashboard.server=localhost:8180 -Dproject.name=sentinel-dashboard -jar E:/BaiduNetdiskDownload/CGBIV/TOOLS/sentinel-dashboard-1.8.0.jar