Sentinel限流熔断

1.Sentinel简介

1.1背景分析

在淘宝、天猫、京东、拼多多等平台上参与商品的秒杀、抢购以及一些优惠活动,也会在节假日使用12306 手机APP抢火车票、高铁票,甚至有时候还要帮助同事、朋友为他们家小孩拉投票、刷票,这些场景都无一例外的会引起服务器流量的暴涨,导致网页无法显示、APP反应慢、功能无法正常运转,甚至会引起整个网站的崩溃。
在这种情况下,保证各种业务安全运营,系统在任何情况下都不会崩溃,我们可以在系统负载过高时,采用限流、降级和熔断,三种措施来保护系统,由此一些流量控制中间件诞生,例如Sentinel。

1.2 Sentinel概述

Sentinel (分布式系统的流量防卫兵) 是阿里开源的一套用于服务容错的综合性解决方案。它以流量为切入点, 从流量控制、熔断降级、系统负载保护等多个维度来保护服务的稳定性。
Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景, 例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。

Sentinel核心分为两个部分:

核心库(Java 客户端):能够运行于所有 Java 运行时环境,同时对Dubbo /Spring Cloud 等框架也有较好的支持。
控制台(Dashboard):基于 Spring Boot 开发,打包后可以直接运行。

sentinel是什么:阿里推出的流量控制平台
sentinel如何对请求进行限流:基于sentinel依赖提供的拦截器
有哪些限流算法:计数器、令牌桶、漏斗算法,滑动窗口算法
Sentinel 默认的限流算法是:滑动窗口算法

2.安装Sentinel服务

在这里插入图片描述
启动命令:

java -Dserver.port=8180 -Dcsp.sentinel.dashboard.server=localhost:8180 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.1.jar

IDEA中设置sentinel启动

在这里插入图片描述
start.cmd文件中内容:
在这里插入图片描述

在这里插入图片描述

访问Sentinal服务:
用户名密码:sentinel
在这里插入图片描述
在这里插入图片描述

3.Sentinel限流入门(监控入门)

概述:
系统中的数据库连接池,线程池,nginx的瞬时并发等在使用时都会给定一个限定的值,这本身就是一种限流的设计。限流的目的防止恶意请求流量、恶意攻击,或者防止流量超过系统峰值。

第一步:Sentinel 应用于服务提供方(sca-provider),在消费方添加依赖:

<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

第二步:打开服务消费方配置文件bootstrap.yml,添加sentinel配置:

#服务注册地址
  cloud:
    sentinel:
      transport:  #sentinel  控制台服务的地址
        dashboard: localhost:8180

第三步:创建一个用于演示限流操作的Controller对象:

@RestController
@RequestMapping("/provider")
public class ProviderSentinelController {
    @GetMapping("/sentinel01")
    public String deSentinel01(){
        return "test Sentinel 01";
    }
}

第四步:启动sca-provider服务,然后对指定服务进行访问:
在这里插入图片描述
第五步:刷新sentinel 控制台,实时监控信息,如图:
在这里插入图片描述
Sentinel的控制台其实就是一个SpringBoot编写的程序,我们需要将我们的服务注册到控制台上,即在微服务中指定控制台的地址,并且还要在消费端开启一个与sentinel控制台传递数据端的端口,控制台可以通过此端口调用微服务中的监控程序来获取各种信息

4.Sentinel限流入门实践

设置一下指定接口的流控(流量控制),QPS(每秒请求次数)单机阈值为1,代表每秒请求不能超出1次,要不然就做限流处理,处理方式直接调用失败。
第一步:选择要限流的链路:
在这里插入图片描述
第二步:设置限流策略,点击新增:
在这里插入图片描述
第三步:反复刷新访问消费端端服务,检测是否有限流信息输出:
在这里插入图片描述

5.Sentinel流控规则分析

5.1阈值类型

  • QPS(Queries Per Second):当调用相关url对应的资源时,QPS达到单机阈值时,就会限流。
  • 线程数:当调用相关url对应的资源时,线程数达到单机阈值时,就会限流。

5.2设置限流模式

直接模式

Sentinel的流控模式代表的流控的方式,默认【直接】,还有关联,链路。 直接模式,Sentinel默认的流控处理就是【直接->快速失败】。
在这里插入图片描述

关联模式

**当关联的资源达到阈值,就限流自己。**例如设置了关联资源为/ur2时,假如关联资源/url2的qps阀值超过1时,就限流/url1接口。举个例子,订单服务中会有2个重要的接口,一个是读取订单信息接口,一个是写入订单信息接口。在高并发业务场景中,两个接口都会占用资源,如果读取接口访问过大,就会影响写入接口的性能。业务中如果我们希望写入订单比较重要,要优先考虑写入订单接口。那就可以利用关联模式;在关联资源上面设置写入接口,资源名设置读取接口就行了;这样就起到了优先写入,一旦写入请求多,就限制读的请求。
第一步:在ProviderSentinelController中添加一个方法:

   @GetMapping("/sentinel02")
   public String doSentinel02(){
     return "sentinel 02 test  ...";
   }

第二步:在sentinel中做限流设计:
在这里插入图片描述
第三步:打开两个测试窗口,对/provider/sentinel02进行访问,检查/provider/sentinel01的状态:

在这里插入图片描述

链路模式

链路模式只记录指定链路入口的流量。也就是当多个服务对指定资源调用时,假如流量超出了指定阈值,则进行限流。被调用的方法用@SentinelResource进行注解,然后分别用不同业务方法对此业务进行调用,假如A业务设置了链路模式的限流,在B业务中是不受影响的。
第一步:在指定包创建一个ResourceService类:

package com.jt.provider.service;
@Service
public class ResourceService{
    @SentinelResource("doGetResource")
    public String doGetResource(){
        return "doGetResource";
    }
}

第二步:在ProviderSentinelController中添加一个方法:

@Autowired
private ResourceService resourceService;
@GetMapping("/sentinel03")
public String deSentinel03(){
    resourceService.doGetResource();
    return "test Sentinel 03";
}
@GetMapping("/sentinel04")
public String deSentinel04(){
    resourceService.doGetResource();
    return "test Sentinel 04";
}

第三步:在sentinel中配置限流规则:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
设置链路流控规则后,再频繁对限流链路进行访问,检测是否会出现500异常:
在这里插入图片描述
说明,流控模式为链路模式时,假如是sentinel 1.7.2以后版本,Sentinel Web过滤器默认会聚合所有URL的入口为sentinel_spring_web_context,因此单独对指定链路限流会不生效,需要在application.yml添加如下语句来关闭URL PATH聚合:

sentinel:
     web-context-unify: false

在这里插入图片描述
对provider/sentinel03限流,对04不限流设置:
在这里插入图片描述
在这里插入图片描述
测试对03限流,对04不限流

当我们也可以基于@SentinelResource注解描述的方法进行限流后的异常进行自定义处理:
第一步:定义BlockHandlerClass:

/**
 * 基于ResourceBlockHandler中的相关方法(例如call方法),
 * 如果@SentinelResource注解描述的方法上出现的限流异常。
 * 方法的返回
 * 值类型为@SentinelResource注解描述的返回值类型,
 * 方法的其他参数为@SentinelResource注解描述的方法参数,
 * 并且此方法必须为静态方法
 */
@Slf4j
@Component
public class ResourceBlockHandler {
    /**
     * 此方法中的异常类型必须为BlockException类型
     * (它是所有限流,降级等异常的父类类型),
     * */
    public static String call(BlockException ex) {
        log.error("block exception {}", "@SentinelResource 描述的方法执行时限流了" + ex.getMessage());
        return "访问太频繁了,稍等片刻再访问";
    }
}

第二步:修改@SentinelResource注解中的属性定义:

1.value属性的值用于作为链路节点的名称(自己随意定义)
2.blockHandlerClass用于指定处理链路限流异常的类型
3.blockHandler用于指定blockHandlerClass属性指定的类型中的异常处理方法

@Service
public class ResourceService {
    @SentinelResource(value = "doGetResource111",
                      blockHandlerClass = ResourceBlockHandler.class,
                      blockHandler = "call")
    public String doGetResource(){
        //...
        return "do Get Resource";
    }
}

第三步:在controller方法中,调用@Sentinel注解描述的方法:

@GetMapping("/sentinel04")
public String deSentinel04(){
    return resourceService.doGetResource();
}

第四步测试:
在这里插入图片描述

6.自定义拦截器

拦截器原理:
在这里插入图片描述
自定义一个拦截器:

/**
 * 遵循SpringMVC规范,自定义拦截器,对要访问controller方法的请求进行拦截
 * 然后基于乐舞进行预处理,例如进行时间访问控制
 */
public class TimeInterceptor implements HandlerInterceptor {
    /**
     * 此方法会在目标controller方法执行之前执行
     * handler对象,对应目标controller
     * 返回结果决定此请求是否放行,false=不放行,true=放行
     */
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        System.out.println("===preHandle===");
        response.setStatus(429);
        LocalTime now = LocalTime.now();
        int hour = now.getHour();
        if (hour < 9 || hour > 18) {
        throw new RuntimeException("请在9-18点之间访问");
        }
        return true;
    }
}

配置拦截器:

@Configuration
public class SpringWebConfig implements WebMvcConfigurer {
    /**
     * 注册拦截器,并定义拦截规则
     * registry 负责注册拦截器的对象
     * */
    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        registry.addInterceptor(new TimeInterceptor())//注册拦截器
                .addPathPatterns("/provider/sentinel01"); //定义要拦截的请求
    }
}

7.Sentinel降级应用

7.1概述

除了流量控制外,对调用链路中不稳定资源进行熔断降级可以保障高可用。由于调用关系的复杂性,如果调用链路中的某个资源不稳定,最终会导致请求发生堆积。

7.2Sentinel降级入门

准备:
在ProviderController 类中添加doSentinel04方法,基于此方法演示慢调用过程下的限流:

/**
 * 通过此方法模拟慢调用,或不稳定资源(经常出异常)
 * AtomicXxx 底层基于CAS算法(乐观锁方式)保证了线程安全和性能
 */
private AtomicInteger atomicInteger = new AtomicInteger(1); //初始值1

@GetMapping("/sentinel05")
public String deSentinel05() throws InterruptedException {
    int count = atomicInteger.getAndIncrement();//先取值,再递增
    if (count %2 == 0) {
        Thread.sleep(200);  //模拟耗时
    }
    return "test Sentinel 05";
}

在这里插入图片描述
这里表示熔断策略选择"慢调用比例",表示请求数超过3时,假如平均响应时间超过200毫秒的有30%,则对请求进行熔断,熔断时长为10秒钟,10秒以后恢复正常。
我们也可以进行断点调试,在DefaultBlockExceptionHandler中的handle方法内部加断点,分析异常类型,假如异常类型DegradeException则为降级熔断。
在这里插入图片描述

7.3Sentinel 异常处理

系统提供了默认的异常处理机制,假如默认处理机制不满足我们需求,我们可以自己进行定义。定义方式上可以直接或间接实现BlockExceptionHandler接口,并将对象交给spring管理。

//@Lazy   //无用,系统底层在构建实现类的方法
@Component
public class SentinelBlockExceptionHandler implements BlockExceptionHandler {

/*    public SentinelBlockExceptionHandler(){
        System.out.println("==SentinelBlockExceptionHandler==");
    }*/
    @Override
    public void handle(HttpServletRequest request,
                       HttpServletResponse response,
                       BlockException e) throws Exception {
        //设置响应编码
        response.setCharacterEncoding("utf-8");
        //告诉浏览器向它响应的内容类型及编码方式
        response.setContentType("text/html;charset=utf-8");
        response.setStatus(429);
        PrintWriter out = response.getWriter();
        Map<String, Object> map = new HashMap<>();
        map.put("status", 429);
        String msg = "Blocked by Sentinel(flow limiting)";
        if (e instanceof DegradeException) {
            msg = "服务不稳定,稍后再试";
        } else if (e instanceof FlowException) {
            msg = "服务访问太频繁,限流了";
        }
        map.put("msg", msg);
        //ObjectMapper对象属于jackson api,这组api在spring-boot-starter-web
        //writeValueAsString将map集合转为json串
        String jsonResult = new ObjectMapper().writeValueAsString(map);
        out.print(jsonResult);
        out.flush();
        out.close();
    }
}

8.Sentinel热点规则分析(重点)

热点即经常访问的数据。

热点参数限流会统计传入参数中的热点数据,并**根据配置的限流阈值与模式,对包含热点参数的资源调用进行限流。**热点参数限流可以看做是一种特殊的流量控制,仅对包含热点参数的资源调用生效。其中,Sentinel会利用 LRU 策略统计最近最常访问的热点参数,结合令牌桶算法来进行参数级别的流控。

8.1快速入门

第一步:在sca-provider中添加如下方法:

@GetMapping("/sentinel07")
@SentinelResource("resource")
public String doFindById(@RequestParam("id") Integer id){
    return "resource id is " + id;
}

第二步:服务启动后,选择要限流的热点链路:
在这里插入图片描述

第三步:设置要限流的热点:
在这里插入图片描述
热点规则的限流模式只有QPS模式(这才叫热点)。**参数索引为@SentinelResource注解的方法参数下标,0代表第一个参数,1代表第二个参数。**单机阈值以及统计窗口时长表示在此窗口时间超过阈值就限流。
第四步:多次访问热点参数方法,前端会出现如下界面:
在这里插入图片描述
后台:
在这里插入图片描述

8.2特定参数设计

在这里插入图片描述

9.Sentinel系统规则(了解)

系统在生产环境运行过程中,我们经常需要监控服务器的状态,看服务器CPU、内存、IO等的使用率;主要目的就是保证服务器正常的运行,不能被某些应用搞崩溃了;而且在保证稳定的前提下,保持系统的最大吞吐量。

9.1快速入门

Sentinel的系统保护规则是从应用级别的入口流量进行控制,从单台机器的总体 Load(负载)、RT(响应时间)、入口 QPS 、线程数和CPU使用率五个维度监控应用数据,让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。

在这里插入图片描述

9.2系统规则是一种全局设计规则

  1. Load(仅对 Linux/Unix-like 机器生效):当系统 load1超过阈值,且系统当前的并发线程数超过系统容量时才会触发系统保护。系统容量由系统的 maxQps * minRt计算得出。设定参考值一般是 CPU cores * 2.5。
  2. CPU使用率:当系统 CPU 使用率超过阈值即触发系统保护(取值范围 0.0-1.0)。
  3. RT:当单台机器上所有入口流量的平均 RT 达到阈值即触发系统保护,单位是毫秒。
  4. 线程数:当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。
  5. 入口 QPS:当单台机器上所有入口流量的 QPS 达到阈值即触发系统保护。

10.Sentinel授权规则(重要)

10.1黑白名单介绍

可以使用sentinel的黑白名单控制功能。
黑白名单根据资源的请求来源(origin)限制资源是否通过,若配置白名单则只有请求来源位于白名单内时才可通过;若配置黑名单则请求来源位于黑名单时不通过,其余的请求通过。

sentinel可以基于黑白名单方式进行授权规则设计
在这里插入图片描述
黑白名单规则(AuthorityRule),主要有以下配置项:

资源名:即限流规则的作用对象
流控应用:对应的黑名单/白名单中设置的规则值,多个值用逗号隔开
授权类型:白名单,黑名单(不允许访问)

10.2实现案例

定义请求解析器,用于对请求进行解析,并返回解析结果,sentinel底层在拦截到用户请求以后,会对请求数据基于此对象进行解析,判定是否符合黑白名单规则

第一步:定义RequestOriginParser接口的实现类,在接口方法中解析请求参数数据并返回,底层会基于此返回值进行授权规则应用。
下列方法的返回值会与授权规则黑、白名单值进行比对。

public class DefaultRequestOriginParser implements RequestOriginParser {
    @Override
    public String parseOrigin(HttpServletRequest request) {
        //这里的参数名会与请求中的参数名一致
        String origin = request.getParameter("origin");
        return origin;
    }
}

第二步:定义流控规则:
在这里插入图片描述

第三步:执行资源访问,检测授权规则应用,当我们配置的流控应用值为app1时,假如规则为黑名单,则基于
http://ip:port/path?origin=app1的请求不可以通过:
在这里插入图片描述
在这里插入图片描述

10.3基于请求ip等方式进行黑白名单的规则设计

第一步: 修改请求解析器,获取请求ip并返回:

@Component
public class DefaultRequestOriginParser  implements RequestOriginParser {
    //解析请求源数据
    @Override
    public String parseOrigin(HttpServletRequest request) {
        //获取访问请求中的ip地址,基于ip地址进行黑白名单设计(例如在流控应用栏写ip地址)
        String ip= request.getRemoteAddr();
        System.out.println("ip="+ip);
        return ip;
    }//授权规则中的黑白名单的值,来自此方法的返回值
}

第二步:在sentinel控制台定义授权规则:
在这里插入图片描述

第三步:规则定义后以后,基于你的ip地址,进行访问测试,检测黑白名单效果:
在这里插入图片描述
在这里插入图片描述

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值