服务熔断降级 Sentinel(1)

第六章 服务熔断降级 Sentinel

6.1 高并发带来的问题

在微服务架构中,我们将业务拆分成一个个的服务,服务与服务之间可以相互调用,但是由于网络 原因或者自身的原因,服务并不能保证服务的100%可用,如果单个服务出现问题,调用这个服务就会出现网络延迟,此时若有大量的网络涌入,会形成任务堆积,最终导致服务瘫痪。

接下来,我们来模拟一个高并发的场景

  1. 在订单服务中新建SentinelController.java
@RestController
public class SentinelController {
    @RequestMapping("/sentinel1")
    public String sentinel1() {
        //模拟⼀次⽹络延时
        try {
            TimeUnit.SECONDS.sleep(1);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return "sentinel1";
    }

    @RequestMapping("/sentinel2")
    public String sentinel2() {
        return "测试⾼并发下的问题";
    }
}
  1. 修改配置文件中tomcat的并发数
server:
    port: 8091
    tomcat:
        threads:
            max: 10 #tomcat的最⼤并发值修改为10
  1. 接下来使用压测工具,对请求进行压力测试

下载地址https://jmeter.apache.org/

第一步:修改配置,并启动软件

进入bin目录,修改jmeter.properties文件中的语言支持为language=zh_CN,然后点击 jmeter.bat启动软件。(5.5后的版本直接在里面就可以修改。)

第二步:添加线程组

第三步:配置线程并发数

第四步:添加Http请求

第五步:配置取样,并启动测试

第六步:访问 http://localhost:8091/sentinel1 观察结果

结论:此时会发现, 由于sentinel1方法囤积了大量请求, 导致sentinel2方法的访问出现了问题,这就 是服务雪崩的雏形。

6.2 服务器雪崩效应

在分布式系统中, 由于网络原因或自身的原因,服务一般无法保证 100% 可用。如果一个服务出现 了问题,调用这个服务就会出现线程阻塞的情况,此时若有大量的请求涌入,就会出现多条线程阻塞等待,进而导致服务瘫痪。

由于服务与服务之间的依赖性,故障会传播,会对整个微服务系统造成灾难性的严重后果,这就是服务故障的 “雪崩效应” 。

情景1: 微服务之间相互调用 ,关系复杂,正常情况如下图所示:

情景2:某个时刻,服务A挂了,服务B和服务C依然在调用服务A

情景3:由于服务A挂了,导致服务C和服务B无法得到服务A的响应,这时候服务C和服务B由于大 量线程积压,最终导致服务C和服务B挂掉.

情景4: 相同道理, 由于服务之间有关联,所以会导致整个调用链上的所有服务都挂掉.

服务器的雪崩效应其实就是由于某个微小的服务挂了,导致整一大片的服务都不可用 .类似生活中 的雪崩效应, 由于落下的最后一片雪花引发了雪崩的情况.

雪崩发生的原因多种多样,有不合理的容量设计,或者是高并发下某一个方法响应变慢,亦或是某台机器的资源耗尽。我们无法完全杜绝雪崩源头的发生,只有做好足够的容错,保证在一个服务发生问题,不会影响到其它服务的正常运行。

6.3 常见容错方案

要防止雪崩的扩散,我们就要做好服务的容错,容错说白了就是保护自己不被猪队友拖垮的一些措施, 下面介绍常见的服务容错思路和组件。

常见的容错思路

常见的容错思路有隔离、超时、限流、熔断、降级这几种,下面分别介绍一下。

隔离机制: 比如服务A内总共有100个线程, 现在服务A可能会调用服务B,服务C,服务D.我们在服务A 进行远程调用的时候,给不同的服务分配固定的线程,不会把所有线程都分配给某个微服务. 比如调用 服务B分配30个线程,调用服务C分配30个线程,调用服务D分配40个线程. 这样进行资源的隔离,保 证即使下游某个服务挂了,也不至于把服务A的线程消耗完。比如服务B挂了,这时候最多只会占用 服务A的30个线程,服务A还有70个线程可以调用服务C和服务D.

超时机制: 在上游服务调用下游服务的时候,设置一个最大响应时间,如果超过这个时间,下游未 作出反应,就断开请求,释放掉线程。

限流机制: 限流就是限制系统的输入和输出流量已达到保护系统的目的。为了保证系统的稳固运行, 一旦达到的需要限制的阈值,就需要限制流量并采取少量措施以完成限制流量的目的。

熔断机制: 在互联网系统中,当下游服务因访问压力过大而响应变慢或失败,上游服务为了保护系 统整体的可用性,可以暂时切断对下游服务的调用。这种牺牲局部,保全整体的措施就叫做熔断。

服务熔断一般有三种状态:

  1. 熔断关闭状态(Closed)

服务没有故障时,熔断器所处的状态,对调用方的调用不做任何限制

  1. 熔断开启状态(Open)

后续对该服务接口的调用不再经过网络,直接执行本地的fallback方法

  1. 半熔断状态(Half-Open)

尝试恢复服务调用,允许有限的流量调用该服务,并监控调用成功率。如果成功率达到预期,则说明服务已恢复,进入熔断关闭状态;如果成功率仍旧很低,则重新进入熔断关闭状态。

降级机制: 降级其实就是为服务提供一个兜底方案,一旦服务无法正常调用,就使用兜底方案。

6.3 常见的容错组件

Hystrix

Hystrix是由Netflflix开源的一个延迟和容错库,用于隔离访问远程系统、服务或者第三方库,防止级联失败,从而提升系统的可用性与容错性。

Resilience4J

Resilicence4J一款非常轻量、简单,并且文档非常清晰、丰富的熔断工具,这也是Hystrix官方推荐的替代产品。不仅如此, Resilicence4j还原生支持Spring Boot 1.x/2.x,而且监控也支持和prometheus等多款主流产品进行整合。

Sentinel

Sentinel 是阿里巴巴开源的一款断路器实现,本身在阿里内部已经被大规模采用,非常稳定。

6.4 Sentinel⼊⻔

6.4.1 什么是Sentinel

Sentinel (分布式系统的流量防卫兵) 是阿里开源的一套用于服务容错的综合性解决方案。它以流量为切入点, 从流量控制、熔断降级、系统负载保护等多个维度来保护服务的稳定性

Sentinel 具有以下特征:

  1. 丰富的应用场景 :Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景, 例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。

  2. 完备的实时监控 :Sentinel 提供了实时的监控功能。通过控制台可以看到接入应用的单台机器秒级数据, 甚至 500 台以下规模的集群的汇总运行情况。

  3. 广泛的开源生态 :Sentinel 提供开箱即用的与其它开源框架/库的整合模块, 例如与 SpringCloud 、Dubbo 、gRPC 的整合。只需要引入相应的依赖并进行简单的配置即可快速地接入Sentinel。

Sentinel分为两个部分:

  1. 核心库(Java 客户端)不依赖任何框架/库,能够运行于所有 Java 运行时环境,同时对 Dubbo /Spring Cloud 等框架也有较好的支持。

  2. 控制台(Dashboard)基于 Spring Boot 开发,打包后可以直接运行,不需要额外的 Tomcat 等应用容器。

6.4.2 订单微服务集成Sentinel

为微服务集成Sentinel非常简单, 只需要加入Sentinel的依赖即可

在shop-order-server项目的pom文件中添加如下依赖

<!--sentinel组件-->
<dependency>
 	<groupId>com.alibaba.cloud</groupId>
 	<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

6.4.3 安装Sentinel控制台

Sentinel 提供一个轻量级的控制台, 它提供机器发现、单机资源实时监控以及规则管理等功能。

  1. 下载jar包 https://github.com/alibaba/Sentinel/releases
  2. 启动控制台(注意:应该用jdk 1.8运行)
# 直接使⽤jar命令启动项⽬(控制台本身是⼀个SpringBoot项⽬)
java -Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.2.jar 
  1. 修改shop-order-server项目中的配置文件application.yml,新增如下配置:
spring:
    cloud:
        sentinel:
            transport:
                port: 9999 #跟控制台交流的端⼝,随意指定⼀个未使⽤的端⼝即可
                dashboard: localhost:8080 # 指定控制台服务的地址
  1. 通过浏览器访问localhost:8080 进入控制台 ( 默认用户名密码是 sentinel/sentinel )

注意: 默认是没显示order-service的,需要访问几次接口,然后再刷新sentinel管控台才可以看到.

6.4.4 实现一个接口的限流

第一步: 簇点链路—>流控

第二步: 在单机阈值填写一个数值,表示每秒上限的请求数

第三步:通过控制台快速频繁访问, 观察效果

6.4.5 Sentinel容错的维度

流量控制:流量控制在网络传输中是一个常用的概念,它用于调整网络包的数据。任意时间到来的请求 往往是随机不可控的,而系统的处理能力是有限的。我们需要根据系统的处理能力对流量进行控制。

熔断降级:当检测到调用链路中某个资源出现不稳定的表现,例如请求响应时间长或异常比例升高的时 候,则对这个资源的调用进行限制,让请求快速失败,避免影响到其它的资源而导致级联故障。

系统负载保护 :Sentinel 同时提供系统维度的自适应保护能力。当系统负载较高的时候,如果还持续让请求进入可能会导致系统崩溃,无法响应。在集群环境下,会把本应这台机器承载的流量转发到其它的机器上去。如果这个时候其它的机器也处在一个边缘状态的时候, Sentinel 提供了对应的保护机制,让系统的入口流量和系统的负载达到一个平衡,保证系统在能力范围之内处理最多的请求。

6.4.6 Sentinel规则种类

Sentinel主要提供了这五种的流量控制.

6.5 Sentinel规则流控

6.5.1 流控规则

流量控制,其原理是监控应用流量的QPS(每秒查询率) 或并发线程数等指标,当达到指定的阈值时对流量进行控制,以避免被瞬时的流量高峰冲垮,从而保障应用的高可用性。

资源名:唯一名称,默认是请求路径,可自定义

针对来源:指定对哪个微服务进行限流,默认指default,意思是不区分来源,全部限制

阈值类型/单机阈值

  1. QPS (每秒请求数量) : 当调用该接口的QPS达到阈值的时候,进行限流

  2. 线程数:当调用该接口的线程数达到阈值的时候,进行限流

是否集群:暂不需要集群

6.5.1.1 QPS流控

前面6.4.4案例就是演示的QPS流控

6.5.1.2 线程数流控
  1. 删除掉之前的QPS流控,新增线程数流控

  1. 在Jmeter中新增线程

  1. 访问 http://localhost:8091/sentinel2 会发现已经被限

6.5.2 流控模式

点击上面设置流控规则的编辑按钮,然后在编辑页面点击高级选项,会看到有流控模式一栏。

sentinel共有三种流控模式,分别是:

  1. 直接(默认):接口达到限流条件时,开启限流

  2. 关联:当关联的资源达到限流条件时,开启限流 [适合做应用让步]

  3. 链路:当从某个接口过来的资源达到限流条件时,开启限流

6.5.2.1 直接流控模式

前面演示的案例就是这种.

6.5.2.2 关联流控模式

关联流控模式指的是,当指定接口关联的接口达到限流条件时,开启对指定接口开启限流。

场景: 当两个资源之间具有资源争抢或者依赖关系的时候,这两个资源便具有了关联。比如对数据库同一 个字段的读操作和写操作存在争抢,读的速度过高会影响写得速度,写的速度过高会影响读的速度。如 果放任读写操作争抢资源,则争抢本身带来的开销会降低整体的吞吐量。可使用关联限流来避免具有关 联关系的资源之间过度的争抢.

  1. 在SentinelController.java中增加一个方法,重启订单服务

    @RequestMapping("/sentinel3")
    public String sentinel3(){
     return "sentinel3";
    }
    
  2. 配置限流规则, 将流控模式设置为关联,关联资源设置为的 /sentinel2

  1. 通过postman软件向/sentinel2连续发送请求,注意QPS一定要大于

  1. 访问/sentinel3,会发现已经被限流

6.5.2.3 链路流控模式

链路流控模式指的是,当从某个接口过来的资源达到限流条件时,开启限流。

  1. 在shop-order-server项目的application.yml文件中新增如下配置:
spring:
 	cloud:
 		sentinel:
 			web-context-unify: false
  1. 在shop-order-server项目中新增TraceServiceImpl.java
@Service
@Slf4j
public class TranceServiceImpl {
    @SentinelResource(value = "tranceService")
    public void tranceService() {
        log.info("调⽤tranceService⽅法");
    }
}
  1. 在shop-order-server项目中新增TraceController.java
@RestController
public class TranceController {
    @Autowired
    private TranceServiceImpl traceService;

    @RequestMapping("/trance1")
    public String trace1() {
        traceService.tranceService();
        return "trance1";
    }

    @RequestMapping("/trance2")
    public String trace2() {
        traceService.tranceService();
        return "trance2";
    }
}

  1. 重新启动订单服务并添加链路流控规则

  1. 分别通过 /trace1 和 /trace2 访问, 发现/trace1没问题, /trace2的被限流了

6.5.3 流控效果

1. 快速失败(默认) : 直接失败,抛出异常,不做任何额外的处理,是最简单的效果

2. Warm Up:它从开始阈值到最大QPS阈值会有一个缓冲阶段,一开始的阈值是最大QPS阈值的1/3,然后慢慢增长,直到最大阈值,适用于将突然增大的流量转换为缓步增长的场景。

3. 排队等待:让请求以均匀的速度通过,单机阈值为每秒通过数量,其余的排队等待; 它还会让设置一个超时时间,当请求超过超时间时间还未处理,则会被丢弃。

引文来源:https://www.bilibili.com/video/BV19T411M787

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值