微服务保护

于 2023-05-16 13:35:38 发布
阅读量415 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： # 高级篇 文章标签： 微服务 java dubbo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xcxcxcxx1/article/details/130703616

微服务保护

初始Sentinel

雪崩问题

微服务调用链路中的某个服务故障，引起整个链路中的所有微服务都不可用，这就是雪崩。

img

解决雪崩问题的常用方式有四种：

  • 超时处理：设定超时时间，请求超过一定时间没有响应就返回错误，不会无休止等待。

img

  • 舱壁模式：限定每个业务能使用的线程数，避免耗尽整个tomcat的资源，因此也叫线程隔离。

img

  • 熔断降级：由断路器统计业务执行的异常比例，如果超出阈值则会熔断该业务，拦截访问该业务的一切请求。

img

  • 流量控制：限制业务访问的QPS，避免服务因流量的突增而故障。

img

服务保护技术对比

img

认识Sentinel

官网：https://sentinelguard.io/zh-cn/

Sentinel具有以下特征：

  • 丰富的应用场景： Sentinel承接了阿里近10年的双十一大促流量的核心场景，例如秒杀、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。
  • 完备的实时监控： Sentinel同时提供实时的监控功能。可以在控制台中看到接入应用的单台机器秒级数据，甚至500台以下规模的集群的汇总运行情况。
  • 广泛的开源生态： Sentinel提供开箱即用的与其它开源框架/库的整合模块，例如与Spring Cloud、Dubbo、gRPC的整合。只需要引入相应的依赖并进行简单的配置即可快速地接入Sentinel。
  • 完善的SPI扩展点： Sentinel提供简单易用、完善的SPI扩展接口。可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。

安装Sentinel控制台

  1. 官网下载jar包：https://github.com/alibaba/Sentinel/releases
  2. 拷贝到非中文路径下：java -jar sentinel-dashboard-1.8.1.jar

img

  1. 然后访问localhost:8080，账号密码都为sentinel

img

如果要修改Sentinel的默认端口、账号、密码、可以通过以下配置：

img

微服务整合Sentinel

  • 引入依赖
<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
  • 配置控制台地址
spring:
  cloud:
    sentinel:
      transport:
        dashboard: localhost:8080
  • 访问微服务的任意端点，出发sentinel监控

img

限流规则

簇点链路

簇点链路：就是项目内的调用链路，链路中被监控的每个接口就是一个资源。默认情况下sentinel会监控SpringMVC的每一个端点，因此SpringMVC的每一个端点就是调用链路中的一个资源。

流控、熔断等都是针对簇点链路中的资源来设置的， 因此我们可以点击对于资源后面的按钮来设置规则：

img

快速入门

点击资源/order/{orderId}后面的流控按钮，就可以弹出表单。表单中可以添加流控规则，如：

img

其含义是限制/order/{orderId}这个资源的单机QPS为1，即每秒只允许1次请求，超出的请求会被拦截并报错。

案例：流控规则入门案例

需求：给/order/{orderId}这个资源设置流控规则，QPS不能超过5。

使用apipost测试：

img

在控制台查看

img

流控模式

在添加限流规则时，点击高级选项，可以选择三种流控模式：

  • 直接：统计当前资源的请求，出发阈值时对当前资源直接限流，也是默认的模式
  • 关联：统计与当前资源相关的另一资源，触发阈值时，对当前资源限流
  • 链路：统计从指定链路访问到本资源的请求，触发阈值时，对指定链路限流
    在这里插入图片描述

流控模式-关联

  • 关联模式：统计与当前资源相关的另一个资源，触发阈值时，对当前资源限流
  • 使用场景：比如用户支付时需要修改订单状态，同时用户要查询订单。查询和修改操作会争抢数据库锁，产生竞争。业务需求是有限支付和更新订单的业务，因此当修改订单业务触发阈值时，需要对查询订单业务限流。

img

当/write资源访问触发阈值时，就会对/read资源限流，避免影响/write资源。

案例：流控模式-关联

需求：

  • 在OrderController新建两个端点：/order/query和/order/update，无需实现业务
    @GetMapping("query")
    public String query() {
        // 根据id查询订单并返回
        return "xc";
    }
    @GetMapping("update")
    public String update() {
        // 根据id查询订单并返回
        return "xc";
    }
  • 配置流控规则，当/order/update资源被访问QPS超过5时，对/order/query请求限流

img

请求update

img

访问query

img

满足下面条件可以使用关联模式：

  • 两个有竞争关系的资源
  • 一个优先级较高，一个优先级较低

流控模式-链路

链路模式：只针对从指定链路访问到本资源的请求做统计，判断是否超过阈值。

例如有两条请求链路：

  • /test1 --> /common
  • /test2 --> /common

如果只希望统计从/test2进入到/common的请求，则可以这样配置：

img

案例：流控模式-链路

需求：有查询订单和创建订单业务，两者都需要查询商品。针对从查询订单进入到查询商品的请求统计，并设置限流。

  • 在OrderService中添加一个queryGoods方法，不需要实现业务。
    public String queryGoods() {
       return "xc";
    }
  • 在OrderController中，改造/order/query端点，调用OrderService中的queryGoods方法
  • 在OrderController中添加一个/order/save的端点，调用OrderService的queryGoods方法
@GetMapping("query")
    public String query() {
        return orderService.queryGoods();
    }
@GetMapping("save")
    public String save() {
    return orderService.queryGoods();
}

  • 给queryGoods设置限流规则，从/order/query进入queryGoods的方法限制QPS必须小于2

    • Sentinel默认只标记Controller中的方法为资源，如果要标记其它方法，需要利用@SentinelResource注解
@SentinelResource
public String queryGoods() {
   return "xc";
}
    • Sentinel默认会将Controller方法做context整合，导致链路模式失效，需要修改application.yml，添加配置：
spring:
	cloud:
  	sentinel:
    	web-context-unify: false # 关闭context整合

从query访问：

img

从save访问：

img

流控效果

流控效果是指请求达到流控阈值时采取的措施，包括三种：

  • 快速失败：达到阈值后，新的请求会被立即拒绝并抛出FlowException异常。这是默认的处理方式。
  • warm up：预热模式，对超出阈值的请求同样时拒绝并抛出异常。但这种模式阈值会动态变化，从一个较小值逐渐增加到最大值。
  • 排队等待：让所有的请求按照先后次序排队执行，两个请求的间隔不能小于指定时长

img

流控效果-warm up

warm up也叫预热模式，是应对服务冷启动的一种方案。请求阈值时threshold/clodFactor，持续指定时长后，逐渐提高到threshold值。而coldFactor的默认值是3

例如，我设置QPS的threshold为10，预热时间为5秒，那么初始化阈值就是10/3，也就是3，然后在5秒后逐渐增长到10

img

案例：流控效果-warm up

需求：给/order/{orderId}这个资源设置限流，最大QPS为10，利用warm up效果，预热时长为5秒

img

流控效果-排队等待

当请求超过QPS阈值时，快速失败和warm up会拒绝新的请求并抛出异常。而排队等待则让所有请求进入一个队列中，然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成，如果请求预期的等待时间超出最大时长，则会被拒绝。

例如：QPS=5，意味着每200ms处理一个队列中的请求；timeout=2000，意味着预期等待超过2000ms的请求会被拒绝并抛出异常

img

案例：流控效果-排队等待

需求：给/order/{orderId}这个资源设置限流，最大QPS为10，利用排队流控效果，超时时长设置为5s

img

测试结果

img

热点参数限流

在热点参数限流的高级选项中，可以对部分参数设置例外配置：

img

结合上一个配置，这里的含义是对0号的long类型参数限流，每1秒相同参数的QPS不能超过5，有两个例外：

  • 如果参数值是100，则每1秒允许的QPS为10
  • 如果参数值是101，则每1秒允许的QPS为15

案例：热点参数限流

给/order/{orderId}这个资源添加热点参数限流，规则如下：

**注意：**热点参数限流对默认的SpringMVC资源无效，需要通过注解配置的才有效

@SentinelResource("hot")
@GetMapping("{orderId}")
public Order queryOrderByUserId(@PathVariable("orderId") Long orderId) {
    // 根据id查询订单并返回
    return orderService.queryOrderById(orderId);
}
  • 默认的热点参数规则是每1秒请求量不超过2
  • 给102这个参数设置例外：每1秒请求量不超过4
  • 给103这个参数设置例外：每1秒请求量不超过10

img

对于默认值：

img

对于102：

img

对于103：

img

隔离和降级

隔离和降级

虽然限流可以尽量避免因高并发引起服务故障，当服务还会因其它原因而故障。而要将这些故障控制在一定范围，避免雪崩，就要靠线程隔离（舱壁模式）和熔断降级手段了。

不管是线程隔离还是熔断降级，都是对客户端的保护

img

Feign整合Sentinel

SpringCloud中，微服务调用都是通过Feign来实现的，因此做客户端保护必须整合Feign和Sentinel。

1.修改OrderService的application.yml文件，开启Feign的Sentinel功能

feign:
	sentinel:
  	enabled: true # 开启Feign的Sentinel功能

2.给FeignClient编写失败后的降级逻辑

  • 方式一：FallbackClass，无法对远程调用的异常做处理
  • 方式二：FallbackFactory，可以对远程调用的异常做处理。（√）
package cn.itcast.order.clients.fallback;

import cn.itcast.order.clients.UserClient;
import cn.itcast.order.pojo.User;
import feign.hystrix.FallbackFactory;
import lombok.extern.slf4j.Slf4j;

/**
 * @author xc
 * @date 2023/5/14 20:03
 */
@Slf4j
public class UserClientFallbackFactory implements FallbackFactory<UserClient> {
    @Override
    public UserClient create(Throwable throwable) {
        return new UserClient() {
            @Override
            public User findById(Long id) {
                log.error("查询用户异常", throwable);
                return new User();
            }
        };
    }
}

将该工厂注册成Spring管理的Bean

@Bean
public UserClientFallbackFactory userClientFallbackFactory(){
    return new UserClientFallbackFactory();
}

在Sentinel控制台能看到

img

线程隔离

线程隔离有两种方式实现：

  • 线程池隔离
  • 信号量隔离（Sentinel默认采用）

img

两者对比：

img

舱壁模式

在添加限流规则时，可以选择两种阈值类型：

在这里插入图片描述

  • QPS：就是每秒的请求数，在快速入门中已经演示过了
  • 线程数：是该资源能使用用的tomcat线程数的最大值。也就是通过限制线程数量，实现舱壁模式
案例：

需求：给UserClient的查询用户接口设置流控规则，线程数不能超过2。

img

降级熔断

熔断降级是解决雪崩问题的重要手段。其思路是由断路器统计服务调用异常比例、慢请求比例，如果超出阈值则会熔断该服务。即拦截访问该服务的一切请求；而当服务恢复时，断路器会放行该服务的请求。

img

熔断策略-慢调用

断路器熔断策略有三种：慢调用、异常比例、异常数

  • 慢调用：业务的响应时长（RT）大于指定时长的请求认定为慢调用请求。在指定时间内，如果请求数量超过设定的最小数量，慢调用比例大于设定的阈值，则触发熔断。例如：

img

解读：RT超过500ms的调用是慢调用，统计最近1000ms内的请求，如果请求量超过5次，并且慢调用比例不低于0.5，则触发熔断，熔断时长为5s。然后进入half-open状态，放行一次请求做测试。

案例

需求：给UserClient的查询用户接口设置降级规则，慢调用的RT阈值为50ms，统计时间为1秒，最小请求数量为5，失败阈值比例为0.4，熔断时长为5

    @GetMapping("/{id}")
    public User queryById(@PathVariable("id") Long id,@RequestHeader(value = "Truth",required = false) String truth) throws InterruptedException {
        System.out.println(truth);
        if (id == 1) {
            Thread.sleep(60);
        }
        return userService.queryById(id);
    }

在这里插入图片描述

熔断策略-异常比例、异常数

断路器策略有三种：慢调用、异常比例或异常数

  • 异常比例或异常数：统计指定时间内的调用，如果调用次数超过指定请求数，并且出现异常比例到设定的比例阈值，则触发熔断。

img

异常数

img

解读：统计最近1000ms内的请求，如果请求量超过10次，并且异常比例不低于0.5，则触发熔断，熔断时长为5秒。然后进入half-open状态，放行一次请求做测试。

案例：异常比例

需求：给UserClient的查询用户接口设置降级规则，统计时间为1秒，最小请求数量为5，失败阈值比例为0.4，熔断时长为5s

    @GetMapping("/{id}")
    public User queryById(@PathVariable("id") Long id,@RequestHeader(value = "Truth",required = false) String truth) throws InterruptedException {
        System.out.println(truth);
        if (id == 1) {
            Thread.sleep(60);
        } else if (id == 2) {
            throw new RuntimeException("故意抛出异常");
        }
        return userService.queryById(id);
    }

快速刷新102后，再调用103

img

授权规则

授权规则

授权规则可以对调用方的来源做控制，有白名单和黑名单两种方式。

  • 白名单：来源在白名单内调用者允许访问
  • 黑名单：来源在黑名单的调用者不允许访问

img

例如，我们呢限定只允许网关来的请求访问order-service，那么流控应用中就填写网关名称

img

Sentinel是通过RequestOriginParser这个接口的parseOrigin来获取请求的来源。

package cn.itcast.order.sentinel;

import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.RequestOriginParser;
import org.springframework.stereotype.Component;
import org.springframework.util.StringUtils;

import javax.servlet.http.HttpServletRequest;

/**
 * @author xc
 * @date 2023/5/14 21:30
 */
@Component
public class HeaderOriginParser implements RequestOriginParser {
    @Override
    public String parseOrigin(HttpServletRequest request) {
        // 1.获取请求头
        String origin = request.getHeader("origin");
        // 2.非空判读
        if (StringUtils.isEmpty(origin)) {
            origin = "blank";
        }
        return origin;
    }
}

配置网关过滤器

  default-filters:
    - AddRequestHeader=origin,gateway

直接访问微服务：

img

通过网关访问：

img

自定义异常结果

默认情况下，发生限流、降级、授权拦截时，都会抛出异常到调用方。如果自定义异常时的返回结果，需要实现BlockExceptionHandler接口

而BlockException包含很多子类，分别对应不同的场景：

img

我们在order-service中定义类，实现BlockExceptionHandler接口：

package cn.itcast.order.sentinel;

import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.BlockExceptionHandler;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import com.alibaba.csp.sentinel.slots.block.authority.AuthorityException;
import com.alibaba.csp.sentinel.slots.block.degrade.DegradeException;
import com.alibaba.csp.sentinel.slots.block.flow.FlowException;
import com.alibaba.csp.sentinel.slots.block.flow.param.ParamFlowException;
import org.springframework.stereotype.Component;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

/**
 * @author xc
 * @date 2023/5/14 21:43
 */
@Component
public class SentinelExceptionHandler implements BlockExceptionHandler {
    @Override
    public void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception {
        String msg = "未知异常";
        int status = 429;
        if (e instanceof FlowException) {
            msg = "请求被限流了";
        } else if (e instanceof ParamFlowException) {
            msg ="请求被降级了";
        } else if (e instanceof DegradeException) {
            msg = "没有权限访问";
        } else if (e instanceof AuthorityException) {
            msg = "没有权限访问";
            status = 401;
        }

        response.setContentType("application/json;charset=utf-8");
        response.setStatus(status);
        response.getWriter().println("{\"msg\":"+msg+", \"status\":" + status+"}");
    }
}

img

规则持久化

规则管理模式

Sentinel的控制台规则管理由三种模式：

  • 原始模式：Sentinel的默认模式，将规则保存在内存，重启服务会丢失。
  • pull模式
  • push模式

规则管理模式-pull模式

pull模式：控制台将配置的规则推送到Sentinel客户端，而客户端会将配置规则保存在本地文件或数据库中。以后会定时去本地文件或数据库中查询，更新本地规则。

img

规则管理模式-push模式

push模式：控制台将配置规则推送到远程配置中心，例如Nacos。Sentinel客户端监听Nacos，获取配置变更的推送消息，完成本地配置更新。

img

实现push模式

push模式实现最为复杂，依赖于nacos，并且需要修改Sentinel控制台源码。

Sentinel 规则持久化

一、修改order-service服务

修改OrderService，让其监听Nacos中的sentinel规则配置。

具体步骤如下：

1.引入依赖

在order-service中引入sentinel监听nacos的依赖：

<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
2.配置nacos地址

在order-service中的application.yml文件配置nacos地址及监听的配置信息：

spring:
  cloud:
    sentinel:
      datasource:
        flow:
          nacos:
            server-addr: localhost:8848 # nacos地址
            dataId: orderservice-flow-rules
            groupId: SENTINEL_GROUP
            rule-type: flow # 还可以是：degrade、authority、param-flow
二、修改sentinel-dashboard源码

SentinelDashboard默认不支持nacos的持久化，需要修改源码。

1. 解压

解压课前资料中的sentinel源码包：

img

然后并用IDEA打开这个项目，结构如下：

img

2. 修改nacos依赖

在sentinel-dashboard源码的pom文件中，nacos的依赖默认的scope是test，只能在测试时使用，这里要去除：

img

将sentinel-datasource-nacos依赖的scope去掉：

<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
3. 添加nacos支持

在sentinel-dashboard的test包下，已经编写了对nacos的支持，我们需要将其拷贝到main下。

img

4. 修改nacos地址

然后，还需要修改测试代码中的NacosConfig类：

img

修改其中的nacos地址，让其读取application.properties中的配置：

img

在sentinel-dashboard的application.properties中添加nacos地址配置：

nacos.addr=localhost:8848
5. 配置nacos数据源

另外，还需要修改com.alibaba.csp.sentinel.dashboard.controller.v2包下的FlowControllerV2类：

img

让我们添加的Nacos数据源生效：

在这里插入图片描述

6. 修改前端页面

接下来，还要修改前端页面，添加一个支持nacos的菜单。

修改src/main/webapp/resources/app/scripts/directives/sidebar/目录下的sidebar.html文件：

img

将其中的这部分注释打开：

img

修改其中的文本：

img

7. 重新编译、打包项目

运行IDEA中的maven插件，编译和打包修改好的Sentinel-Dashboard：

img

8.启动

启动方式跟官方一样：

java -jar sentinel-dashboard.jar

如果要修改nacos地址，需要添加参数：

java -jar -Dnacos.addr=localhost:8848 sentinel-dashboard.jar
xc6
关注
专栏目录
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值