SpringCloud(H版&alibaba)框架开发教程学习笔记五-Stream、Sleuth

最新推荐文章于 2024-08-21 20:34:15 发布

yongmingyongye

最新推荐文章于 2024-08-21 20:34:15 发布

阅读量146

点赞数

分类专栏： SpringCloud 文章标签：中间件 java

本文链接：https://blog.csdn.net/yongmingyongye/article/details/117090928

版权

SpringCloud 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文详细介绍了Spring Cloud Stream如何实现消息驱动，通过案例展示了生产者和消费者的配置及运行过程，强调了消息分组在解决重复消费问题中的作用。此外，还探讨了Sleuth在分布式请求链路跟踪中的应用，包括其解决的问题、工作原理，并给出了简单测试案例。

摘要由CSDN通过智能技术生成

1、Stream 消息驱动

1.1 概述

1.1.1 设计思想

1.1.2 Spring Cloud Stream标准流程套路

1、Stream 消息驱动

1.1 概述

简述：屏蔽底层消息中间件的差异，降低切换成本，统一消息的编程模型。

官网：https://spring.io/projects/spring-cloud-stream#overview

什么是Spring-Cloud-Stream？

官方定义Spring Cloud Stream是一个构建消息驱动微服务的框架。

应用程序通过inputs或outputs来与Spring Cloud Stream中binder对象交互。通过配置binding（绑定），而Spring Cloud Stream的binder对象负责与消息中间件交互。所以，我们只需要搞清楚如何与Spring Cloud Stream交互就可以方便使用消息驱动的方式。

通过使用S热评 Integration来连接消息代理中间件以实现消息事件驱动。Spring Cloud Stream为一些供应商的消息中间件提供了个性化的自动化配置实现，引用了发布-订阅、消费组、分区的三个核心概念。

目前仅支持RabbitMQ、kafka。

1.1.1 设计思想

（1）标准MQ

生产者/消费者之间靠消息媒介传递信息内容：Message

消息必须走特定的通道：消息通道MessageChannel

消息通道里的消息如何被消费呢，谁负责收发处理：消息通道MessageChannel的子接口SubscribableChannel，由MessageHandler消息处理器所订阅

（2）为什么用Cloud Stream

比方说我们用到了RabbitMQ和Kafka，由于这两个消息中间件的架构上的不同，像RabbitMQ有exchange，kafka有Topic和Partitions分区。这些中间件的差异性导致我们实际项目开发给我们造成了一定的困扰，我们如果用了两个消息队列的其中一个，后面的业务需要，想往另一种消息队列进行迁移，这时候无疑就是一个灾难性的，一大堆东西都要重新推倒重新做，因为它给我们的系统耦合了，这时候Spring Cloud Stream给我们提供了一种解耦合的方式。

Stream凭什么可以统一底层差异？

在没有绑定器这个概念的情况下，我们的SpringBoot应用要直接与中间件进行消息交互的时候，由于各消息中间件构建的初衷不同，他们的实现细节上会有较大的差异性。

通过定义绑定器作为中间件，完美地实现了用用程序与消息中间件细节之间的隔离。

通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同的消息中间件实现。

（3）Stream中的消息通信方式遵循了发布-订阅模式

Topic主题进行广播：在RabbitMQ就是Exchange，在Kafka中就是Topic

1.1.2 Spring Cloud Stream标准流程套路

Binder：很方便的连接中间件，屏蔽差异

Channel：通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过Channel对队列进行配置

Source和Sink：简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接收消息就是输入

常用编码注解：

1.2 案例说明

新建三个项目：

1.2.1 消息驱动之生产者

新建Moduke：cloud-stream-rabbitmq-provider8801

pom文件：

<dependencies>

    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
    </dependency>

    <!-- eureka client-->
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-actuator</artifactId>
    </dependency>

    <!-- 基础配置 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
        <scope>runtime</scope>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

yml文件：

server:
  port: 8801
spring:
  application:
    name: cloud-stream-provider
  cloud:
    stream:
      binders: # 在此处配置要绑定的rabbitmq的服务信息
        defaultRabbit: # 表示定义的名称，用于binding整合
          type: rabbit # 消息组件类型
          environment: # 设置rabbitmq的相关配置
            spring:
              rabbitmq:
                host: localhost
                port: 5672
                username: guest
                password: guest
      bindings: # 服务的整合处理
        output: # 这个名字是一个通道的名称
          destination: studyExchange # 表示要使用的Exchange名称定义
          content-type: application/json # 设置消息类型，本次为json，文本则设置为"text/plain"
          binder: defaultRabbit # 设置要绑定的消息服务的具体设置

eureka:
  client:
    service-url:
      defaultZone: http://eureka7001.com:7001/eureka/
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认30s）
    lease-expiration-duration-in-seconds: 5 # 如果超过了5s的间隔（默认90s）
    instance-id: send-8801.com # 在信息列表显示主机名称
    prefer-ip-address: true # 访问的路径变为ip地址

业务类：

@EnableBinding(Source.class) // 定义消息的推送管道
@Slf4j
public class MessageProviderImpl implements IMessageProvider {

    @Resource
    private MessageChannel output; //消息发送管道

    @Override
    public String send() {
        String serial = UUID.randomUUID().toString();
        output.send(MessageBuilder.withPayload(serial).build());
        log.info("******** serial：" + serial);
        return null;
    }
}

@RestController
public class SendMessageController {
    @Resource
    private IMessageProvider messageProvider;

    @GetMapping(value = "/sendMessage")
    public String sendMessage() {
        return messageProvider.send();
    }
}

1.2.2 消息驱动-消费者

新建项目cloud-stream-rabbitmq-consumer8802

pom文件：同8801一致

yml文件：

server:
  port: 8802
spring:
  application:
    name: cloud-stream-consumer
  cloud:
    stream:
      binders: # 在此处配置要绑定的rabbitmq的服务信息
        defaultRabbit: # 表示定义的名称，用于binding整合
          type: rabbit # 消息组件类型
          environment: # 设置rabbitmq的相关配置
            spring:
              rabbitmq:
                host: localhost
                port: 5672
                username: guest
                password: guest
      bindings: # 服务的整合处理
        input: # 这个名字是一个通道的名称
          destination: studyExchange # 表示要使用的Exchange名称定义
          content-type: application/json # 设置消息类型，本次为json，文本则设置为"text/plain"
          binder: defaultRabbit # 设置要绑定的消息服务的具体设置

eureka:
  client:
    service-url:
      defaultZone: http://eureka7001.com:7001/eureka/
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认30s）
    lease-expiration-duration-in-seconds: 5 # 如果超过了5s的间隔（默认90s）
    instance-id: send-8802.com # 在信息列表显示主机名称
    prefer-ip-address: true # 访问的路径变为ip地址

业务类：

@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListenerController {
    @Value("${server.port}")
    private String serverport;
    
    @StreamListener(Sink.INPUT)
    public void input(Message<String> message) {
        System.out.println("消费者1号，接收到的消息：" + message.getPayload() + "\tport:" + serverport);
    }
            
}

根据8802clone一份8803出来

1.2.3 运行两个消费端所遇问题

（1）重复消费问题

8802、8803同时都收到了8801发送的消息，存在重复消费问题。

如何解决：分组和持久化属性group

1）举例：生产实际案例

比如在如下场景中，订单系统我们做集群部署，都会从RabbitMQ中获取订单信息，那如果一个订单同时被两个服务获取到，name就会造成数据错误，我们得避免这种情况。这是我们就可以使用Stream中的消息分组来解决。

注意：在Stream中处于同一个group的多个消费者是竞争关系，就能够保证消息只会被其中一个应用只消费一次。不同组是可以全面消费的（重复消费）

导致原因：默认分组group是不同的，组流水号不一样，被认为不同组，可以消费

解决方式：自定义分组，自定义配置分为同一组

2）分组

原理：微服务应用放置于同一个group中，就能够保证消息只会被其中一个应用消费一次。不同的组是可以消费的，同一个组内会发生竞争关系，只有其中一个可以消费。

问题再现：

8802/8803都变成不同组，group两个不同：groupA、groupB

修改yml文件：

bindings: # 服务的整合处理
  input: # 这个名字是一个通道的名称
    destination: studyExchange # 表示要使用的Exchange名称定义
    content-type: application/json # 设置消息类型，本次为json，文本则设置为"text/plain"
    binder: defaultRabbit # 设置要绑定的消息服务的具体设置
    group: groupA

配置后效果如下：

分布式微服务应用为了实现高可用和负载均衡，实际上都会部署多个实例，这里启动了8802、8803。多数情况，生产者发送消息给某个具体微服务时只希望被消费一次，按照上面我们启动的两个应用例子，虽然它们同属一个应用，但这个消息出现了被重复消费两次的情况。为解决这个问题，在Spring Cloud Stream中提供了消费组的概念。

轮询分组：

8802/8803实现了轮询分组，每次只有一个消费者。8801模块的发的消息只能被8802或8803其中一个接受到，这样避免了重复消费。8802/8803都变成相同组，group两个相同。

持久化：

停止8802/8803并去除掉8802的分组group:groupA，注意8803的分组没有去掉。

8801先发送4条消息到RabbitMQ

先启动8802，无分组属性配置，后台没有打印出信息

再启动8803，有分组属性配置，后台打出相应信息

2、Sleuth 分布式请求链路跟踪

2.1、概述

（1）为什么会出现这个技术？需要解决哪些问题？

在微服务框架中，一个由客户端发起的请求在后端系统中会经过多个不同的服务节点调节来协同产生最后的请求结果，每一个前端请求都会形成一条复杂的分布式服务调用链路，链路中的任何一环出现高延时或错误都会引起整个请求最后的失败。

（2）是什么

官网：https://github.com/spring-cloud/spring-cloud-sleuth

2.2 搭建链路监控步骤

（1）下载zipkin

地址：https://zipkin.io/pages/quickstart.html

运行控制台：http://localhost:9411/zipkin

（2）术语

完整的调用链路：

表示一请求链路，一条链路通过Trace Id唯一标识，Span标识发起的请求信息，各span通过parent id关联起来。

一条链路通过Trace Id唯一标识，Span标识发起的请求信息，各span通过parent id关联起来

整个链路的依赖关系如下：

（3）名词解释

Trace：类似于树结构的Span集合，表示一条调用链路，存在唯一标识

span：表示调用链路来源，通俗的理解span就是一次请求信息

（4）案例测试

1）服务提供者

在项目8001项目（之前的文章里有创建）的pom中添加（这里为了查阅方便已后续添加完整依赖）：

<dependencies>

    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-zipkin</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-actuator</artifactId>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid-spring-boot-starter</artifactId>
    </dependency>
    <!-- mysql -->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>
    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
    </dependency>
    <!-- jdbc -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
        <scope>runtime</scope>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>com.fx.springcloud</groupId>
        <artifactId>cloud-api-commons</artifactId>
        <version>${project.version}</version>
    </dependency>

    <!-- eureka client-->
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
    </dependency>

</dependencies>

yml文件：

server:
  port: 8001

spring:
  application:
    name: cloud-payment-service
  zipkin:
    base-url: http://localhost:9411
  sleuth:
    sampler:
    # 采样率值介于0 到 1之间， 1则表示全部采集
      probability: 1
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource    # 当前数据源操作类型
    druid:
      url: jdbc:mysql://localhost:3306/db2021?useUnicode=true&characterEncoding=utf-8&useSSL=false
      username: root
      password: root

mybatis:
  mapper-locations: classpath:mapper/*.xml
  type-aliases-package: com.fx.springcloud.entities # 所有Entity别名类所在包
eureka:
  client:
    # 将自身注册到EurekaServer
    register-with-eureka: true
    # true，表示从EurekaServer抓取已有的注册信息
    fetch-registry: true
    service-url:
#      defaultZone: http://eureka7001.com:7001/eureka/,http://eureka7002.com:7002/eureka/
      defaultZone: http://eureka7001.com:7001/eureka/ # 这里主要是测试sleuth，故只用一个单机eureka
  instance:
    instance-id: payment8001
    prefer-ip-address: true # 访问路径可显示IP地址

完成修改后，自定义一个简单Controller中的一个Get请求方法，这里不再赘述。

2）服务消费者

在80子项目中修改，这里与服务提供者类似。

pom文件：

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-zipkin</artifactId>
</dependency>

yml文件：

zipkin:
  base-url: http://localhost:9411
sleuth:
  sampler:
  # 采样率值介于0 到 1之间， 1则表示全部采集
    probability: 1

controller：

    public static final String PAYMENT_URL = "http://CLOUD-PAYMENT-SERVICE";

    @GetMapping("/consumer/payment/zipkin")
    public String paymentZipkin() {
        String result = restTemplate.getForObject(PAYMENT_URL + "/payment/zipkin", String.class);
        return result;
    }