Spring Cloud 学习笔记之——11 SpringCloud Stream消息驱动

最新推荐文章于 2022-11-04 15:54:40 发布

凌逸轩

最新推荐文章于 2022-11-04 15:54:40 发布

阅读量2.1k

点赞数 1

文章标签： spring cloud

本文链接：https://blog.csdn.net/qq_38777021/article/details/122741033

版权

我们常用的消息中间件有四种：ActiveMQ、RabbitMQ、RocketMQ 和 Kafka。把这四种 MQ 都用好不是件容易的事情，我们希望只通过一种适配绑定的方式，自动给我们在各种 MQ 内切换，以达到降低开发的难度目的，屏蔽底层消息中间件的差异，降低切换版本，统一消息的编程模型。

消息驱动概述

Spring Cloud Stream 简介

设计思想

Spring Cloud Stream标准流程套路

消息驱动概述

Spring Cloud Stream 简介

Spring Cloud Stream 是一个构建消息驱动的微服务的框架，应用程序通过 inputs 或者 outputs 来与 Spring Cloud Stream 中的 binder 对象交互。通过我们配置来 binding(绑定)，而Spring Cloud Stream 的 binder 对象负责与消息中间件交互，只需要搞清楚如何与Spring Cloud Stream 交互就可以方便使用消息驱动的方式，通过使用Spring Integration 来连接信息代理中间件以实现消息事件驱动。Spring Cloud Stream 为一些供应商的消息中间件提供了个性化的自动化配置实现，引用了发布-订阅、消费组、分区三个核心概念，目前只支持 RabbitMQ 和 Kafka 两种消息中间件。

Spring Cloud Stream是用于构建与共享消息传递系统连接的高度可伸缩的事件驱动微服务框架，该框架提供了一个灵活的编程模型，它建立在已经建立和熟悉的Spring熟语和最佳实践上，包括支持持久化的发布/订阅、消费组以及消息分区这三个核心概念

Spring Cloud Stream 的相关网页：Spring Cloud Stream

Spring Cloud Stream 官方说明文档：官方文档

Spring Cloud 中文指导手册：Spring Cloud Stream中文指导手册

设计思想

标准的消息队列设计

生产者/消费者之间靠消息媒介传递信息内容：Message

消息必须走特定的通道：消息通道 MessageChannel

消息通道里的消息如何被消费呢，谁负责收发处理：消息通道 MessageChannel 的子接口SubscribableChannel, 由MessageHandler消息处理器订阅

为什么用Cloud Stream

Stream为什么可以统一底层差异，常用的消息中间件 RabbitMQ 和 Kafka 在架构上有所不同，RabbitMQ 有 exchange， kafka 有 Topic 和 Partitions 分区；这些中间件的差异性导致我们实际项目开发给我们造成了一定的困扰，我们如果用了两个消息队列的其中一种，后面的业务需求，我想往另外一种消息队列进行迁移，这时候无疑就是一个灾难性的，一大堆东西都要重新推倒重新做，因为它跟我们的系统耦合了，这时候springcloud Stream给我们提供了一种解耦合的方式。

在没有绑定器这个概念的情况下，我们的SpringBoot应用要直接与消息中间件进行信息交互的时候,由于各消息中间件构建的初衷不同，它们的实现细节上会有较大的差异性通过定义绑定器作为中间层，完美地实现了应用程序与消息中间件细节之间的隔离。通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同的消息中间件实现。通过定义绑定器 Binder 作为中间层，实现了应用程序与消息中间件细节之间的隔离。

Stream对消息中间件的进一步封装，可以做到代码层面对中间件的无感知，甚至于动态的切换中间件(rabbitmq切换为kafka)，使得微服务开发的高度解耦，服务可以关注更多自己的业务流程。

Spring Cloud Stream标准流程套路

Binder 很方便的连接中间件，屏蔽差异

Channel 通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过对Channel对队列进行配置

Source和Sink 简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接受消息就是输入

编码API和常用注解

组成	说明
Middleware	中间件，目前只支持 RabbitMQ 和 Kafka
Binder	Binder 是应用与消息中间件之间的封装，目前实行了 Kafka 和 RabbitMQ 的Binder，通过Binder 可以很方便的连接中间件，可以动态的改变消息类型（对应的 Kafka 的 topic，RabbitMQ 的 Exchange），这些都可以通过配置文件来实现
@Input	注解标识输入通道，通过该输入通道接收到的信息进入应用程序
@Output	注解标识输出通道，发布的消息将通过改通道离开应用程序
@StreamListener	监听队列，用于消费者的队列的消息接收
@EnableBinding	指信道 channel 和 exchange 绑定在一起

案例说明

先安装好 RabbitMQ

要创建的模块如下所示：

模块名称	主要功能
cloud-stream-rabbitmq-provider8801	生产者发送消息
cloud-stream-rabbitmq-consumer8802	消息接收
cloud-stream-rabbitmq-consumer8803	消息接收

消息驱动之生产者

新建模块 cloud-stream-rabbitmq-provider8801

1、添加 POM 依赖

    <dependencies>
        <!--RabbitMQ -->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>

        <dependency>
            <groupId>com.atyixuan</groupId>
            <artifactId>cloud-api-commons</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
        
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

2、application.yml 配置文件

server:
  port: 8801

spring:
  application:
    name: cloud-stream-provider

  rabbitmq:
    host: 服务器 IP 地址
    port: 5672
    username: guest
    password: guest

  cloud:
    stream:
      binders: # 在此处配置要绑定的rabbitmq的服务信息；
        defaultRabbit: # 表示定义的名称，用于 binding整合
          type: rabbit # 消息组件类型


      bindings: # 服务的整合处理
        output: # 这个名字是一个通道的名称
          destination: studyExchange # 表示要使用的Exchange名称定义,此名称会在 RabbitMQ 网页上显示
          content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
          binder: defaultRabbit  # 设置要绑定的消息服务的具体设置


eureka:
  client: # 客户端进行Eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
    instance-id: send-8801.com  # 在信息列表时显示主机名称
    prefer-ip-address: true     # 访问的路径变为IP地址

3、主启动类：com.atyixuan.springcloud.StreamMQMain8801

@EnableEurekaClient
@SpringBootApplication
public class StreamMQMain8801 {
    public static void main(String[] args) {
        SpringApplication.run(StreamMQMain8801.class, args);
    }
}

4、业务类：

4.1、发送消息的接口：com.atyixuan.springcloud.service.IMessageProvider

public interface IMessageProvider {
    public String send();
}

4.2、发送消息的实现类：com.atyixuan.springcloud.service.impl.MessageProviderImpl

import org.springframework.cloud.stream.annotation.EnableBinding;

// 注意 Source 这个包不要倒入出错
import org.springframework.cloud.stream.messaging.Source;
import org.springframework.integration.support.MessageBuilder;
import org.springframework.messaging.MessageChannel;

import javax.annotation.Resource;
import java.util.UUID;


//定义消息生产者的推送管道
@EnableBinding(Source.class)
public class MessageProviderImpl implements IMessageProvider {

    // 消息发送管道
    @Resource
    private MessageChannel output;

    @Override
    public String send() {
        String serial = UUID.randomUUID().toString();

        output.send(MessageBuilder.withPayload(serial).build());
        System.out.println("*****serial: "+serial);
        return null;
    }
}

4.3、Controller：com.atyixuan.springcloud.controller.SendMessageController

@RestController
public class SendMessageController {
    @Resource
    private IMessageProvider messageProvider;

    @GetMapping(value = "/sendMessage")
    public String sendMessage(){
        return messageProvider.send();
    }
}

5、测试

启动 cloud-eureka-server7001

启动 RabbitMQ，进入链接：http://服务器 IP 地址:15672/

启动 cloud-stream-rabbitmq-provider8801

浏览器中输入：http://localhost:8801/sendMessage

在 cloud-stream-rabbitmq-provider8801 的控制台上会显示如下输出：

*****serial: 99f6f02a-af9b-4f2d-9f42-d6bc0973ae05

消息驱动之消费者

新建 cloud-stream-rabbitmq-consumer8802

1、POM 依赖

 <dependencies>
        <!--RabbitMQ -->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>

        <dependency>
            <groupId>com.atyixuan</groupId>
            <artifactId>cloud-api-commons</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

2、YML 配置文件

server:
  port: 8802

spring:
  application:
    name: cloud-stream-consumer

  rabbitmq:
    host: 服务器 IP 地址
    port: 5672
    username: guest
    password: guest

  cloud:
    stream:
      binders: # 在此处配置要绑定的rabbitmq的服务信息；
        defaultRabbit: # 表示定义的名称，用于于binding整合
          type: rabbit # 消息组件类型

      bindings: # 服务的整合处理
        input: # 这个名字是一个通道的名称
          destination: studyExchange # 表示要使用的Exchange名称定义
          content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
          binder: defaultRabbit  # 设置要绑定的消息服务的具体设置

eureka:
  client: # 客户端进行Eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
    instance-id: receive-8802.com  # 在信息列表时显示主机名称
    prefer-ip-address: true     # 访问的路径变为IP地址

3、主启动类：com.atyixuan.springcloud.StreamMQMain8802

@EnableEurekaClient
@SpringBootApplication
public class StreamMQMain8802 {
    public static void main(String[] args) {
        SpringApplication.run(StreamMQMain8802.class, args);
    }
}

4、业务类：com.atyixuan.springcloud.controller.ReceiveMessageListenerController

@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListenerController {
    @Value(value = "${server.port}")
    private String serverPort;

    @StreamListener(Sink.INPUT)
    public void input(Message<String> message){
        System.out.println("消费者 1号, --------> 接收到的消息： " + message.getPayload() + "\t port: " + serverPort);
    }
}

5、测试

启动 cloud-eureka-server7001

启动 RabbitMQ，进入链接：http://服务器 IP 地址:15672/

启动 cloud-stream-rabbitmq-provider8801 和 cloud-stream-rabbitmq-consumer8802

浏览器中输入：http://localhost:8801/sendMessage

cloud-stream-rabbitmq-consumer8802 的控制台上的如下输出：

消费者 1号, --------> 接收到的消息： cd8cda45-3d1b-4f00-9923-a0a6344111e3	 port: 8802

分组消费与持久化

cloud-stream-rabbitmq-consumer8803

1、POM 依赖

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <!--基础配置-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

2、YML 配置文件

server:
  port: 8803

spring:
  application:
    name: cloud-stream-consumer

  rabbitmq:
    host: 服务器 IP 地址
    port: 5672
    username: guest
    password: guest

  cloud:
    stream:
      binders: # 在此处配置要绑定的rabbitmq的服务信息；
        defaultRabbit: # 表示定义的名称，用于于binding整合
          type: rabbit # 消息组件类型

      bindings: # 服务的整合处理
        input: # 这个名字是一个通道的名称
          destination: studyExchange # 表示要使用的Exchange名称定义
          content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
          binder: defaultRabbit  # 设置要绑定的消息服务的具体设置

eureka:
  client: # 客户端进行Eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
    instance-id: receive-8803.com  # 在信息列表时显示主机名称
    prefer-ip-address: true     # 访问的路径变为IP地址

3、主启动类：com.atyixuan.springcloud.StreamMQMain8803

@SpringBootApplication
public class StreamMQMain8803 {
    public static void main(String[] args) {
        SpringApplication.run(StreamMQMain8803.class, args);
    }
}

4、业务类：com.atyixuan.springcloud.controller.ReceiveMessageListenerController

@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListenerController {
    @Value("${server.port}")
    private String serverPort;

    @StreamListener(Sink.INPUT)
    public void input(Message<String> message)
    {
        System.out.println("消费者2号,----->接受到的消息: "+message.getPayload()+"\t  port: "+serverPort);
    }
}

5、测试

启动 cloud-eureka-server7001

启动 RabbitMQ，进入链接：http://服务器 IP 地址:15672/

启动 cloud-stream-rabbitmq-provider8801 和 cloud-stream-rabbitmq-consumer8802 和 cloud-stream-rabbitmq-consumer8803

浏览器中输入：http://localhost:8801/sendMessage

在cloud-stream-rabbitmq-consumer8802 的控制台上会有如下输出：

消费者 1号, --------> 接收到的消息： 36aa8923-87a2-4a36-a0ba-8db5012d428d	 port: 8802

在 cloud-stream-rabbitmq-consumer8803的控制台会有如下输出：

消费者2号,----->接收到的消息: 36aa8923-87a2-4a36-a0ba-8db5012d428d	  port: 8803

目前存在的问题：重复消费和消息持久化问题

重复消费：

目前是cloud-stream-rabbitmq-consumer8802 和 cloud-stream-rabbitmq-consumer8803同时都收到了，存在重复消费问题

导致原因：cloud-stream-rabbitmq-consumer8802 和 cloud-stream-rabbitmq-consumer8803 被认为是不同的组，下图是 RabbitMQ 中针对两个微服务随机生成的组名称，微服务应用放置于同一个group中，就能够保证消息只会被其中一个应用消费一次。不同的组是可以消费的，同一个组内会发生竞争关系，只有其中一个可以消费。

在如下场景中，订单系统做集群部署，都会从 RabbitMQ 中获取订单信息，如果一个订单同时被两个服务h8uoqu，就会造成数据错误，为了避免这种情况，我们使用 Stream 中的消息分组来解决，注意 Stream 中处于同一个 group 中的多个消费者是竞争关系，就能够保证消息只会被其中一个应用消费一次，不同组是可以全面消费（重复消费）

解决方法：在两个微服务中添加 group: groupA 这个配置项

修改 cloud-stream-rabbitmq-consumer8802 的 yml 配置文件

server:
  port: 8802

spring:
  application:
    name: cloud-stream-consumer

  rabbitmq:
    host: 服务器 IP地址
    port: 5672
    username: guest
    password: guest

  cloud:
    stream:
      binders: # 在此处配置要绑定的rabbitmq的服务信息；
        defaultRabbit: # 表示定义的名称，用于于binding整合
          type: rabbit # 消息组件类型

      bindings: # 服务的整合处理
        input: # 这个名字是一个通道的名称
          destination: studyExchange # 表示要使用的Exchange名称定义
          content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
          binder: defaultRabbit  # 设置要绑定的消息服务的具体设置
          group: groupA

eureka:
  client: # 客户端进行Eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
    instance-id: receive-8802.com  # 在信息列表时显示主机名称
    prefer-ip-address: true     # 访问的路径变为IP地址

修改 cloud-stream-rabbitmq-consumer8803 的 yml 配置文件

server:
  port: 8803

spring:
  application:
    name: cloud-stream-consumer

  rabbitmq:
    host: 服务器 IP地址
    port: 5672
    username: guest
    password: guest

  cloud:
    stream:
      binders: # 在此处配置要绑定的rabbitmq的服务信息；
        defaultRabbit: # 表示定义的名称，用于于binding整合
          type: rabbit # 消息组件类型

      bindings: # 服务的整合处理
        input: # 这个名字是一个通道的名称
          destination: studyExchange # 表示要使用的Exchange名称定义
          content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
          binder: defaultRabbit  # 设置要绑定的消息服务的具体设置
          group: groupA

eureka:
  client: # 客户端进行Eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
    instance-id: receive-8803.com  # 在信息列表时显示主机名称
    prefer-ip-address: true     # 访问的路径变为IP地址

启动 cloud-eureka-server7001

启动 RabbitMQ，进入链接：http://服务器 IP 地址:15672/

启动 cloud-stream-rabbitmq-provider8801 和 cloud-stream-rabbitmq-consumer8802 和 cloud-stream-rabbitmq-consumer8803

浏览器中输入：http://localhost:8801/sendMessage 至少刷新 3次

在cloud-stream-rabbitmq-consumer8802 的控制台上会有如下输出：

消费者 1号, --------> 接收到的消息： 340be224-95a7-4fb8-8f86-322e603851b3	 port: 8802

在cloud-stream-rabbitmq-consumer8803 的控制台上会有如下输出：

消费者2号,----->接收到的消息: 6172e3ed-cf65-466d-aefa-a5f0d93d95c0	  port: 8803
消费者2号,----->接收到的消息: a82f78f3-293e-4cc7-a345-b032922f39c2	  port: 8803

持久化问题

问题描述：停止cloud-stream-rabbitmq-consumer8802 和 cloud-stream-rabbitmq-consumer8803并注释掉 cloud-stream-rabbitmq-consumer8802 yml 配置文件中的分组 group:groupA

启动 cloud-eureka-server7001

启动 cloud-stream-rabbitmq-provider8801

浏览器中输入：http://localhost:8801/sendMessage 至少刷新 3次

然后启动 cloud-stream-rabbitmq-consumer8802 和 cloud-stream-rabbitmq-consumer8803

在 cloud-stream-rabbitmq-consumer8803 的控制台上打印输出如下内容：

在 cloud-stream-rabbitmq-consumer8802 的控制台上打印输出如下内容：

由于 cloud-stream-rabbitmq-consumer8803 中具有分组属性，后台打印出了 RabbitMQ 中的信息

由于 cloud-stream-rabbitmq-consumer8802 中不具有分组属性，后台没有打印出 RabbitMQ 中的信息，这就是持久化问题，解决方法和上面一样，给微服务的 yml 配置文件中添加 group 的配置项，这样就避免出现因为微服务掉线重启之后的消息丢失问题。

凌逸轩

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Spring Cloud 学习笔记之——11 SpringCloud Stream消息驱动

SpringCloud 之 Stream
复制链接

扫一扫

Spring Cloud 学习笔记之——11 SpringCloud Stream消息驱动

消息驱动概述

Spring Cloud Stream 简介

设计思想

Spring Cloud Stream标准流程套路

案例说明

消息驱动之生产者

消息驱动之消费者

分组消费与持久化

目前存在的问题：重复消费 和 消息持久化问题

重复消费：

持久化问题

“相关推荐”对你有帮助么？

目前存在的问题：重复消费和消息持久化问题