SpringCloudStream集成MQ中间件

最新推荐文章于 2024-07-23 16:07:17 发布

～Mei先森

最新推荐文章于 2024-07-23 16:07:17 发布

阅读量845

点赞数

分类专栏： SpringCloud 文章标签： java spring 后端 spring cloud spring cloud alibaba

本文链接：https://blog.csdn.net/Mowgil/article/details/117522587

版权

SpringCloud 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

第零章序

提问：

众所周知，MQ的集成方案及中间件有很多中，如现在主流的产品：RabbitMQ、RocketMQ、ActiveMQ、KafKa；但有时很意外的是：公司业务服务使用的RabbitMQ，而数据库后台使用的是KafKa，整个项目中使用了2种MQ，可能会导致切换困难，维护成本高等因素。

我们能否像Hibernate时那样，不管底层是Oracle还是MySql亦或者其他数据库，只要给我一组统一的API操作即可？而现在的SpringCloud-Stream就相当于MQ的统一接口。

1、MQ概念

发布/订阅

简单的讲就是一种生产者，消费者模式。发布者是生产，将输出发布到数据中心，订阅者是消费者，订阅自己感兴趣的数据。当有数据到达数据中心时，就把数据发送给对应的订阅者。

消费组

直观的理解就是一群消费者一起处理消息。需要注意的是：每个发送到消费组的数据，仅由消费组中的一个消费者处理。

分区

类比于消费组，分区是将数据分区。举例：某应用有多个实例，都绑定到同一个数据中心，也就是不同实例都将数据发布到同一个数据中心。分区就是将数据中心的数据再细分成不同的区。为什么需要分区？因为即使是同一个应用，不同实例发布的数据类型可能不同，也希望这些数据由不同的消费者处理。这就需要，消费者可以仅订阅一个数据中心的部分数据。这就需要分区这个东西了。

第一章 SpringCloud Stream简介

官网链接：https://spring.io/projects/spring-cloud-stream#overview

中文链接：https://m.wang1314.com/doc/webapp/topic/20971999.html

1、是什么

一句话：屏蔽底层消息中间件的差异，降低切换版本，统一消息的编程模型

2、设计思想

标准的MQ

生产者/消费者之间靠消息媒介传递消息内容：Message
消息必须走特定的通道：消息通道MessageChannel
消息通道里的消息如何被消费呢？谁负责收发消息：消息通道MessageChannel的子接口SubscribableChannel,由MessageHandler消息处理器订阅

为什么要用Cloud Stream

比如说我们用到了RabbitMQ和KafKa，由于这两个消息中间件的架构上的不同，像RabbitMQ有Exchange，KafKa有Topic和Partitions分区。

这些中间件的差异性导致我们实际项目开发给我们造成了一定的困扰，我们如果用了两个消息队列的其中一种，后面的业务需求，我想往另外一种消息队列进行迁移，这时候无疑就是一个灾难性的，一大堆东西都要重新推倒重新做，因为它跟我们的系统耦合了，这时候SpringCloud Stream给我们提供了一种解耦合的方式。

CloudStream怎么统一底层差异性

在没有绑定器这个概念的情况下，我们的SpringBoot应用要直接与消息中间件进行信息交互的时候，由于各消息中间件构建的初衷不同，它们的实现细节上会有较大的差异性。

而CloudStream通过定义绑定绑定器作为中间层，完美地实现了应用程序与消息中间件细节之间的隔离。

通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同消息中间件的实现。

通过Binder(绑定器)作为中间层，实现了应用程序与消息中间件细节之间的隔离，屏蔽底层消息中间件差异，统一开发风格。

INPUT对应于消费者
OUTPUT对应于生产者

CloudStream中的消息通信方式遵循了发布-订阅模式，Topic主题方式进行广播，在RabbitMQ就是Exchange，在KafKa中就是Topic。

3、CloudStream标准流程套路

Binder：很方便的连接中间件，屏蔽差异
Channel：通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过对Channel对队列进行配置
Source和Sink：简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接受消息就是输入

4、编码API和常用注解

组成	说明
Middleware	中间件，目前只支持RabbitMQ和Kafka
Binder	Binder是应用与消息中间件之间的封装，目前实行了Kafka和RabbitMQ的Binder，通过Binder可以很方便的连接中间件，可以动态的改变消息类型(对应于Kafka的topic，RabbitMQ的exchange)，这些都可以通过配置文件来实现
@Input	注解标识输入通道，通过该输入通道接收到的消息进入应用程序
@Output	注解标识输出通道，发布的消息将通过该通道离开应用程序
@StreamListener	监听队列，用于消费者的队列的消息接收
@EnableBinding	指信道channel和exchange绑定在一起

第二章实战SpringCloud Stream

激动吧，说了那么多，终于要实战了！！！

1、前菜

CloudStream目前整合了KafKa和RabbitMQ两个中间件，而这里我们则使用RabbitMQ来进行案例测试
启动RabbitMQ
启动Nacos
消息生产服务blade-stream-provider
消息消费服务blade-stream-consumer-a
消息消费服务blade-stream-consumer-b

2、创建生产者服务

POM

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>

YML

spring:
  cloud:
    stream:
      # 进行rabbit的相关绑定配置
      rabbit:
        bindings:
          stream-output:
            # 进行生产端端配置
            producer:
              #定义 RoutingKey 的表达式配置
              routing-key-expression: '''stream-key'''
      # 在此处配置要绑定的rabbitmq的服务信息；
      binders:
        # 表示定义的名称，用于于binding整合
        default-rabbit:
          # 消息组件类型
          type: rabbit
          # 设置rabbitmq的相关的环境配置
          environment:
            spring:
              rabbitmq:
                host: 127.0.0.1
                port: 5672
                username: guest
                password: guest
                virtual-host: /
      # 服务的整合处理
      bindings:
        # 设定通道的名称
        stream-output:
          # 设定Exchange名称定义
          destination: queue.stream.messages
          # 设定消息类型，对象类型，如果是文本则设置"text/plain"
          content-type: application/json
          # 设置要绑定的消息服务的定义名称
          binder: default-rabbit
          # 进行操作的分组，表示持久化
          group: stream-group
  #数据源配置
  datasource:
    url: ${blade.datasource.dev.url}
    username: ${blade.datasource.dev.username}
    password: ${blade.datasource.dev.password}

业务类

3、创建消费者A

POM

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>

YML

spring:
  cloud:
    stream:
      # 进行rabbit的相关绑定配置
      rabbit:
        bindings:
          stream-input:
            # 进行消费端配置
            consumer:
              # 设置一个RoutingKey信息
              bindingRoutingKey: stream-key
      # 在此处配置要绑定的rabbitmq的服务信息；
      binders:
        # 表示定义的名称，用于于binding整合
        default-rabbit:
          # 消息组件类型
          type: rabbit
          # 设置rabbitmq的相关的环境配置
          environment:
            spring:
              rabbitmq:
                host: 127.0.0.1
                port: 5672
                username: guest
                password: guest
                virtual-host: /
      # 服务的整合处理
      bindings:
        # 设定通道的名称
        stream-input:
          # 设定Exchange名称定义
          destination: queue.stream.messages
          # 设定消息类型，对象类型，如果是文本则设置"text/plain"
          content-type: application/json
          # 设置要绑定的消息服务的定义名称
          binder: default-rabbit
          # 进行操作的分组，表示持久化
          group: stream-group
  #数据源配置
  datasource:
    url: ${blade.datasource.dev.url}
    username: ${blade.datasource.dev.username}
    password: ${blade.datasource.dev.password}