springCloud笔记（七）消息驱动SpringCloudStream

最新推荐文章于 2022-04-08 16:05:12 发布

发抖吧小喵喵

最新推荐文章于 2022-04-08 16:05:12 发布

阅读量294

点赞数 1

分类专栏： Spring Cloud 文章标签： java

本文链接：https://blog.csdn.net/qdboi/article/details/109813846

版权

Spring Cloud 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

中文指导手册：https://m.wang1314.com/doc/webapp/topic/20971999.html

一、概述

1、什么是消息驱动

屏蔽底层消息中间件的差异，降低切换成本，统一消息的编程模型（类似hibernate对应各种数据库）

官方定义springCloudStream是一个构建消息驱动微服务的框架，应用程序通过inputs或者outputs来与springCloudStream中binder对象交互，通过我们配置来binding（绑定），而SpringcloudStream的binder对象负责与消息中间件交互，所以我们只需要搞清楚如何与spring Cloud Stream交互就可以方便使用消息驱动方式

通过使用Spring integration来连接消息代理中间件以实现消息事件驱动

spring cloud Stream为一些供应商的消息中间件产品提供了个性化的自动化配置实现，引用了发布-订阅、消费组、分区的三个核心概念

目前仅支持RabbitMQ、Kafka

2、设计思想

1、标准MQ

生产者/消费组靠消息（Message）媒介传递信息内容

消息必须走特点的通道（MessageChannel）

消息通道里的消息如何被消费呢，谁负责收法处理(消息通道MessageChannel的子接口SubscribeChannel，由MessageHandler消息处理器所订阅)

在这里插入图片描述

2、为什么用cloud Stream

比方说我们用到了RabbitMQ和Kafka，由于这两个消息中间件的架构上的不同，像RabbitMq有exchange，Kafka有Topic和Partitions分区

这些中间件的差异性导致我们实际项目开发给我们造成了一定的困扰，我们如果用了两个消息队列的其中一种，后面的业务需求，我想往另外一种消息队列进行迁移，这时候无疑就是一个灾难性的，一大堆东西都要重写推到重新做，因为他跟我们的系统耦合了，这时候Springcloud stream给我们提供了一种解耦合的方式

在这里插入图片描述

stream凭上面可以同一底层差异

在没有绑定器这个概念的情况下，我们的springboot应用要直接与消息中间件进行

消息交互的时候，由于各消息中间件构建的初衷不同，他们的实现细节上会有较大的差

异性，通过定义绑定器作为中间件，完美的实现了应用程序与消息中间件细节之间的隔

离,通过向应用程序暴漏统一的Channel通道，使得应用程序不需要在考虑各种不同的消

息中间件实现

通过绑定器Binder作为中间层，实现了应用程序与消息中间件细节之间的隔离
Binder

INPUT对应于消费者、OUTPUT对应于生产者

stream对消息中间件的进一步封装，可以做到代码层面对中间件的无感知，甚至动

态的切换中间件（rabbitmq切换为kafka），使得微服务开发的高度解耦，服务可以关注

更多自己的业务流程

在这里插入图片描述

3、stream中的消息通信方式遵循了发布-订阅模式

Topic主题进行广播

在rabbitmq就是exchange
在kafka中就是Topic

3、springcloud stream标准流程套路

在这里插入图片描述

Binder：很方便的连接中间件，屏蔽差异
channel：通道，是队列Queue的一种抽象，在消息通通讯系统中就是实现存储和转发的媒介，通过Channel对队列进行配置
Source和Sink：简单的可理解为参照对象是Springcloud stream自身，从stream发布消息就是输出，接收消息就是输入

4、编码APi和常用注解

在这里插入图片描述

二、案例说明

1、RabbitMq环境已经ok

2、工程中新建三个子模块

在这里插入图片描述

常用配置

给消费者设置消费组和主题

设置消费组： spring.cloud.stream.bindings.<通道名>.group=<消费组名>
设置主题： spring.cloud.stream.bindings.<通道名>.destination=<主题名>

给生产者指定通道的主题：spring.cloud.stream.bindings.<通道名>.destination=<主题名>

消费者开启分区，指定实例数量与实例索引

开启消费分区： spring.cloud.stream.bindings.<通道名>.consumer.partitioned=true
消费实例数量： spring.cloud.stream.instanceCount=1 (具体指定)
实例索引： spring.cloud.stream.instanceIndex=1 #设置当前实例的索引值

生产者指定分区键

分区键： spring.cloud.stream.bindings.<通道名>.producer.partitionKeyExpress=<分区键>
分区数量： spring.cloud.stream.bindings.<通道名>.producer.partitionCount=<分区数量>

一般最简单的应用只要配置spring.cloud.stream.bindings.开头的项即可，如果涉及到

三、消息驱动之生产者

1、添加pom配置

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>

2、添加yml文件配置

server:
  port: 8801
spring:
  application:
    name: cloud-stream-provider
  cloud:
    stream:
      binders:	#在此处配置要绑定的rabbitmq的服务信息
        defaultRabbit: #标识定义的名称，用于与binding整合
          type: rabbit 	#消息组件类型
          environment:	#设置rabbitmq的相关环境配置
            spring:
              rabbitmq:
                host: localhost
                port: 5672
                username: guest
                password: guest
      bindings:	#服务的整合处理
        output:	#这个名字是一个通道的名称
          destination: studyExchange	#表示使用的Exchange名称定义
          content-type: application/json	#设置消息类型，本次为json，文本则
                                    #设置text/plain
          binder: defaultRabbit	#设置要绑定的消息服务的具体设置

eureka: 
  client:	#客户端进行Eureka注册的配置
    service-url：
      defaultZone: http://localhost:7001/eureka
instance:
  lease-renewal-interval-in-seconds: 2	#设置心跳的事件间隔（默认是30秒）
  lease-expiration-duration-in-seconds: 5	#如果现在超过了5秒的间隔（默认90秒）
  instance-id: semd-8801.com	#在信息列表时显示主机名称
  prefer-ip-address: true	#访问的路径变为ip地址

3、主启动类配置无需多余配置

4、业务类

1、发送消息类

@EnableBinding(Source.class)	//定义消息的推送管道
public class ImessageProvider{
    @Resource
	private MessageChannel output;	//消息发送管道

    public String send(){
        String serial=UUID.randomUUID.toString();
        output.send(MessageBuilder.withPayload(serial).build());
        system.out.println("*****serial:"+serial);
    }
}

2、controller类

@RestController
public class SendMessageController{
    @Resource
    private ImessageProvider messageProvider;

    @GetMapping(value="/sendMessage")
    public String sendMessage(){
    	return messageProvider.send();
    }
}

5、测试

启动7001eureka、启动rabbitmq、启动8801

访问url http://localhost:8801/sendMessage

四、消息驱动之消费者

1、添加pom配置

<dependency>
	<groupId>org.springframework.cloud</groupId>
	<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>

2、添加yml配置

server:
  port: 8801
spring:
  application:
    name: cloud-streamcustomer
  cloud:
    stream:
      binders:	#在此处配置要绑定的rabbitmq的服务信息
        defaultRabbit: #标识定义的名称，用于与binding整合
        type: rabbit 	#消息组件类型
        environment:	#设置rabbitmq的相关环境配置
          spring:
            rabbitmq:
              host: localhost
              port: 5672
              username: guest
              password: guest
      bindings:	#服务的整合处理
        input:	#这个名字是一个通道的名称
          destination: studyExchange	#表示使用的Exchange名称定义
            content-type: application/json	#设置消息类型，本次为json，文本则
                                    #设置text/plain
            binder: defaultRabbit	#设置要绑定的消息服务的具体设置

eureka: 
  client:	#客户端进行Eureka注册的配置
    service-url：
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2	#设置心跳的事件间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5	#如果现在超过了5秒的间隔（默认90秒）
    instance-id: semd-8801.com	#在信息列表时显示主机名称
    prefer-ip-address: trye	#访问的路径变为ip地址

3、主启动类不需要多余配置

4、业务类代码

@Component
@EnableBinding(Sink.class)
public class ReceiverMessageListenerController{
    @Value("${server.port}")
    private String serverPort;

    @StreamListener(Sink.INPUT)
    public void input(Message<String> message){
    	System.out.println("消费者1号,接收消息:"+message.getPayload()+"    port":+port);
    }
}

五、分组消费与持久化

1、依照8802，clone出来一份运行8803 ->cloud-stream-rabbitmq-consumer8803

2、启动

Rabbitmq

7001：服务注册

8801：消息生产

8802：消息消费

8803：消息消费

3、运行后有两个问题

故障现象：有重复消费问题

导致原因：默认分组group是不同的，组流水号不一样，被认为不同组，可以消费

解决方案：自定义配置分组，自定义配置分为同一个组，解决重复消费问题

故障现象：消息持久化问题

4、消费

目前8802、8803同时都收到了，存在重复消费问题

http://localhost:8801/sendMessage发现两个消费组都消费了消息
如何解决

分组和持久化属性Group解决

5、分组

原理：微服务应用放置于同一个group中，就能够保证消息只会被其中一个应用消费一次，不同的组是可以消费的，同一个组内会发送竞争关系，只有其中一个可以消费
8802/8803都变成不同组，group两个不同
1. group：atguiguA、atguiguB
2. 8802修改yml
  
  添加一个配置spring.cloud.stream.binding.input.group: atguiguA
3. 8803修改yml
  
  添加一个配置spring.cloud.stream.binding.input.group: atguiguB
4. 我们自己配置
  
  分布式微服务应用为了实现高可用和负载均衡，实际上都会部署多个实例，本例启动了两个消费微服务（8802/8803）
  
  多数情况，生产者发送消息给某个具体的微服务只希望被消费一次，按照上面我们启动两个应用的例子，虽然他们同属一个应用，但是这个消息出现了被重复消费两次的情况，为了解决这个问题，在spring cloud stream中提供了消费组的概念
5. 结论：重复消费
8802/8803实现了轮询分组，每次只有一个消费组。8801模块发的消息只能被8802或8803其中一个接收到，这样避免了重复消费
8802/8803都变成相同组，group两个相同
- group：atguiguA
- 8802/8803配置同一个组，
  - 添加一个配置spring.cloud.stream.binding.input.group: atguiguA
- 结论：同一个组的多各微服务实例，每次只会有一个拿到

6、持久化**（通过设置分组来保证持久化）**

通过上述，解决了重复消费问题，再看看持久化
停止8802/8803并去除掉8802的分组group：atguiguA
8801先发送4条消息到rabbitmq
先启动8802，无分组属性配置，后台没有打出来消息
在启动8803，有分组属性配置，后台打印了mq上的消息

发抖吧小喵喵

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
springCloud笔记（七）消息驱动SpringCloudStream

目录一、概述1、什么是消息驱动2、设计思想1、标准MQ2、为什么用cloud Stream3、stream中的消息通信方式遵循了发布-订阅模式3、springcloud stream标准流程套路4、编码APi和常用注解二、案例说明三、消息驱动之生产者1、添加pom配置2、添加yml文件配置3、主启动类配置无需多余配置4、业务类1、发送消息类2、controller类5、测试四、消息驱动之消费者1、添加pom配置2、添加yml配置3、主启动类不需要多余配置4、业务类代码五、分组消费与持久化中文指导手册：h
复制链接

扫一扫