一、为什么要引入Stream
如果系统中同时存在多种MQ，可以通过Stream，只需要与Stream交互就可以进行管理。Stream可以屏蔽底层消息中间件的差异，降低切换成本，统一消息的编程模型。
二、Stream简介
Stream是一个构建消息驱动微服务的框架。应用程序通过inputs或outputs来与Stream中binder对象交互。通过我们配置来binding（绑定），而Stream的binder对象负责与消息中间件交互。所以，我们只需要搞清楚如何与Stream交互就可以方便使用消息驱动的方式。
通过使用Spring Integration来连接消息代理中间件以实现消息事件驱动。Stream为一些供应商的消息中间件的产品提供了个性化的自动化配置实现，引用了发布-订阅、消费组、分组的三个核心概念。
目前仅支持RabbitMQ、Kafka
三、Stream的设计思想
1、标准MQ
生产者/消费者之间靠消息媒介传递信息内容，消息必须走特定的通道（Message Handler），消息通道的子接口SubscribableChannel，由Message Handler消息处理器所订阅。
2、Stream
这些中间件的差异导致我们实际项目开发给我们造成了一定的困扰，我们如果用两个消息队列的其中一种，后面的业务需求，我想往另外一种消息队列迁移，这时候无疑是一个灾难性的，一大推东西需要重做，因为它跟我们的系统耦合了，而Stream为我们提供了一种解耦合的方式。
3、Stream为什么可以统一底层差异？
在没有绑定器这个概念的情况下，我们与SpringBoot应用要直接与消息中间件进行消息交互的时候，由于各消息中间件构建的初衷不同，它们的实现细节上会有较大的差异。通过定义绑定器作为中间件，完美地实现了应用程序与消息中间件之间的隔离。通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同的消息中间件实现。
通过定义绑定器Binder作为消息中间层，实现了应用程序与消息中间件细节之间的隔离。INPUT对应于消费者，OUTPUT对应于生产者。
Stream中的消息通信方式遵循了发布-订阅模式
Topic主题进行广播：
- 在RabbitMQ就是Exchange
- 在Kafka中就是Topic
4、Stream标准流程
Binder：连接中间件，屏蔽差异
Channel：通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过Channel对队列进行配置
Source和Sink：简单的可以理解为参照对象是SpringCloud Stream自身，从Stream发布消息就是输出，接收消息就是输入
5、编码API和常用注解
四、入门案例
新建三个工程：
cloud-stream-rabbitmq-provider8801，作为生产者进行发消息模块
cloud-stream-rabbitmq-consumer8802，作为消息接收模块
cloud-stream-rabbitmq-consumer8803，作为消息接收模块
1、Stream消息驱动之生产者
新建module cloud-stream-rabbitmq-provider8801
pom
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>cloud2020</artifactId>
<groupId>com.atguigu.springcloud</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<artifactId>module cloud-stream-rabbitmq-provider8801</artifactId>
<dependencies>
<!--stream-rabbit-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<!--基础配置-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-devtools</artifactId>
<scope>runtime</scope>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
</project>
application.yml
server:
port: 8801
spring:
application:
name: cloud-stream-provider
cloud:
stream:
binders: # 在此处配置要绑定的rabbitmq的服务信息；
defaultRabbit: # 表示定义的名称，用于于binding整合
type: rabbit # 消息组件类型
environment: # 设置rabbitmq的相关的环境配置
spring:
rabbitmq:
host: localhost
port: 5672
username: guest
password: guest
bindings: # 服务的整合处理
output: # 这个名字是一个通道的名称
destination: studyExchange # 表示要使用的Exchange名称定义
content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
binder: defaultRabbit # 设置要绑定的消息服务的具体设置
eureka:
client: # 客户端进行Eureka注册的配置
service-url:
defaultZone: http://localhost:7001/eureka
instance:
lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
instance-id: send-8801.com # 在信息列表时显示主机名称
prefer-ip-address: true # 访问的路径变为IP地址
主启动类：
@SpringBootApplication
public class StreamMQMain8801 {
public static void main(String[] args) {
SpringApplication.run(StreamMQMain8801.class,args);
}
}
业务类
//发送消息接口
package com.atguigu.springcloud.service;
public interface IMessageProvider {
public String send();
}
//这不是传统的service,这是和rabbitmq打交道的，不需要加注解@Service
//这里不是dao，而是消息中间件的service
//信道channel和exchange绑定在一起
@EnableBinding(Source.class) //定义消息的推送管道
public class MessageProviderImpl implements IMessageProvider {
//参考官网案例
@Resource
private MessageChannel output;
@Override
public String send() {
String serial = UUID.randomUUID().toString();
output.send(MessageBuilder.withPayload(serial).build());
System.out.println("*****serial: " +serial);
return null;
}
}
@RestController
public class SendMessageController {
@Resource
private IMessageProvider messageProvider;
@GetMapping("/sendMessage")
public String sendMessage(){
return messageProvider.send();
}
}
启动RabbitMQ、eureka7001、8801，测试：
发现监控界面出现波峰，说明流水号发送成功
2、消息驱动之消费者
新建cloud-stream-rabbitmq-consumer8802
pom
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>cloud2020</artifactId>
<groupId>com.atguigu.springcloud</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<artifactId>cloud-stream-rabbitmq-consumer8802</artifactId>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
</project>
application.yml
server:
port: 8802
spring:
application:
name: cloud-stream-consumer
cloud:
stream:
binders: # 在此处配置要绑定的rabbitmq的服务信息；
defaultRabbit: # 表示定义的名称，用于于binding整合
type: rabbit # 消息组件类型
environment: # 设置rabbitmq的相关的环境配置
spring:
rabbitmq:
host: localhost
port: 5672
username: guest
password: guest
bindings: # 服务的整合处理
input: # 这个名字是一个通道的名称
destination: studyExchange # 表示要使用的Exchange名称定义
content-type: application/json # 设置消息类型，本次为对象json，如果是文本则设置“text/plain”
binder: defaultRabbit # 设置要绑定的消息服务的具体设置
eureka:
client: # 客户端进行Eureka注册的配置
service-url:
defaultZone: http://localhost:7001/eureka
instance:
lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
instance-id: receive-8802.com # 在信息列表时显示主机名称
prefer-ip-address: true # 访问的路径变为IP地址
主启动类：
@SpringBootApplication
public class StreamMQmMain8802 {
public static void main(String[] args) {
SpringApplication.run(StreamMQmMain8802.class,args);
}
}
业务类：
@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListenerController {
@Value("${server.port}")
private String serverPort;
@StreamListener(Sink.INPUT)
public void input(Message<String> message){
System.out.println("消费者1号，------->接收到的消息： "+message.getPayload()+"\t port: "+serverPort);
}
}
启动8802，8801发送消息，查看8802是否可以接收消息
eureka注册中心：
8801发送消息：
8802接收消息:
五、Stream分组消费
比如在如下场景中，订单系统我们做集群部署，都会从RabbitMQ中获取订单信息，那如果一个订单同时被两个服务获取到，那么就会造成数据错误，我们得避免这种情况，这时我们就可以使用Stream中的消息分组来解决。
在Stream中处于同一个group中的多个消费者是竞争关系，就能够保证消息只会被其中一个应用消费一次。
不同组是可以全面消费的（重复消费），同一组内会发送竞争关系，只有其中一个可以消费。
1、新建cloud-stream-rabbitmq-consumer8803
8803与8802工程一样
2、启动8803
RabbitMQ默认分为2个不同的组
8801发送消息后，8802、8803都接收到消息，造成消息的重复消费
将8802与8803分为一组
在RabbitMQ查看分组情况
8801发送消息，查看8802和8803的消费情况
上图中8801发送了两条消息，8802、8803没有出现重复消费的情况。
六、Stream持久化
在自定义的分组中，将8802去掉分组，8803保留分组，当8802和8803都关闭服务，8801此时发送消息，8802再次启动的时候不会重新获得未曾获得的消息并消费，而8803由于保留了分组，重启后会获得8801之前发送的消息并消费。
测试结果：
8802去掉分组
8801发送消息，并重启8802、8803
8802未获得消息
8803获得消息并消费
所以group分组属性在消息重复消费和消息持久化消费 避免消息丢失是非常重要的属性。默认的分组不会保留未曾获得的消息，自定义的分组会保留。
扫一扫
1438
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
