消息驱动 Stream
一、消息驱动概述
1、是什么
1)一句话
屏蔽底层消息中间件的差异,降低切换成本,统一消息的编程模型
官方定义SpringCloud Stream是一个构建消息驱动微服务的框架
2)官网
官网
重:Binder对象(绑定器)
2、设计思想
1)标准MQ
生产者/消费者之间靠消息媒介传递信息内容——Message
消息必须走特定的通道——MessageChannel
消息通道里的消息如何被消费呢,谁负责收发处理——消息通道MessageChannel的子接口SubscribableChannel,由MessageHandler消息处理器所订阅
2)为什么用Cloud Stream
这些中间件的差异性导致我们实际项目开发给我们造成了一定的困抗,我们如果用了两个消息队列的其中一种,后面的业务需求,我想往另外一种消息队列进行迁移,这时候无疑就是个灾难性的A大堆东西都要重新推倒重新做,因为它跟我们的系统耦合了,这时候 springcloud Stream给我们提供了一种解耦合的方式
1、如何实现:通过定义绑定器作为中间层,完美实现了应用程序与消息中间件之间的隔离
2、Binder:input对应于消费者,output对应于生产者
3)Stream中的消息通信方式遵循了发布-订阅模式
Topic主题进行广播
在RabbitMQ就是Exchange
在Kafka中就是Topic
3、Spring Cloud Stream标准流程套路
1)Binder
很方便的连接中间件,屏蔽差异
2)Channer
通道,是队列Queue的一种抽象,在消息通讯系统中就是实现存储和转发媒介,通过Channel对队列进行配置
3)Source和Sink
简单的可以理解为参照对象是Spring Cloud Stream自身,从Stream发布消息就是输出,接受消息就是输入
4、编码API和常用注解
二、案例说明
1、RabbitMQ环境搭建
2、新建三个子模块
cloud-stream-rabbitmq-provider8801 作为生产者进行发消息模块
cloud-stream-rabbitmq-consumer8802 作为消息接收模块
cloud-stream-rabbitmq-consumer8803 作为消息接收模块
三、消息驱动之生产者
1、新建cloud-stream-rabbitmq-provider8801
2、pom
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
</dependency>
3、YML
server:
port: 8801
spring:
application:
name: cloud-stream-provider
cloud:
stream:
binders: #在此处配置要绑定的rabbitmq的服务信息
defaultRabbit: #表示定义的名称,用于binding整合
type: rabbit #消息组件类型
environment: #设置rabbitmq的相关的环境配置
spring:
rabbitmq:
host: 101.200.198.216
port: 5672
bindings: #服务的整合处理
output: #这个名字是一个通道的名称
destination: studyExchange #表示要使用的Exchange的定义名称
content-type: application/json #设置消息类型,本次为json,文本则设置"text/plain"
binder: defaultRabbit #设置要绑定的消息服务的具体设置
eureka:
client:
service-url:
defaultZone: http://eureka7001.com:7001/eureka,http://eureka7002.com:7002/eureka #集群版
instance:
lease-expiration-duration-in-seconds: 5 #如果现在超过了5秒的间隔(默认90秒)
lease-renewal-interval-in-seconds: 2 #设置心跳的时间间隔(默认是30秒)
instance-id: send-8801.com #在信息列表时显示主机名称
prefer-ip-address: true #访问的路径变为IP地址
4、主启动类StreamMQMain8801
package com.atguigu.springcloud;
import lombok.extern.slf4j.Slf4j;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.stream.annotation.EnableBinding;
@SpringBootApplication
@EnableEurekaClient
public class StreamMQMain8801 {
public static void main(String[] args) {
SpringApplication.run(StreamMQMain8801.class,args);
}
}
5、业务类
1)发送消息的接口
package com.atguigu.springcloud.service;
import org.springframework.stereotype.Service;
public interface IMessageProvider {
public String send();
}
2)发送消息接口实现类
package com.atguigu.springcloud.service.impl;
import com.atguigu.springcloud.service.IMessageProvider;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.messaging.Source;
import org.springframework.integration.support.MessageBuilder;
import org.springframework.messaging.MessageChannel;
import javax.annotation.Resource;
import java.util.UUID;
@EnableBinding(Source.class) //定义消息的推送广告
public class MessageProviderImpl implements IMessageProvider {
@Resource
private MessageChannel output; //发送消息通道
@Override
public String send() {
String serial= UUID.randomUUID().toString();
output.send(MessageBuilder.withPayload(serial).build());
System.out.println("*******serial: "+serial);
return null;
}
}
3)Controller
package com.atguigu.springcloud.controller;
import com.atguigu.springcloud.service.IMessageProvider;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
@RestController
public class SendMessageController {
@Resource
private IMessageProvider iMessageProvider;
@GetMapping("/sendMessage")
public String sendMessage(){
return iMessageProvider.send();
}
}
6、测试
启动7001、rabbitmq、8801
四、消息驱动之消费者
1、新建cloud-stream-rabbitmq-consumer8802
2、pom
同上
3、yml
server:
port: 8802
spring:
application:
name: cloud-stream-consumer
cloud:
stream:
binders: #在此处配置要绑定的rabbitmq的服务信息
defaultRabbit: #表示定义的名称,用于binding整合
type: rabbit #消息组件类型
environment: #设置rabbitmq的相关的环境配置
spring:
rabbitmq:
host: 101.200.198.216
port: 5672
bindings: #服务的整合处理
input: #这个名字是一个通道的名称
destination: studyExchange #表示要使用的Exchange的定义名称
content-type: application/json #设置消息类型,本次为json,文本则设置"text/plain"
binder: defaultRabbit #设置要绑定的消息服务的具体设置
eureka:
client:
service-url:
defaultZone: http://eureka7001.com:7001/eureka
instance:
lease-expiration-duration-in-seconds: 5 #如果现在超过了5秒的间隔(默认90秒)
lease-renewal-interval-in-seconds: 2 #设置心跳的时间间隔(默认是30秒)
instance-id: send-8802.com #在信息列表时显示主机名称
prefer-ip-address: true #访问的路径变为IP地址
4、主启动类
同上
5、业务类
package com.atguigu.springcloud.controller;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.annotation.StreamListener;
import org.springframework.cloud.stream.messaging.Sink;
import org.springframework.messaging.Message;
import org.springframework.stereotype.Component;
import org.springframework.web.bind.annotation.RestController;
@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListenerController {
@Value("${server.port}")
private String serverPort;
@StreamListener(Sink.INPUT)
public void input(Message<String> message){
System.out.println("消费者1号,------>接收到的消息: "+message.getPayload()+"\t"+" port: "+serverPort);
}
}
6、测试
http://localhost:8801/sendMessage
五、分组消费与持久化
1、仿照8802,克隆一份8803
2、启动项目
RabbitMQ、7001(服务注册)、8801(消息生产)、8802(消息消费)、8803(消息消费)
3、运行后的两个问题
1、有重复消费问题
2、消息持久化问题
4、消费
目前是8802/8803同时都收到了,存在重复消费问题
比如在如下场景,订单系统我们做集群部署,都会从RabbitMQ中获取订单信息,
那如果一个订单同时被两个服务获取到,那么就会造成数据错误,我们得避免这种情况。
这时我们就可以使用Stream中的消息分组来解决
注意在Stream中处于同一个group中的多个消费者是竞争关系,就能够保证消息只会被其中一个应用消费一次。
不同组件是可以全面消费的(重复消费)
同一个组内发生竞争关系,只有其中一个可以消费
5、分组
1)原理
微服务应用放置于同一个group中,就能够保证消息只会被其中一个应用消费一次。不同的组是可以消费的,同一个组内会发生竞争关系,只有其中一个可以消费
2)8002/8003都变成不同组,group两个不同
group:atguiguA、atguiguB
1、8002修改YML
group: atguiguA
2、8003修改YML
group: atguiguB
3、我们自己配置
4、结论
还是重复消费
3)8002/8003都变成相同组,group两个相同
8802/8803两个都为:
group: atguiguA
测试通过,可以避免重复消费
6、持久化
通过上述,解决了重复消费问题,再看看持久化
停止8802/8803并去除掉8802的分组group:atguiguA
8801先发送4条消息rabbitmq
再启动8802,无分组属性配置,后台没有打出来消息
再启动8803,有分组属性配置,后台打出来了MQ上的消息