【Cloud Stream】消息驱动概述,Stream设计思想，及Stream实战，解决重复消费以及持久化

最新推荐文章于 2023-05-17 11:05:16 发布

AA-Jessica

最新推荐文章于 2023-05-17 11:05:16 发布

阅读量861

点赞数

分类专栏： Springcloud 文章标签： rocketMQ Spring Cloud

本文链接：https://blog.csdn.net/qmqm33/article/details/105320445

版权

Springcloud 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

消息启动

一、消息驱动概述
- - 1.1 Cloud Stream的引入
  - 1.2 消息驱动是什么
二、设计思想
三、新建module cloud-stream-rocketmq-provider8801 消息提供者
四、新建模块cloud-stream-rocketmq-consumer8802为消费者
五、分组消费与持久化

一、消息驱动概述

1.1 Cloud Stream的引入

MQ（消息中间件）分为以下四种

ActiveMQ
RabbitMQ
RocketMQ
Kafka

当我们在一个企业中可能存在多种中间件，但是掌握所有中间件的大牛不是很多，就引出了Stream,让我们不在关注具体MQ细节，我们只需要用一种适配器绑定的方式，自动给我们在各种MQ内切换
在这里插入图片描述

1.2 消息驱动是什么

屏蔽底层消息中间件的差异，降低切换成本，统一消息的编程模型。
官方定义Spring Cloud Stream是一个构建消息驱动微服务的架构。
应用程序通过input或者outputs来与Spring Cloud Stream中的binder交互
通过配置来binding（绑定），而Spring Cloud Stream得binder对象负责消息中间件交互
所以我们只需要搞清楚如何与Spring Cloud Stream交互就可以方便使用消息驱动得方式
通过使用Spring Integration来链接消息代理中间件以实现消息事件驱动
Spring Cloud Stream为一些供应商得消息中间件产品提供了个性化的自动化配置实现，引用了发布-订阅、消息组、分区的三个核心概念
目前仅支持RabbitMQ、Kafka

二、设计思想

2.1 标准MQ

在这里插入图片描述

2.1.1 Message

生产者/消费者之间靠消息媒介传递信息内容

2.1.2 消息通道MessageChannel

消息必须走特定的通道

2.1.3 消息通道里的消息如何被消费，谁负责收发处理

消息通道MessageChannel的子接口SubscribableChannel，由MessageHandler消息处理器所订阅

2.2 为什么使用Cloud Stream

举个栗子：
比方说我们用到了RabbitMQ和Kafka，由于这两个消息中间件的构架上的不同，像RabbitMQ有exchange,kafka有Topic和Partitions分区
在这里插入图片描述
这些中间件的差异导致我们实际项目开发给我们造成了一定的困扰，我们如果用了两个消息队列的其中一种，后面的业务需求，我们想往另一种消息队列进行迁移，这时候无疑就是一个灾难性的，一大堆东西都要重新推倒重新做，因为它跟我们的系统耦合了，这时候SpringCloud Stream给我们提供了一种解耦合的方式

2.2.1 stream凭什么可以统一底层差异

在没有绑定器这个概念的情况下，我们的Springboot应用要直接与消息中间件进行信息交互的时候，由于各种消息中间件构建的初中不同，他们的实现细节上会有较大的差异性。

通过绑定器作为中间层，完美的实现了应用程序与消息中间件细节之间的隔离
通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同的消息中间件实现

2.2.2 Binder （INPUT对于消费者，OUTPUT对于生产者）

在这里插入图片描述

2.3 Stream中的消息通信方式遵循了发布-订阅模式

Topic主题进行广播

在RabbitMQ就是Exchange
在Kafka中就是Topic

2.4 Stream标准流程套路

在这里插入图片描述

2.4.1 Binder

很方便的链接中间件，屏蔽差异

2.4.2 Channel

通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过Channel对队列进行配置。

2.4.3 Source和Sink

简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接受消息就是输入。

2.5 编码API和常用注解

在这里插入图片描述

三、新建module cloud-stream-rocketmq-provider8801 消息提供者

3.1 pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>cloud2020</artifactId>
        <groupId>com.aiguigu.springcloud</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>cloud-stream-rocketmq-provider8801</artifactId>

    <dependencies>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-stream</artifactId>
        </dependency>
        <!--stream-rocketmq-->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-stream-binder-rocketmq</artifactId>
            <version>0.2.1.RELEASE</version>
    </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <!--基础配置-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>

3.2 application.yml

server:
  port: 8801

spring:
  cloud:
    stream:
      rocketmq:
        binder:
          namesrv-addr: 公网IP1:9876;公网IP2:9876
      # 定义name为output的binding
      bindings:
        output: # 定义name为output的binding
          destination: springboot-mq #相当于topic
          content-type: application/json
        # 定义name为input的binding
#        input1:
#          destination: test-topic
#          content-type: application/json
#          group: test-group

eureka:
  client: #客户端进行eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2  #设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 #如果现在超过了5秒的间隔（默认是90秒）
    instance-id: send-8801.com  #在信息列表时显示主机名称
    prefer-ip-address: true     #访问的路径变为IP地址

3.3 主启动类

package com.atguigu.springcloud;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.EnableEurekaClient;


@EnableEurekaClient
@SpringBootApplication
public class StreamMQMain8801 {
    public static void main(String[] args) {
        SpringApplication.run(StreamMQMain8801.class,args);
    }
}

3.4 业务层

service 接口

package com.atguigu.springcloud.service;

public interface IMessageProvider {
    public String send();
}

实现类

package com.atguigu.springcloud.service.impl;

import com.atguigu.springcloud.service.IMessageProvider;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.messaging.Source;
import org.springframework.messaging.MessageChannel;
import org.springframework.messaging.support.MessageBuilder;

import javax.annotation.Resource;
import java.util.UUID;

@EnableBinding(Source.class)
public class IMessageProviderImpl implements IMessageProvider {

    @Resource
    private MessageChannel output; //消息发送管道

    @Override
    public String send() {
        String serial = UUID.randomUUID().toString();
        output.send(MessageBuilder.withPayload(serial).build());
        System.out.println("*****serial: " +serial);
        return null;
    }

}

controller层

package com.atguigu.springcloud.controller;

import com.atguigu.springcloud.service.IMessageProvider;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.annotation.Resource;

@RestController
public class SendMessageController {
    @Resource
    private IMessageProvider messageProvider;

    @GetMapping("/sendMessage")
    public String sendMessage(){
        return messageProvider.send();
    }
}

3.5 测试

访问http://localhost:8801/sendMessage
在这里插入图片描述
控制台得到

四、新建模块cloud-stream-rocketmq-consumer8802为消费者

4.1 pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>cloud2020</artifactId>
        <groupId>com.aiguigu.springcloud</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>cloud-stream-rocketmq-consumer8802</artifactId>


    <dependencies>
        <!--stream-rocketmq-->
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-stream-binder-rocketmq</artifactId>
            <version>0.2.1.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <!--基础配置-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>

4.2 application.yml

server:
  port: 8802

spring:
  application:
    name: rocketmq-consumer
  cloud:
    stream:
      rocketmq:
        binder:
          namesrv-addr: 一号服务器IP:9876;二号服务器IP:9876
      # 定义name为output的binding
      bindings:
#        output: # 定义name为output的binding
#          destination: springboot-mq
#          content-type: application/json
        # 定义name为input的binding
        input:
          destination: springboot-mq  #消费哪个topic
          content-type: application/json
          group: group1  #定义消费者组名

eureka:
  client: #客户端进行eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2  #设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 #如果现在超过了5秒的间隔（默认是90秒）
    instance-id: recive-8802.com  #在信息列表时显示主机名称
    prefer-ip-address: true     #访问的路径变为IP地址

4.3 主启动类

package com.atguigu.springcloud;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.EnableEurekaClient;

@SpringBootApplication
@EnableEurekaClient
public class StreamMQmMain8802 {
    public static void main(String[] args) {
        SpringApplication.run(StreamMQmMain8802.class,args);
    }
}

4.4 业务类

controller层

package com.atguigu.springcloud.controller;


import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.annotation.StreamListener;
import org.springframework.cloud.stream.messaging.Sink;
import org.springframework.messaging.Message;
import org.springframework.stereotype.Component;

@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListenerController {
    @Value("${server.port}")
    private String serverPort;

    @StreamListener(Sink.INPUT)
    public void input(Message<String> message){
        System.out.println("消费者1号，------->接收到的消息： "+message.getPayload()+"\t port: "+serverPort);
    }
}

4.5 测试

访问：http://localhost:8801/sendMessage
在这里插入图片描述
8801控制台

8802控制台。

rocketmq控制台也有了相应得曲线与分析
在这里插入图片描述

五、分组消费与持久化

5.1 按照8802，clone出来一份运行8803

直接clone,然后启动7001，8801，8802，8803

5.2 group解决重复消费

5.2.1 生产实例场景：

此图来源尚硅谷课程：https://www.bilibili.com/video/BV18E411x7eT?p=89
他这里使用的是rabbitmq,但是本博客使用的是rocketmq,不用扣细节啦，我们看案例就好。
在这里插入图片描述

5.2.2 该项目问题

当8801发送信息，8002，8003同时都收到了，存在重复消费问题
故障现象：重复消费
导致原因：默认分组group是不同的，组流水号不一样，被认为不同组，可以消费
问题解决：自定义配置分组，自定义配置分为同一个组，解决重复消费问题

5.2.3 原理

微服务应用放置于同一个group中，就能够保证消息只会被一个应用消费一次，不同组是可以消费的，同一个组内会发生竞争关系，只有其中一个可消费。

8802/8803都变成一个组，那么每次只有一个接收到，这样避免了重复消费
在这里插入图片描述

5.3 持久化

按照以下步骤查看变化

停掉8802/8803并除掉8802分组group: group1,8803保持不变
8801发送4条消息到rocketmq
先启动8802，无分组属性配置，后台没有打出来消息
再启动8803，有分组属性配置，后台打出了mq上没有被消费的消息

5.4 总结

group解决了重复消费以及消息持久化。

AA-Jessica

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
【Cloud Stream】消息驱动概述,Stream设计思想，及Stream实战，解决重复消费以及持久化

文章目录一、消息启动概述1.1 Cloud Stream的引入1.2 消息驱动是什么二、设计思想2.1 标准MQ2.1.1 Message2.1.2 消息通道MessageChannel2.1.3 消息通道里的消息如何被消费，谁负责收发处理2.2 为什么使用Cloud Stream2.2.1 stream凭什么可以统一底层差异2.2.2 Binder （INPUT对于消费者，OUTPUT对于生产者...
复制链接

扫一扫