springcloud 笔记9 cloud stream

1. cloud steam 是什么

一句话：屏蔽底层消息中间件的差异，降低切换成本，统一消息的编程模型

参考文档：

https://spring.io/projects/spring-cloud-stream
https://docs.spring.io/spring-cloud-stream/docs/current/reference/html/
https://m.wang1314.com/doc/webapp/topic/20971999.html

为什么使用cloudSteam



常用编码和注解：

2. 注册中心使用eureka

3. provider 环境配置：

3.1. pom文件 ， 主要依赖

        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
        </dependency>

3.2. yaml 文件

server:
  port: 8801
spring:
  application:
    name: cloud-stream-provider
  cloud:
    stream:
      binders:  ## 在此处配置要绑定的rabbitmq的服务信息
        defaultRabbit:  ## 表示定义的名称，用于binding整合
          type: rabbit  # 消息组件类型
#          environment:  # 设置rabbitmq的相关环境的配置, 最好抽离到外面配置，否则会有一次默认连接localhost的失败
#            spring:
#              rabbitmq:
#                host: 192.168.226.128
#                port: 5672
#                username: guest
#                password: guest
      bindings:   # 服务的整合处理
        output:   # 这个output是一个通道的名称
          destination: studyExchange  # 表示要使用的Exchange 名称定义
          contentType: application/json # 设置消息类型， 本次为json， 文本则设为"text/plain"
          binder: {defaultRabbit} # 设置要绑定的消息服务的具体设置, 爆红不影响使用
  ## rabbitmq 相关配置
  rabbitmq:
    host: 192.168.226.128
    port: 5672
    username: guest
    password: guest
# 服务注册到 eureka 注册中心
eureka:
  client:
    register-with-eureka: true    # false: 不把 eureka 自身注册在注册中心里面， 不作高可用的情况下使用这个
    fetch-registry: true         # false: 不从 eureka 上获取服务的注册信息
    service-url:
      #      defaultZone: http://127.0.0.1:7001/eureka/     # 单例版
      defaultZone: http://eureka7001.com:7001/eureka,http://eureka7002.com:7002/eureka  #集群版
  instance:
    lease-renewal-interval-in-seconds: 2      # 设置心跳时间，默认30s
    lease-expiration-duration-in-seconds: 5   # 如果超过了指定时间间隔，则算超时，默认90s
    instance-id: send-8801.com                # 在消息列表时显示主机名称
    prefer-ip-address: true                   # 访问的路径变为ip地址

3.3. 主启动类

@SpringBootApplication
public class StreamMQMain8801 {
    public static void main(String[] args) {
        SpringApplication.run(StreamMQMain8801.class,args);
    }
}

3.4. service 类

package com.pyh.springcloud.service.impl;

import com.pyh.springcloud.service.IMessageProvider;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.messaging.Source;
import org.springframework.messaging.MessageChannel;
import org.springframework.messaging.support.MessageBuilder;

import javax.annotation.Resource;
import java.util.UUID;

@EnableBinding(Source.class)        // 定义消息的推送管道
public class MessageProviderImpl implements IMessageProvider {

    @Resource
    private MessageChannel output;  // 消息发送管道

    @Override
    public String send() {
        // 这里用流水号进行测试
        String serial = UUID.randomUUID().toString();
        output.send(MessageBuilder.withPayload(serial).build());
        System.out.println("*****序列号: "+serial);
        return null;
    }
}

3.5. controller 类

package com.pyh.springcloud.controller;

import com.pyh.springcloud.service.IMessageProvider;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.annotation.Resource;

@RestController
public class SendMessageController {

    @Resource
    private IMessageProvider iMessageProvider;

    @GetMapping("/sendMessage")
    public String sendMessage(){
        return iMessageProvider.send();
    }
}

RabbitMQ 中的内容：

4. consumer 环境配置

4.1 pom.xml 文件，同3.1 相同
4.2 yaml

server:
  port: 8802
spring:
  application:
    name: cloud-stream-consumer
  cloud:
    stream:
      binders:  ## 在此处配置要绑定的rabbitmq的服务信息
        defaultRabbit:  ## 表示定义的名称，用于binding整合
          type: rabbit  # 消息组件类型
      #          environment:  # 设置rabbitmq的相关环境的配置, 最好抽离到外面配置，否则会有一次默认连接localhost的失败
      #            spring:
      #              rabbitmq:
      #                host: 192.168.226.128
      #                port: 5672
      #                username: guest
      #                password: guest
      bindings:   # 服务的整合处理
        input:   # 这个 input 是一个通道的名称
          destination: studyExchange  # 表示要使用的Exchange 名称定义
          contentType: application/json # 设置消息类型， 本次为json， 文本则设为"text/plain"
          binder: {defaultRabbit} # 设置要绑定的消息服务的具体设置, 爆红不影响使用
  ## rabbitmq 相关配置
  rabbitmq:
    host: 192.168.226.128
    port: 5672
    username: guest
    password: guest
# 服务注册到 eureka 注册中心
eureka:
  client:
    register-with-eureka: true    # false: 不把 eureka 自身注册在注册中心里面， 不作高可用的情况下使用这个
    fetch-registry: true         # false: 不从 eureka 上获取服务的注册信息
    service-url:
      #      defaultZone: http://127.0.0.1:7001/eureka/     # 单例版
      defaultZone: http://eureka7001.com:7001/eureka,http://eureka7002.com:7002/eureka  #集群版
  instance:
    lease-renewal-interval-in-seconds: 2      # 设置心跳时间，默认30s
    lease-expiration-duration-in-seconds: 5   # 如果超过了指定时间间隔，则算超时，默认90s
    instance-id: receive-8802.com                # 在消息列表时显示主机名称
    prefer-ip-address: true                   # 访问的路径变为ip地址

4.3  controller 配置

import org.springframework.beans.factory.annotation.Value;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.annotation.StreamListener;
import org.springframework.cloud.stream.messaging.Sink;
import org.springframework.messaging.Message;
import org.springframework.web.bind.annotation.RestController;

@RestController
@EnableBinding(Sink.class)
public class ReceiveMsgListenerController {

    @Value("${server.port}")
    private String serverPort;

    @StreamListener(Sink.INPUT)
    public void input(Message<String> message){
        System.out.println("消费者1号----->接收到的消息："+message.getPayload()+"\t port:"+serverPort);
    }
}

4.4 测试
sendMessage：  http://localhost:8801/sendMessage

8801 发送的消息
*****序列号: 62fafe73-cff8-4c2a-b2b0-dd7072099d86
*****序列号: 0d389a70-68fe-4020-8991-18a74c61797e
*****序列号: 1fe39164-c297-415d-8b9d-bc3f76f91bfb
*****序列号: 929b5081-2cc2-4b5b-8e55-7ae0238e779d
*****序列号: 06d61741-aabf-4a79-b9c6-b32bd6203ee9

8802 接收的消息
消费者1号----->接收到的消息：62fafe73-cff8-4c2a-b2b0-dd7072099d86	 port:8802
消费者1号----->接收到的消息：0d389a70-68fe-4020-8991-18a74c61797e	 port:8802
消费者1号----->接收到的消息：1fe39164-c297-415d-8b9d-bc3f76f91bfb	 port:8802
消费者1号----->接收到的消息：929b5081-2cc2-4b5b-8e55-7ae0238e779d	 port:8802
消费者1号----->接收到的消息：06d61741-aabf-4a79-b9c6-b32bd6203ee9	 port:8802

5. 分组消费与持久化

5.1 拷贝一个consumer8802 的副本 consumer8803

5.2 修改启动环境变量
-Dserver.port=8803 -Deureka.instance.instance-id=receive-8803.com
该配置覆盖了yaml中的server.port 和 eureka.instance.instance-id 的值

这样，当provider 8801发送一个订单到消息队列时，存在重复消费问题---- 8802 和8803 会同时消费掉该条订单。 — 看使用场景或者业务上，是否需要避免重复消费这个问题

注意在stream中处于同一个group中的多个消费者是竞争关系，就能够保证消息只会被一个应用消费一次
不同的组是可以全面消费的(重复消费) 同一组内会发生竞争关系，只有其中一个可以消费

5.3 给8802 和8803 配置分组

8802：yaml

spring.cloud.stream.bindings.input.group=groupA

8803: yaml

  spring.cloud.stream.bindings.input.group=groupB  

启动后结果:

所以还是存在消息被重复消费的情况

消费者1号----->接收到的消息：f02de151-27af-491d-b887-f3ea577d022e	 port:8802
消费者1号----->接收到的消息：7a2a8bf3-87c2-4535-b951-ae4d674df64f	 port:8802
消费者1号----->接收到的消息：d3b50812-fe56-4fda-9b94-f6c765eabbff	 port:8802

消费者1号----->接收到的消息：f02de151-27af-491d-b887-f3ea577d022e	 port:8803
消费者1号----->接收到的消息：7a2a8bf3-87c2-4535-b951-ae4d674df64f	 port:8803
消费者1号----->接收到的消息：d3b50812-fe56-4fda-9b94-f6c765eabbff	 port:8803

如果不想重复消费，8802和8803改成相同分组即可

5.4 消息持久化
在配置好了的情况下，假如8802 或者 8803 同时关闭了（死机等原因），此时有消息发送过来，那么消息会被持久化在8801 上，等8802/8803 重新启动后，会去8801那里重新获取消息。
即provider端产生的消息如果没有被消费，就会一直被缓存在队列中，直到被consumer端取出消费。