Redis-Stream流（1）-基本介绍和简单使用

简介：

Redis 是一个流行的开源键值存储数据库，它提供了各种数据结构和功能。其中之一是 Redis Stream，它是一个持久化的、有序的、可扩展的日志数据结构，适用于实时数据处理应用。本文将介绍 Redis Stream 的基本概念和用法，并展示如何在 Spring Boot 中使用 Redis Stream 来构建实时数据处理应用。

什么是 Redis Stream？

Redis Stream 是 Redis 数据结构中的一种，它提供了类似于消息队列的功能。它是一个有序的、持久化的、可扩展的日志数据结构。Redis Stream 可以用于实时数据处理、事件驱动架构、消息传递等场景。每个 Stream 都由一个唯一的键标识，可以包含多个消息条目，每个消息条目都有一个唯一的 ID，并且按照添加的顺序进行排序。

如何使用 Redis Stream？

使用 Redis Stream 需要先安装 Redis 数据库，并确保 Redis 版本在 5.0 及以上。以下是使用 Redis Stream 的基本步骤：

1. 创建一个 Stream：
   使用 Redis 命令 XADD 可以创建一个新的 Stream，并添加一条消息条目。每个消息条目都有一个唯一的 ID，可以使用 * 来表示自动生成的 ID。

> XADD race:france * rider Castilla speed 30.2 position 1 location_id 1
"1692632086370-0"
> XADD race:france * rider Norem speed 28.8 position 3 location_id 1
"1692632094485-0"

2. 发布消息到 Stream：
   使用 XADD 命令还可以向已存在的 Stream 发布新的消息条目。每个消息条目可以包含多个字段和对应的值，可以根据实际需求定义消息的结构。
   XADD race:france * rider Prickett speed 29.7 position 2 location_id 1
3. 读取 Stream 消息：
   使用 XREAD 命令可以从 Stream 中读取消息条目。可以指定读取的消息数量、起始 ID 等参数，以满足不同的读取需求。
   XREAD COUNT 100 BLOCK 300 STREAMS race:france $
4. 消费 Stream 消息：
   使用 XREADGROUP 命令可以创建一个消费者组，并从 Stream 中消费消息条目。每个消费者都有一个唯一的名称，并且可以独立地读取消息。

> XGROUP CREATE race:france france_riders $
  OK
> XADD race:italy * rider Castilla
"1692632639151-0"
> XADD race:italy * rider Royce
"1692632647899-0"
> XADD race:italy * rider Sam-Bodden
"1692632662819-0"
> XADD race:italy * rider Prickett
"1692632670501-0"
> XADD race:italy * rider Norem
"1692632678249-0"
> XREADGROUP GROUP italy_riders Alice COUNT 1 STREAMS race:italy >
1) 1) "race:italy"
   2) 1) 1) "1692632639151-0"
         2) 1) "rider"
            2) "Castilla"

5. 确认消息消费：
   在消费消息的过程中，使用 XACK 命令可以确认消息已被消费。这样可以确保消息不会被其他消费者再次处理。

在 Spring Boot 中使用 Redis Stream

Spring Boot 是一个流行的 Java 开发框架，它提供了丰富的功能和便捷的开发方式。下面是如何在 Spring Boot 中使用 Redis Stream 的简单示例：

1. 添加 Redis 依赖：
   在 Spring Boot 项目的 Maven 或 Gradle 配置文件中，添加 Redis 相关的依赖项，以便在项目中使用 Redis 相关的功能。

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2. 创建 Redis Stream Bean：
   在 Spring Boot 的配置类中，创建一个 Redis Stream 的 Bean 对象，用于连接 Redis 数据库，并提供操作 Stream 的方法。

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.StringRedisSerializer;

@Configuration
public class RedisConfig {
    @Bean
    public RedisTemplate<String, String> redisTemplate(RedisConnectionFactory connectionFactory) {
        RedisTemplate<String, String> template = new RedisTemplate<>();
        template.setConnectionFactory(connectionFactory);
        template.setKeySerializer(new StringRedisSerializer());
        template.setValueSerializer(new StringRedisSerializer());
        return template;
    }
}

3. 发布消息到 Stream：
   在业务逻辑中，使用 Redis Stream Bean 提供的方法，发布消息到指定的 Stream。可以根据实际需求定义消息的结构和内容。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.stream.StreamMessageListenerContainer;
import org.springframework.data.redis.stream.StreamOperations;
import org.springframework.stereotype.Service;

@Service
public class MessagePublisherService {
    private final RedisTemplate<String, String> redisTemplate;
    private final StreamOperations<String, String, String> streamOperations;

    @Autowired
    public MessagePublisherService(RedisTemplate<String, String> redisTemplate) {
        this.redisTemplate = redisTemplate;
        this.streamOperations = redisTemplate.opsForStream();
    }

    public void publishMessage(String streamKey, String message) {
        streamOperations.add(streamKey, message);
    }
}

4. 创建消费者组：
   使用 Redis Stream Bean 提供的方法，创建一个消费者组，并指定消费者的名称和所要消费的 Stream。
5. 处理 Stream 消息：
   在消费者逻辑中，使用 Redis Stream Bean 提供的方法，读取和处理 Stream 中的消息条目。可以根据业务需求编写处理消息的代码逻辑。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.connection.stream.StreamOffset;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.stream.StreamMessage;
import org.springframework.data.redis.stream.StreamOperations;
import org.springframework.stereotype.Service;

import java.util.List;

@Service
public class MessageConsumerService {
    private final RedisTemplate<String, String> redisTemplate;
    private final StreamOperations<String, String, String> streamOperations;

    @Autowired
    public MessageConsumerService(RedisTemplate<String, String> redisTemplate) {
        this.redisTemplate = redisTemplate;
        this.streamOperations = redisTemplate.opsForStream();
    }

    public void consumeMessages(String groupName, String consumerName, String streamKey) {
        StreamOffset<String> offset = StreamOffset.latest(streamKey);
        StreamMessage<String, String> message = streamOperations.read(groupName, consumerName, offset);
        List<StreamMessage<String, String>> messages = message != null ? List.of(message) : List.of();
        
        // 处理消息的逻辑
        for (StreamMessage<String, String> msg : messages) {
            System.out.println("Received message: " + msg.getValue());
            // 进行具体的业务处理
        }

        // 确认消费消息
        if (!messages.isEmpty()) {
            streamOperations.acknowledge(groupName, message);
        }
    }
}

6. 启动 Spring Boot 应用：
   运行 Spring Boot 应用，Redis Stream Bean 将自动连接到 Redis 数据库，并开始消费 Stream 中的消息。