redis Stream流(2)-如何在运行中动态监听stream流

文章目录


在实际生产中,有这样一种需求:
A创建stream流,B要监听流中的数据。但是A是根据需求逐渐建立的,不是在一开始就完全知道要建立的流,B要动态的添加要监听的流。

被这个问题困扰了一下午,查找了网上的一些资料,发现质量确实混杂。
遂又去翻阅redis官方文档,找到一个XCLAIM命令,但是只适用于同一个流下有两个以上的消费者组成的消费者组的情况,不能跨组监听。
后来自己研究发现解决办法很简单,开贴记录一下。

配置

这是原配置文件:

 @Bean(initMethod = "start", destroyMethod = "stop")
    public StreamMessageListenerContainer<String, ObjectRecord<String, Object>> streamMessageListenerContainer() {
        AtomicInteger index = new AtomicInteger(1);
        int processors = Runtime.getRuntime().availableProcessors();
        ThreadPoolExecutor executor = new ThreadPoolExecutor(processors, processors, 0, TimeUnit.SECONDS,
                new LinkedBlockingDeque<>(), r -> {
            Thread thread = new Thread(r);
            thread.setName("async-stream-consumer-" + index.getAndIncrement());
            thread.setDaemon(true);
            return thread;
        });

        StreamMessageListenerContainer.StreamMessageListenerContainerOptions<String, ObjectRecord<String, Object>> options =
                StreamMessageListenerContainer.StreamMessageListenerContainerOptions
                        .builder()
                        // 一次最多获取多少条消息
                        .batchSize(10)
                        // 运行 Stream 的 poll task
                        .executor(executor)
                        // 可以理解为 Stream Key 的序列化方式
                        .keySerializer(RedisSerializer.string())
                        // 可以理解为 Stream 后方的字段的 key 的序列化方式
                        .hashKeySerializer(RedisSerializer.string())
                        // 可以理解为 Stream 后方的字段的 value 的序列化方式
                        .hashValueSerializer(new GenericFastJsonRedisSerializer())//RedisSerializer.string()
                        // Stream 中没有消息时,阻塞多长时间,需要比 `spring.redis.timeout` 的时间小
                        .pollTimeout(Duration.ofSeconds(1))
	                        // ObjectRecord 时,将 对象的 filed 和 value 转换成一个 Map 比如:将Object对象转换成map
                        .objectMapper(new ObjectHashMapper())
                        // 获取消息的过程或获取到消息给具体的消息者处理的过程中,发生了异常的处理
                        .errorHandler(new CustomErrorHandler())
                        // 将发送到Stream中的Record转换成ObjectRecord,转换成具体的类型是这个地方指定的类型
                        .targetType(Object.class)
                        .build();
        streamMessageListenerContainer =
                StreamMessageListenerContainer.create(redisConnectionFactory, options);
        String streamKey = Constants.STREAM_KEY;
        //加入多个消费者对应多个key
        RedisConnection connection = redisConnectionFactory.getConnection();
        Set<byte[]> keys = connection.keyCommands().keys(streamKey.getBytes());
        for (byte[] key : keys) {
            StreamInfo.XInfoGroups xInfoGroups = connection.xInfoGroups(key);
            if (xInfoGroups == null || xInfoGroups.groupCount() == 0) {
                connection.xGroupCreate(key, "group-1", ReadOffset.from("0"));
            }
            Consumer from = Consumer.from("group-1", "consumer-"+key);
            StreamOffset<String> streamOffset = StreamOffset.create(new String(key), ReadOffset.lastConsumed());
            streamMessageListenerContainer.receive(from, streamOffset, listener);
            System.out.println(new String(key));
        }
        connection.close();
        return streamMessageListenerContainer;
    }

修改

为了解决标题问题,增加一个动态监听方法:

public void addStreamListener(String streamKey) {
        RedisConnection connection = redisConnectionFactory.getConnection();
        StreamInfo.XInfoGroups xInfoGroups = connection.xInfoGroups(streamKey.getBytes());
        if (xInfoGroups == null || xInfoGroups.groupCount() == 0) {
            connection.xGroupCreate(streamKey.getBytes(), "group-1", ReadOffset.from("0"));
        }
        Consumer consumer = Consumer.from("group-1", "consumer-" + streamKey);
        StreamOffset<String> streamOffset = StreamOffset.create(streamKey, ReadOffset.lastConsumed());
        streamMessageListenerContainer.receive(consumer, streamOffset, listener);
        connection.close();
    }

问题解决。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis StreamRedis 5.0 版本引入的新数据类型,用于在实时数据处理场景存储和处理消息Redis Stream 具有持久化、多生产者和多消费者、消息顺序和式处理等优点。 在 Redis Stream ,可以通过消费者组的方式对消息进行监听和处理。当有新的消息产生时,消费者组的消费者可以实时接收并处理这些消息。但是,在实际的应用场景,可能会出现处理断问题。 处理断问题主要有两种情况: 1. 生产者断问题:当生产者的连接断开或者出现故障时,无法继续向 Redis Stream 写入新的消息。此时,消费者组的消费者无法接收到新的消息,导致消息处理断。解决此问题的方式是,通过监控生产者的连接状态或者使用心跳机制,及时发现并处理生产者的断情况。 2. 消费者断问题:当消费者的连接断开或者出现故障时,无法继续从 Redis Stream 读取和处理消息。此时,消费者组的其他消费者可以接替断的消费者继续处理消息。当断的消费者重新连接并加入消费者组时,可以根据消费者组的配置,选择重试未处理的消息或者从最新的消息开始进行处理。 对于处理断问题,还需要注意以下几点: 1. 消费者组的配置:可以根据实际需求配置消费者组的参数,如最大重试次数、消费者权重、消费者超时时间等,以便更好地适应实际的使用场景。 2. 错误处理和重试机制:在消费者处理消息时,可能会出现错误或者异常情况。此时,可以通过错误处理和重试机制,对处理失败的消息进行处理,以确保消息的可靠性处理。 总结来说,处理 Redis Stream 监听断问题需要注意对生产者和消费者的状态进行监控,并通过配置消费者组的参数和使用错误处理和重试机制,来保证消息处理的可靠性和连续性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值