08.RocketMQ之消息的订阅关系+offset管理

一、订阅关系的一致性

同一个消费者组(GroupId相同)下所有Consumer实例所订阅的Topic与Tag及对消息的处理逻辑必须完全一致。否则消息逻辑混乱会导致消息丢失。请添加图片描述
错误:请添加图片描述

二、offset管理

Consumer的消费进度offset。
消费进度offset记录每个Queue的不同消费组的消费进度,根据消费进度器不同,可以分为本地模式、远程模式。

  1. 本地管理模式
    消费模式为广播消费,每条消息被所有消费者消费,每个消费者记录自己的消费进度,不存在交集。以json模式持久化到consumer本地磁盘文件中,默认文件路径为当前用户主目录下的.rocketmq_offsets? c l i e n t I d / {clientId}/ clientId/{group/offsets.json}。其中${clientId}为当前消费者id,默认为ip@DEFAULT;group为消费者组名称。
  2. 远程管理模式
    消费模式为集群消费,所有consumer共享消费进度,文件目录为store/config/consumerOffset.json
    Broker 启动时加载该文件并写入双层map。外层map的key为topic@group,value为内层map,内层map 的key为queueId,value为offset。当rebalance时,新的consumer会从该map中获取到相应的数据来继续消费。
    重要为了保证rebalance机制。
  3. 用途
    消费起始位置自己设置的,可以通过枚举类型。请添加图片描述
    CONSUMER_FROM_LAST_OFFSET:从queue的当前最后一条消息开始消费。
    CONSUMER_FROM_FIRST_OFFSET:从queue的第一条消息开始消费。
    CONSUMER_FROM_TIMESTAMP:从指定的具体时间戳开始消费。时间戳通过consumer.setConsumeTimeStamp(“202109260340”)yyyyMMddHHmmss
    当消费完一条消息consumer向broker提交 消费进度offset,broker收到消息后更新双层map并向consumer发送ACK,ACK包括最小offset(minOffset)、最大offset(maxOffset)、下次消费起始offset(nextBeginOffset)。
    出现异常时会将异常消息的offset提交到broker提交到重试队列中。
  4. offset同步异步提交
    同步提交:消费者消息完消息向broker提交offset并等待ACK存放 nextBeginOffset ,没有响应则重新提交。
    异步提交:不需要等待broker ACK响应。需要注意的是,nextBeginOffset在Broker中获取。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 好的。以下是一个简单的 RocketMQ 消息队列的代码示例,它用于处理数据: ``` import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.common.consumer.ConsumeFromWhere; import org.apache.rocketmq.common.message.MessageExt; import java.util.List; public class Consumer { public static void main(String[] args) throws InterruptedException, MQClientException { // 创建消费者 DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumer_group"); // 设置 Nameserver 地址 consumer.setNamesrvAddr("localhost:9876"); // 设置从哪里开始消费 consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET); // 设置消费消费的主题和标签(* 表示消费所有消息) consumer.subscribe("TopicTest", "*"); // 注册消息监听器 consumer.registerMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) { for (MessageExt msg : msgs) { System.out.println("收到消息:" + new String(msg.getBody())); } return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); // 启动消费者 consumer.start(); System.out.println("消费者已启动"); } } ``` 这段代码中,我们首先创建了一个消费者,然后设置了 Nameserver 地址、消费的起始位置和消费的主题和标签。接着,我们注册了一个消息监听 ### 回答2: RocketMQ 是一个开源的消息队列系统,它具备高吞吐量、低延迟等优势,适用于大规模分布式数据处理。 下面是一个简单的RocketMQ消息队列处理数据的代码示例: 1. 首先,需要引入RocketMQ的依赖包,可以通过Maven进行管理: ```xml <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId> <version>最新版本号</version> </dependency> ``` 2. 创建一个Producer消息生产者)对象,并设置相关配置: ```java import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.common.message.Message; public class RocketMQProducer { public static void main(String[] args) throws Exception { // 创建消息生产者并指定组名 DefaultMQProducer producer = new DefaultMQProducer("group_name"); // 设置NameServer地址 producer.setNamesrvAddr("127.0.0.1:9876"); // 启动生产者 producer.start(); // 创建消息对象,并指定Topic、Tag、消息内容 Message message = new Message("topic_name", "tag_name", "Hello, RocketMQ!".getBytes()); // 发送消息 producer.send(message); // 关闭生产者 producer.shutdown(); } } ``` 3. 创建一个Consumer消息消费者)对象,并设置相关配置和消息处理逻辑: ```java import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; import org.apache.rocketmq.common.message.MessageExt; import java.util.List; public class RocketMQConsumer { public static void main(String[] args) throws Exception { // 创建消息消费者并指定组名 DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group_name"); // 设置NameServer地址 consumer.setNamesrvAddr("127.0.0.1:9876"); // 订阅Topic和Tag consumer.subscribe("topic_name", "tag_name"); // 注册消息监听器 consumer.registerMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext context) { for (MessageExt message : list) { // 处理消息逻辑 System.out.println(new String(message.getBody())); } // 消息处理成功,返回消费状态 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); // 启动消费者 consumer.start(); } } ``` 以上就是一个简单的RocketMQ消息队列处理数据的代码示例,通过消息生产者发送消息消息消费者接收并处理消息。具体使用时,需要根据自己的实际需求进行配置和逻辑处理。 ### 回答3: 下面是一个使用RocketMQ消息队列处理数据的Java代码示例: ```java import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; import org.apache.rocketmq.common.message.MessageExt; import java.util.List; public class RocketMQConsumer { public static void main(String[] args) throws Exception { // 创建一个消费者实例,并指定消费者组名 DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumerGroup"); // 设置NameServer地址,多个地址用分号隔开 consumer.setNamesrvAddr("localhost:9876"); // 订阅一个或多个Topic,以及Tag来过滤需要消费消息 consumer.subscribe("TopicTest", "*"); // 注册消息监听器,处理收到的消息 consumer.registerMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext context) { for (MessageExt message : list) { // 具体的消息处理逻辑 System.out.println("Received message: " + new String(message.getBody())); } // 消费成功,返回CONSUME_SUCCESS,让Broker知道该消息已被消费 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); // 启动消费者实例 consumer.start(); System.out.println("Consumer started."); } } ``` 上述示例中,首先创建了一个消费者实例,并指定了消费者组名。然后通过`setNamesrvAddr`方法设置了RocketMQ的NameServer地址。接着使用`subscribe`方法订阅需要消费的Topic和Tag。 在`registerMessageListener`方法中,通过实现`MessageListenerConcurrently`接口来编写消息的处理逻辑。在`consumeMessage`方法中,处理从RocketMQ接收到的消息。通过`getBody`方法获取消息内容,然后可以根据实际需求进行相应的业务处理。在处理完成后,需要返回`CONSUME_SUCCESS`,告诉Broker消息已被消费。 最后,调用`start`方法启动消费者实例,然后就可以开始监听和处理消息了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值