rocketmq 消费方式_rocketmq：当同一消费组的消费方式被修改后，消费组将按什么方式消费。-问答-阿里云开发者社区-阿里云...

最新推荐文章于 2024-04-21 23:55:45 发布
最新推荐文章于 2024-04-21 23:55:45 发布
阅读量232 收藏
点赞数
文章标签： rocketmq 消费方式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39586683/article/details/112926719
版权

一、Consumer 批量消费

可以通过

[java] view plain copy

consumer.setConsumeMessageBatchMaxSize(10);//每次拉取10条

这里需要分为2种情况1、Consumer端先启动 2、Consumer端后启动. 正常情况下：应该是Consumer需要先启动

1、Consumer端先启动

Consumer代码如下

[java] view plain copy

package quickstart;

import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;

import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;

import com.alibaba.rocketmq.client.exception.MQClientException;

import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;

import com.alibaba.rocketmq.common.message.MessageExt;

/**

Consumer，订阅消息

*/

public class Consumer {

public static void main(String[] args) throws InterruptedException, MQClientException {

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");

consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");

consumer.setConsumeMessageBatchMaxSize(10);

/**

* 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费

* 如果非第一次启动，那么按照上次消费的位置继续消费

*/

consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

consumer.subscribe("TopicTest", "*");

consumer.registerMessageListener(new MessageListenerConcurrently() {

public ConsumeConcurrentlyStatus consumeMessage(List msgs, ConsumeConcurrentlyContext context) {

try {

System.out.println("msgs的长度" + msgs.size());

System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);

} catch (Exception e) {

e.printStackTrace();

return ConsumeConcurrentlyStatus.RECONSUME_LATER;

}

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;

}

});

consumer.start();

System.out.println("Consumer Started.");

}

}

由于这里是Consumer先启动，所以他会去轮询MQ上是否有订阅队列的消息，由于每次producer插入一条，Consumer就拿一条所以测试结果如下(每次size都是1)：

2、Consumer端后启动，也就是Producer先启动

由于这里是Consumer后启动，所以MQ上也就堆积了一堆数据，Consumer的

consumer.setConsumeMessageBatchMaxSize(10);//每次拉取10条

所以这段代码就生效了测试结果如下(每次size最多是10)：

二、消息重试机制：消息重试分为2种1、Producer端重试 2、Consumer端重试

1、Producer端重试

也就是Producer往MQ上发消息没有发送成功，我们可以设置发送失败重试的次数

[java] view plain copy

package quickstart;

import com.alibaba.rocketmq.client.exception.MQClientException;

import com.alibaba.rocketmq.client.producer.DefaultMQProducer;

import com.alibaba.rocketmq.client.producer.SendResult;

import com.alibaba.rocketmq.common.message.Message;

/**

Producer，发送消息

*/

public class Producer {

public static void main(String[] args) throws MQClientException, InterruptedException {

DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");

producer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");

producer.setRetryTimesWhenSendFailed(10);//失败的 情况发送10次

producer.start();

for (int i = 0; i < 1000; i++) {

try {

Message msg = new Message("TopicTest",// topic

"TagA",// tag

("Hello RocketMQ " + i).getBytes()// body

);

SendResult sendResult = producer.send(msg);

System.out.println(sendResult);

} catch (Exception e) {

e.printStackTrace();

Thread.sleep(1000);

}

}

producer.shutdown();

}

}

2、Consumer端重试

2.1、exception的情况，一般重复16次 10s、30s、1分钟、2分钟、3分钟等等

上面的代码中消费异常的情况返回

return ConsumeConcurrentlyStatus.RECONSUME_LATER;//重试

正常则返回：

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;//成功

[java] view plain copy

package quickstart;

import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;

import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;

import com.alibaba.rocketmq.client.exception.MQClientException;

import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;

import com.alibaba.rocketmq.common.message.MessageExt;

/**

Consumer，订阅消息

*/

public class Consumer {

public static void main(String[] args) throws InterruptedException, MQClientException {

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");

consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");

consumer.setConsumeMessageBatchMaxSize(10);

/**

* 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费

* 如果非第一次启动，那么按照上次消费的位置继续消费

*/

consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

consumer.subscribe("TopicTest", "*");

consumer.registerMessageListener(new MessageListenerConcurrently() {

public ConsumeConcurrentlyStatus consumeMessage(List msgs, ConsumeConcurrentlyContext context) {

try {

// System.out.println("msgs的长度" + msgs.size());

System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);

for (MessageExt msg : msgs) {

String msgbody = new String(msg.getBody(), "utf-8");

if (msgbody.equals("Hello RocketMQ 4")) {

System.out.println("======错误=======");

int a = 1 / 0;

}

}

} catch (Exception e) {

e.printStackTrace();

if(msgs.get(0).getReconsumeTimes()==3){

//记录日志

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功

}else{

return ConsumeConcurrentlyStatus.RECONSUME_LATER;// 重试

}

}

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功

}

});

consumer.start();

System.out.println("Consumer Started.");

}

}

打印结果：

假如超过了多少次之后我们可以让他不再重试记录 日志。

if(msgs.get(0).getReconsumeTimes()==3){

//记录日志

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功

}

2.2超时的情况，这种情况MQ会无限制的发送给消费端。

就是由于网络的情况，MQ发送数据之后，Consumer端并没有收到导致超时。也就是消费端没有给我返回return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;这样的就认为没有到达Consumer端。

这里模拟Producer只发送一条数据。consumer端暂停1分钟并且不发送接收状态给MQ

[java] view plain copy

package model;

import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;

import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;

import com.alibaba.rocketmq.client.exception.MQClientException;

import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;

import com.alibaba.rocketmq.common.message.MessageExt;

/**

Consumer，订阅消息

*/

public class Consumer {

public static void main(String[] args) throws InterruptedException, MQClientException {

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("message_consumer");

consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");

consumer.setConsumeMessageBatchMaxSize(10);

/**

* 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费

* 如果非第一次启动，那么按照上次消费的位置继续消费

*/

consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

consumer.subscribe("TopicTest", "*");

consumer.registerMessageListener(new MessageListenerConcurrently() {

public ConsumeConcurrentlyStatus consumeMessage(List msgs, ConsumeConcurrentlyContext context) {

try {

// 表示业务处理时间

System.out.println("=========开始暂停===============");

Thread.sleep(60000);

for (MessageExt msg : msgs) {

System.out.println(" Receive New Messages: " + msg);

}

} catch (Exception e) {

e.printStackTrace();

return ConsumeConcurrentlyStatus.RECONSUME_LATER;// 重试

}

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功

}

});

consumer.start();

System.out.println("Consumer Started.");

}

}

三、消费模式

广播消费：rocketMQ默认是集群消费,我们可以通过在Consumer来支持广播消费

consumer.setMessageModel(MessageModel.BROADCASTING);// 广播消费

[java] view plain copy

package model;

import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;

import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;

import com.alibaba.rocketmq.client.exception.MQClientException;

import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;

import com.alibaba.rocketmq.common.message.MessageExt;

import com.alibaba.rocketmq.common.protocol.heartbeat.MessageModel;

/**

Consumer，订阅消息

*/

public class Consumer2 {

public static void main(String[] args) throws InterruptedException, MQClientException {

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("message_consumer");

consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");

consumer.setConsumeMessageBatchMaxSize(10);

consumer.setMessageModel(MessageModel.BROADCASTING);// 广播消费

consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

consumer.subscribe("TopicTest", "*");

consumer.registerMessageListener(new MessageListenerConcurrently() {

public ConsumeConcurrentlyStatus consumeMessage(List msgs, ConsumeConcurrentlyContext context) {

try {

for (MessageExt msg : msgs) {

System.out.println(" Receive New Messages: " + msg);

}

} catch (Exception e) {

e.printStackTrace();

return ConsumeConcurrentlyStatus.RECONSUME_LATER;// 重试

}

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功

}

});

consumer.start();

System.out.println("Consumer Started.");

}

}

如果我们有2台节点(非主关系),2个节点物理上是分开的，Producer往MQ上写入20条数据 其中broker1中拉取了12条 。broker2中拉取了8 条，这种情况下，假如broker1宕机，那么我们消费数据的时候，只能消费到broker2中的8条，broker1中的12条已经持久化到中。需要broker1回复之后这12条数据才能继续被消费。

异步复制和同步双写主要是主和从的关系。消息需要实时消费的，就需要采用主从模式部署

异步复制:比如这里有一主一从，我们发送一条消息到主节点之后，这样消息就算从producer端发送成功了，然后通过异步复制的方法将数据复制到从节点

同步双写:比如这里有一主一从，我们发送一条消息到主节点之后，这样消息就并不算从producer端发送成功了，需要通过同步双写的方法将数据同步到从节点后， 才算数据发送成功。

四、刷盘方式

同步刷盘：在消息到达MQ后，RocketMQ需要将数据持久化，同步刷盘是指数据到达内存之后，必须刷到commitlog日志之后才算成功，然后返回producer数据已经发送成功。

异步刷盘：，同步刷盘是指数据到达内存之后,返回producer说数据已经发送成功。，然后再写入commitlog日志。

commitlog：

commitlog就是来存储所有的元信息，包含消息体，类似于Mysql、Oracle的redolog,所以主要有CommitLog在，Consume Queue即使数据丢失，仍然可以恢复出来。

consumequeue：记录数据的位置,以便Consume快速通过consumequeue找到commitlog中的数据

weixin_39586683
关注
RocketMQ5.0消息消费＜三＞ _ 消息消费
专搞技术的小兔子
07-10 249
参考《RocketMQ5.0.0消息消费＜一＞ _ PUSH模式的消息拉取​》，成功拉取消息后，org.apache.rocketmq.client.consumer.PullCallback回调onSuccess()，把消息提交（异步提交）到ConsumeMessageService的线程池中，供消费者消费，则本次拉取消息完成。org.apache.rocketmq.client.consumer.store.RemoteBrokerOffsetStore是集群模式消费进度存储的实现类，其关键属性如下。
测试面试之RocketMq
Dave0002的博客
07-19 1292
测试面试之RocketMq
RocketMQ消费消息(负载均衡模式和广播模式)
深漂小码哥
04-25 2028
package com.mq.rocket.consumer; import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatu.
RocketMQ消息重复消费--一起学习吧之架构
wd90119的博客
04-19 1001
重复消费是MQ中常见的问题，尤其在系统调用频繁的场景下，可能会因为超时重试等原因导致重复消费。在RocketMQ中，重复消费可能由多种原因造成，例如服务端重启后的数据恢复、主从同步offset失败，以及消息处理异常等。RocketMQ中的消息重复消费（Duplicate Consumption）指的是在某些情况下，消息可能会被多次消费，从而导致业务逻辑的重复执行。
浅谈如何解决RocketMQ重复消费的问题
weixin_43506048的博客
10-30 8985
MQ重复消费是指同一个应用的多个实例收到相同的消息，或者同一个实例收到多次相同的消息，若消费者逻辑未做幂等处理，就会造成重复消费。 消息重复这个问题本质上是MQ设计上的atleastonce 还是exactlyonce的问题，消费者肯定想要exactly once，但MQ要保证消息投递的可靠性，对未ack的消息，会重复投递。因此消费者端要自己保证消费的幂等性，方法如：消费者收到消息后，从消息中获取消息标识写入到Redis或数据库，当再次收到该消息时就不作处理。消息重复...
Golang 实现RocketMQ 消费者组 细节
Xinxin241的博客
10-27 2061
Golang 实现RocketMQ 消费者组 细节、最佳实践，你将理解消费者组和消费者实例的关系以及本质。
RocketMQ入门到入土（七 )为什么同一个消费组设置不同tag会出现奇怪现象
bishe_teacher的博客
07-23 600
RocketMQ入门到入土（七 )为什么同一个消费组设置不同tag会出现奇怪现象 一、问题复现 1、描述 两个一样的Consumer Group的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2，然后分别启动。这时候往Topic的tag1里发送10条数据，Topic的tag2里发送10条。目测应该是Consumer1和Consumer2分别收到对应的10条消息。结果却是只有Consumer2收到了消息，而且只收到
解析 RocketMQ 业务消息 - “顺序消息”
阿里云技术
08-25 930
作为金融级可靠的业务消息方案，RocketMQ 从创建之初就一直专注于业务集成领域的异步通信能力构建。本篇将继续业务消息集成的场景，从功能原理、应用案例、最佳实践以及实战等角度介绍 RocketMQ 的顺序消息功能。
rocketmq-3.1.7
09-02
RocketMQ是阿里巴巴开源的一款分布式消息中间件，它在大规模分布式系统中起到了关键的通信和数据交换作用。在本文中，我们将深入探讨RocketMQ 3.1.7版本的相关知识点。 一、RocketMQ概述 RocketMQ是一款高吞吐量、...
【实战】RocketMQ消息灰度方案-消息逻辑隔离
最新发布
简放视野的专栏
04-21 1145
消息隔离的原则 灰度场景 1.灰度消息只由灰度节点消费 2.灰度消息可以由正常节点消费 消息逻辑隔离的灰度方案
一文理清RocketMQ顺序消费、重复消费、消息丢失问题
weixin_43966635的博客
05-22 8934
前言 在使用消息队列时不可避免的会遇到顺序消费、重复消费、消息丢失三个问题。在一次面试字节的时候，面试官问到如何保证顺序消费，当时回答不太准确，特意此文回顾如何解决顺序消费、重复消费、消息丢失三个问题。 重复消费 ......
阿里云的消息队列RocketMQ版:集群消费和广播消费
L'Étranger的博客
03-08 1597
阿里云原文地址 消息队列RocketMQ版是基于发布或订阅模型的消息系统。消费者，即消息的订阅方订阅关注的Topic，以获取并消费消息。由于消费者应用一般是分布式系统，以集群方式部署，因此消息队列RocketMQ版约定以下概念： 集群：使用相同Group ID的消费者属于同一个集群。同一个集群下的消费者消费逻辑必须完全一致（包括Tag的使用）。更多信息，请参见订阅关系一致。 集群消费：当使用集群消费模式时，消息队列RocketMQ版认为任意一条消息只需要被集群内的任意一个消费者处理即可。 广播消费：
阿里云RocketMQ HTTP SDK 生产者与消者的费动态管理解决方案
blowbob_666的博客
03-08 1296
阿里云RocketMQ HTTP SDK 生产者与消者的费动态管理解决方案 目前已经支持基本的生产消费，并自己实现了异常重试和死信的功能，自己在开发中运行尚可，如果本项目有帮到你，欢迎大fork和给星。 项目地址： https://github.com/WilliamChen-luckbob/Aliyun-RocketMq-FlexMessageCenter 功能介绍： 基于阿里云RocketMQ，在不停机，不修改代码的情况下，用户在阿里云管理控制台设定新的消息配置完毕后，只需直接将相关配置参数写入数据库的
Rocketmq集群consumer消费(同组及不同组)
热门推荐
微信公众号：一颗向上的草莓
06-14 1万+
一机器部署 1、机器组成 7台机器，均为16G内存 每台服务器均有4个CPU，2核 2、运行环境配置 3、刷盘方式 每台机器master机器均采用异步刷盘方式 二、同组consumer均衡消费queue 1、评测目的 测试同一个consumerGroup组的所有consumer均衡消费同一个topic的所有queue。 2、评测指标 master机器个数 topic的队列数 consumerGr...
RocketMQ 同一个消费组应该保持完全一样的订阅关系
meser88的博客
03-12 2192
生产蓝绿发布验证的时候发现了这个问题，同一个消费组下，配置了蓝绿两个消费ID，各自的订阅关系不一致，导致启动报错： the consumer's subscription not exist 解决方法就是同步订阅关系。业务场景消息量不大的情况下，无须建多个消费者，一般一个消费组下建一个消费者就可以了，方便维护。 该问题可参考以下文章： https://blog.csdn.net/weix...
消息中间件
海里鱼的技术博客
10-28 428
abbitmq是一个高级消息队列，而mq呢又是一种分布式应用程序的的通信方法。我们用它来做什么呢？ 消息中间件 我们最近常用的就是将他当作是消息中间件来进行使用，接下来 好好介绍下。 消息队列（消息中间件）已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。 消息中间件的组成 Brok
阿里云RocketMQ使用
dsghre的专栏
07-31 5533
参考文档：https://help.aliyun.com/product/29530.html?spm=a2c4g.11186623.6.540.3cc87b4arGmtrs 一、Maven引入 <!--消息队列 RocketMQ--> <dependency> <groupId>com.aliyun.openservices</groupI...
RocketMQ 客户端突然不消费了，部分不消费，部分队列不消费
cliuyang的专栏
07-20 8801
现象： 短信发送业务发现部分客户不能按时收到短信通知，发现Rocketmq 消息消费有延迟。 定位步骤： 查看Rocketmq 控制台，发现topic消费有部分延迟，同一个Client 部分队列能正常消费，但是部分队列长期不消费。 控制台截图如下： 看到这个现象后就怀疑是客户端某个逻辑出现了死循环或者长时间的Block，于是去打印了线上环境的线...
Spring中优雅实现RocketMQ发送与消费：rocktmq-spring-boot实战
同样，对于Consumer，可以定义一个Consumer Bean，配置消费组和订阅主题，实现MessageListener接口来处理消费逻辑。通过这样的方式，Spring Boot应用能够轻松地集成RocketMQ，实现消息的发布和订阅。 结合Spring的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值