RocketMQ批量消费、消息重试、消费模式、刷盘方式

最新推荐文章于 2024-09-13 17:09:54 发布
置顶 最新推荐文章于 2024-09-13 17:09:54 发布
阅读量3.9w 收藏 51
点赞数 11
分类专栏： RocketMQ 文章标签： RocketMQ 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010634288/article/details/56049305
版权

一、Consumer 批量消费

可以通过

consumer.setConsumeMessageBatchMaxSize(10);//每次拉取10条
这里需要分为2种情况1、Consumer端先启动  2、Consumer端后启动.   正常情况下：应该是Consumer需要先启动

1、Consumer端先启动

Consumer代码如下

package quickstart;

import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;
import com.alibaba.rocketmq.common.message.MessageExt;

/**
 * Consumer，订阅消息
 */
public class Consumer {

	public static void main(String[] args) throws InterruptedException, MQClientException {
		DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");
		consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");
		consumer.setConsumeMessageBatchMaxSize(10);
		/**
		 * 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费<br>
		 * 如果非第一次启动，那么按照上次消费的位置继续消费
		 */
		consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

		consumer.subscribe("TopicTest", "*");

		consumer.registerMessageListener(new MessageListenerConcurrently() {

			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
				
				try {
					System.out.println("msgs的长度" + msgs.size());
					System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);
				} catch (Exception e) {
					e.printStackTrace();
					return ConsumeConcurrentlyStatus.RECONSUME_LATER;
				}
				
				
				
				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
			}
		});

		consumer.start();

		System.out.println("Consumer Started.");
	}
}





由于这里是Consumer先启动，所以他会去轮询MQ上是否有订阅队列的消息，由于每次producer插入一条，Consumer就拿一条所以测试结果如下（每次size都是1）：




2、Consumer端后启动，也就是Producer先启动

由于这里是Consumer后启动，所以MQ上也就堆积了一堆数据，Consumer的

consumer.setConsumeMessageBatchMaxSize(10);//每次拉取10条    

所以这段代码就生效了测试结果如下（每次size最多是10）：


二、消息重试机制：消息重试分为2种1、Producer端重试 2、Consumer端重试

1、Producer端重试 

也就是Producer往MQ上发消息没有发送成功，我们可以设置发送失败重试的次数

package quickstart;

import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.client.producer.DefaultMQProducer;
import com.alibaba.rocketmq.client.producer.SendResult;
import com.alibaba.rocketmq.common.message.Message;

/**
 * Producer，发送消息
 * 
 */
public class Producer {
	public static void main(String[] args) throws MQClientException, InterruptedException {
		DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
		producer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");
		producer.setRetryTimesWhenSendFailed(10);//失败的 情况发送10次
		producer.start();

		for (int i = 0; i < 1000; i++) {
			try {
				Message msg = new Message("TopicTest",// topic
						"TagA",// tag
						("Hello RocketMQ " + i).getBytes()// body
				);
				SendResult sendResult = producer.send(msg);
				System.out.println(sendResult);
			} catch (Exception e) {
				e.printStackTrace();
				Thread.sleep(1000);
			}
		}

		producer.shutdown();
	}
}




2、Consumer端重试

2.1、exception的情况，一般重复16次 10s、30s、1分钟、2分钟、3分钟等等

上面的代码中消费异常的情况返回

return ConsumeConcurrentlyStatus.RECONSUME_LATER;//重试

正常则返回：

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;//成功


package quickstart;


import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;
import com.alibaba.rocketmq.common.message.MessageExt;

/**
 * Consumer，订阅消息
 */
public class Consumer {

	public static void main(String[] args) throws InterruptedException, MQClientException {
		DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");
		consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");
		consumer.setConsumeMessageBatchMaxSize(10);
		/**
		 * 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费<br>
		 * 如果非第一次启动，那么按照上次消费的位置继续消费
		 */
		consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

		consumer.subscribe("TopicTest", "*");

		consumer.registerMessageListener(new MessageListenerConcurrently() {

			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {

				try {
					// System.out.println("msgs的长度" + msgs.size());
					System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);
					for (MessageExt msg : msgs) {
						String msgbody = new String(msg.getBody(), "utf-8");
						if (msgbody.equals("Hello RocketMQ 4")) {
							System.out.println("======错误=======");
							int a = 1 / 0;
						}
					}

				} catch (Exception e) {
					e.printStackTrace();
					if(msgs.get(0).getReconsumeTimes()==3){
						//记录日志
						
						return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功
					}else{
						
					return ConsumeConcurrentlyStatus.RECONSUME_LATER;// 重试
					}
				}

				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功
			}
		});

		consumer.start();

		System.out.println("Consumer Started.");
	}
}

打印结果：




假如超过了多少次之后我们可以让他不再重试记录 日志。

if(msgs.get(0).getReconsumeTimes()==3){
//记录日志
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功
}


2.2超时的情况，这种情况MQ会无限制的发送给消费端。

就是由于网络的情况，MQ发送数据之后，Consumer端并没有收到导致超时。也就是消费端没有给我返回return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;这样的就认为没有到达Consumer端。

这里模拟Producer只发送一条数据。consumer端暂停1分钟并且不发送接收状态给MQ

package model;

import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;
import com.alibaba.rocketmq.common.message.MessageExt;

/**
 * Consumer，订阅消息
 */
public class Consumer {

	public static void main(String[] args) throws InterruptedException, MQClientException {
		DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("message_consumer");
		consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");
		consumer.setConsumeMessageBatchMaxSize(10);
		/**
		 * 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费<br>
		 * 如果非第一次启动，那么按照上次消费的位置继续消费
		 */
		consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

		consumer.subscribe("TopicTest", "*");

		consumer.registerMessageListener(new MessageListenerConcurrently() {

			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {

				try {

					// 表示业务处理时间
					System.out.println("=========开始暂停===============");
					Thread.sleep(60000);

					for (MessageExt msg : msgs) {
						System.out.println(" Receive New Messages: " + msg);
					}

				} catch (Exception e) {
					e.printStackTrace();
					return ConsumeConcurrentlyStatus.RECONSUME_LATER;// 重试
				}

				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功
			}
		});

		consumer.start();

		System.out.println("Consumer Started.");
	}
}






三、消费模式

广播消费：rocketMQ默认是集群消费,我们可以通过在Consumer来支持广播消费

consumer.setMessageModel(MessageModel.BROADCASTING);// 广播消费

package model;

import java.util.List;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.common.consumer.ConsumeFromWhere;
import com.alibaba.rocketmq.common.message.MessageExt;
import com.alibaba.rocketmq.common.protocol.heartbeat.MessageModel;

/**
 * Consumer，订阅消息
 */
public class Consumer2 {

	public static void main(String[] args) throws InterruptedException, MQClientException {
		DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("message_consumer");
		consumer.setNamesrvAddr("192.168.100.145:9876;192.168.100.146:9876");
		consumer.setConsumeMessageBatchMaxSize(10);
		consumer.setMessageModel(MessageModel.BROADCASTING);// 广播消费
	
		consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

		consumer.subscribe("TopicTest", "*");

		consumer.registerMessageListener(new MessageListenerConcurrently() {

			public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {

				try {

					for (MessageExt msg : msgs) {
						System.out.println(" Receive New Messages: " + msg);
					}

				} catch (Exception e) {
					e.printStackTrace();
					return ConsumeConcurrentlyStatus.RECONSUME_LATER;// 重试
				}

				return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;// 成功
			}
		});

		consumer.start();

		System.out.println("Consumer Started.");
	}
}

如果我们有2台节点(非主关系),2个节点物理上是分开的，Producer往MQ上写入20条数据 其中broker1中拉取了12条 。broker2中拉取了8 条，这种情况下，假如broker1宕机，那么我们消费数据的时候，只能消费到broker2中的8条，broker1中的12条已经持久化到中。需要broker1回复之后这12条数据才能继续被消费。



异步复制和同步双写主要是主和从的关系。消息需要实时消费的，就需要采用主从模式部署

异步复制:比如这里有一主一从，我们发送一条消息到主节点之后，这样消息就算从producer端发送成功了，然后通过异步复制的方法将数据复制到从节点

同步双写:比如这里有一主一从，我们发送一条消息到主节点之后，这样消息就并不算从producer端发送成功了，需要通过同步双写的方法将数据同步到从节点后， 才算数据发送成功。


四、刷盘方式

同步刷盘：在消息到达MQ后，RocketMQ需要将数据持久化，同步刷盘是指数据到达内存之后，必须刷到commitlog日志之后才算成功，然后返回producer数据已经发送成功。


异步刷盘：，同步刷盘是指数据到达内存之后,返回producer说数据已经发送成功。，然后再写入commitlog日志。


commitlog：

commitlog就是来存储所有的元信息，包含消息体，类似于Mysql、Oracle的redolog,所以主要有CommitLog在，Consume Queue即使数据丢失，仍然可以恢复出来。

consumequeue：记录数据的位置,以便Consume快速通过consumequeue找到commitlog中的数据







Mr_蜗牛
关注
专栏目录
RocketMQ【消费幂等性（消费过程幂 、消费速度慢的处理方式、消费打印日志 ）、 RocketMQ集群服务（集群特点、单master模式 ）】(五)-全面详解（学习总结---从入门到深化）
04-22 729
RocketMQ【消费幂等性（消费过程幂 、消费速度慢的处理方式、消费打印日志 ）、 RocketMQ集群服务（集群特点、单master模式 ）】(五)-全面详解（学习总结---从入门到深化）
Spring Cloud Alibaba RocketMQ 消息队列
程序员光剑
07-30 1089
支持海量消息堆积能力，支持发送10万+TPS，且不受单机容量限制；提供灵活的消息过滤机制，支持按照标签，SQL92标准的过滤语法进行消息过滤；丰富的消息订阅模型，包括广播消费，集群消费，事务消费等多种模式；内置丰富的管理控制台，通过Web UI来方便地对集群进行管理、监控及报警；高吞吐量，单机QPS达到万级；支持多语言客户端，包括JAVA，C++，Go，Python等多种语言；社区活跃，版本迭代周期短，文档齐全。
RocketMQ(22) -- RocketMQ应用 -- 批量消费消息
姜皓的博客
05-07 5278
RocketMQ应用 -- 批量消费消息
Rocketmq批量消费
dj1955的博客
06-03 370
【代码】Rocketmq批量消费。
说说RocketMQ性能优化的关键点
modelsetget的博客
08-09 363
RocketMQ性能优化的关键点和一些额外的优化措施
RocketMq实现单条发送，批量消费
weixin_44039105的博客
04-07 1208
RocketMq实现单条发送，批量消费
Rocketmq消息批量发送&消息批量消费
拽着尾巴的鱼儿的博客
05-30 8550
Pull是客户端需要主动到服务端取数据，优点是客户端可以依据自己的消费能力进行消费，但拉取的频率也需要用户自己控制，拉取频繁容易造成服务端和客户端的压力，拉取间隔长又容易造成消费不及时。批量消费消息是一种提高 RocketMQ 消费者性能和吞吐量的好方法，但需要注意消息列表大小、消息顺序和事务性质等问题，以确保消费者的可靠性和稳定性。前言：批量发送和消费消息在一定程度上可以提高吞吐量，减少带宽，那么Rocketmq 中的消息怎么进行批量的发送和批量的消费呢；计算消息的大小并进行压缩。
RocketMq重试及消息不丢失机制
zhaohong_bo的专栏
05-27 7111
1、消息重试机制 由于MQ经常处于复杂的分布式系统中，考虑网络波动、服务宕机、程序异常因素，很有可能出现消息发送或者消费失败的问题。因此，消息的重试就是所有MQ中间件必须考虑到的一个关键点。如果没有消息重试，就可能产生消息丢失的问题，可能对系统产生很大的影响。所以，秉承宁可多发消息，也不可丢失消息的原则，大部分MQ都对消息重试提供了很好的支持。 RocketMQ为使用者封装了消息重试的处理流程，无...
面试官：RocketMQ 如何保证消息不丢失，如何保证消息不被重复消费？
m0_72885838的博客
08-23 315
Kafka 实际上有个 offset 的概念，就是每个消息写进去，都有一个 offset，代表消息的序号，然后 consumer 消费了数据之后，每隔一段时间（定时定期），会把自己消费过的消息的 offset 提交一下，表示“我已经消费过了，下次我要是重启啥的，你就让我继续从上次消费到的 offset 来继续消费吧”。但是凡事总有意外，比如我们之前生产经常遇到的，就是你有时候重启系统，看你怎么重启了，如果碰到点着急的，直接 kill 进程了，再重启。重启之后，少数消息会再次消费一次。
后端常用消息中间件RocketMq与kafka，11个不同点总结，只看这一篇文章就够了（吐血整理）
Jack潮的博客
05-10 1159
后端常用消息中间件RocketMq与kafka，11个不同点（总结）吐血整理，一篇搞定！ 1.RocketMQ批量发送做的不好,无提供压缩机制 Kafka： 1.批量发送 buffer.memory RecordAccumulator 缓冲区总大小，默认 32m。 batch.size 缓冲区每一批数据最大值，默认 16k。适当增加该值，可以提高吞吐量，但是如果该值设置太大，会导致数据 传输延迟增加。 Kafka比如设置延时5ms（默认为0ms）或者满了就发，更灵活 而如果批量里那个出现问题就去在应答区单
rocketmq批量消费
热门推荐
zhangsir的博客
12-02 1万+
rocketmq默认就是可以批量消费的，但需要设置多个参数一起配合。 我们只需要知道他是怎么消费的，就可以很精准的设置他的批量消费参数。 我们看看DefaultMQPushConsumer源码中的这几个参数： /** * 消费消息线程，最小数目 */ private int consumeThreadMin = 20; /** * 消费消息线程...
RocketMQ-quickstart(批量消费问题)
weixin_30549657的博客
01-01 261
基本概念： 　　Producer：消息生产者，负责生产消息，一般由业务系统负责生产消息。 　　Consumer：消息消费者，负责消费消息，一般是后台系统负责异步消费。 　　Push Consumer：Consumer的一种，应用通常向Consumer对象注册一个Listener接口，一旦收到消息，Consumer对象立刻回调Linsener接口方法 　　Pull Consumer...
springboot整合rocketMq、rocketMq批量发送、消费、rocketMq手动发送和监听
m0_46861007的博客
01-06 5976
RocketMQ 是一款高性能、高吞吐量、低延迟的消息中间件。由阿里出品，后来捐赠给开源组织Apache。一般用于流量削峰填谷、异步通信、系统之间异步解耦、顺序消息、定时消息、事务消息等场景。RocketMQ5.0还支持类使用kafka的流处理。
springboot 用rocketmq实现批量消息，亲测可用
yuanshiren133的博客
12-09 3601
本地测试，一定要启动rocketmq ,否则报错。启动方式请百度。1.创建Springboot项目，添加rockermq 依赖2.配置rocketmq# 端口server:# 配置 rocketmqrocketmq:#生产者#生产者组名，规定在一个应用里面必须唯一#消息发送的超时时间 默认3000ms#消息达到4096字节的时候，消息就会被压缩。默认 4096#最大的消息限制，默认为128K#同步消息发送失败重试次数。
RocketMQ 第六章：手把手教老婆实现-批量消息生产者和消费者
m0_60388338的博客
03-22 815
/ 5.发送消息// 发送状态System.out.println(“发送结果:” + result);// 线程睡1秒// 6.关闭生产者producerSystem.out.println(“生产者关闭”);效果：第四节：批量消息消费者//1.创建消费者Consumer，制定消费者组名//2.指定Nameserver地址//消息拉取最大条数//3.订阅主题Topic和Tag//4.设置回调函数，处理消息//接受消息内容@Overridetry {
如何在 Spring Boot 中实现 RocketMQ 的批量消息消费
最新发布
weixin_43864927的博客
09-13 739
本文将详细介绍如何从零开始，在 Spring Boot 项目中集成 RocketMQ 的批量消费功能，并提供一些性能优化建议。
RabbitMQ之消费者批量消费
CSDN_LiMingfly的博客
05-01 1802
在一些业务场景下，我们希望使用 Consumer 批量消费消息，提高消费速度。可以通过对 SimpleRabbitListenerContainerFactory 进行配置实现批量消费能力。若需完整代码 可识别二维码后 给您发代码。
RocketMQ批量消息
深漂小码哥
04-25 491
1.代码 （1）生产者 package com.mq.rocket.batch; import org.apache.rocketmq.client.exception.MQBrokerException; import org.apache.rocketmq.client.exception.MQClientException; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocke
rocketmq 批量消费
03-02
对于你的问题，我可以回答。RocketMQ批量消费可以在消费者端设置batchSize参数，指定一次批量消费的消息数量。消费者在拉取消息时，可以拉取多个消息进行批量消费，提高消费效率。在消费者端的代码中，可以通过以下方式进行设置： ```java DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumerGroup"); consumer.setBatchSize(100); ``` 以上代码设置了批量消费的消息数量为100条。当然，具体的批量消费实现还需要根据业务需求进行具体的调整和优化。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值