rocketmq消费demo

最新推荐文章于 2024-03-22 11:59:01 发布

cominglately

最新推荐文章于 2024-03-22 11:59:01 发布

阅读量293

点赞数

文章标签： java-rocketmq rocketmq java

本文链接：https://blog.csdn.net/cominglately/article/details/131091959

版权

场景

注册消费者

设置每次拉取的消息数
设置每次拉取的时间间隔

代码

@Component
@Slf4j
@ConditionalOnProperty(prefix = "rocketmq.logistics", value = "enabled", havingValue = "true", matchIfMissing = false)
@RocketMQMessageListener(nameServer = "${rocketmq.logistics.nameSrvAddr}", topic = "${rocketmq.logistics.topic}", consumerGroup = "${rocketmq.logistics.consumer.groupId}", consumeThreadNumber=400)
public class SingleLogisticsMessageListener implements RocketMQListener<LogisticSyncEntity>, RocketMQPushConsumerLifecycleListener {

    @Autowired
    private MqLogisticsSyncHandler mqLogisticsSyncHandler;

    @Autowired
    private MQDataControlService mqDataControlService;

    @Override
    public void onMessage(LogisticSyncEntity msgEntity) {
        if (msgEntity == null) {
            return;
        }

        if (!mqDataControlService.isNeedConsumeData(msgEntity)) {
            return;
        }
        mqLogisticsSyncHandler.sync(msgEntity);
    }

    @Override
    public void prepareStart(DefaultMQPushConsumer consumer) {
        // 每次拉取的间隔，单位为毫秒
        consumer.setPullInterval(2000);

        // 设置每次从队列中拉取的消息数为16
        consumer.setPullBatchSize(16);
    }
}

参考文档

单次pull消息的最大数目受broker存储的MessageStoreConfig.maxTransferCountOnMessageInMemory(默认为32)值限制，即若想要消费者从队列拉取的消息数大于32有效(pullBatchSize>32)则需更改Broker的启动参数maxTransferCountOnMessageInMemory值。在MQ削峰的配置参数里，以下几个DefaultMQPushConsumer的参数是需要注意一下的：

pullInterval：每次从Broker拉取消息的间隔，单位为毫秒
pullBatchSize：每次从Broker队列拉取到的消息数，该参数很容易让人误解，一开始我以为是每次拉取的消息总数，但测试过几次后确认了实质上是从每个队列的拉取数(源码上的注释文档真的很差，跟没有一样)，即Consume每次拉取的消息总数如下： EachPullTotal=所有Broker上的写队列数和(writeQueueNums=readQueueNums) * pullBatchSize
consumeMessageBatchMaxSize：每次消费(即将多条消息合并为List消费)的最大消息数目，默认值为1，rocketmq-spring-boot-starter 目前不支持批量消费(2.1.0版本)
在消费者开始消息消费时会先从各队列中拉取一条消息进行消费，消费成功后再以每次pullBatchSize的数目进行拉取。

PraiseListener中设置了每次拉取的间隔为2s，每次从队列拉取的消息数为16，在搭建了2master broker且broker上writeQueueNums=readQueueNums=4的环境下每次拉取的消息理论数值为16 * 2 * 4 = 128，在第一次从各队列拉取1条消息(即共8条)后消费成功后会每次就会拉取最多128条消息进行消费，想验证下的可以把onMessage()的insert()改为http://log.info("1")然后统计单位秒内打印的日志数是否为128。