rocketmq核心源码分析第六篇一消费者启动

已于 2022-01-28 01:34:14 修改
阅读量1.2k 收藏
点赞数
分类专栏： rocketmq源码分析 文章标签： java rocketmq
于 2022-01-27 02:12:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35529969/article/details/122711337
版权

文章目录

前言

消费者模块图

  • pull和push模式消费者
  • 轻量级pull
    在这里插入图片描述

轻量级pull消费者来源

issue提问: 由于当前 DefaultMQPullConsumer 过于原子化，用户在使用 pullConsumer 时需要过多关注底层，所以恕我直言，如果可以为 RocketMQ 添加一个 lite pull consumer 就好了
issue解决: 产生LitePullConsumer
轻量级pull来源

DefaultMQPullConsumer使用方式

@Before
public void init() throws Exception {
    pullConsumer = new DefaultMQPullConsumer(consumerGroup);
    pullConsumer.setNamesrvAddr("127.0.0.1:9876");
    pullConsumer.start();
    ...... 删除其他代码
}

@Test
public void testPullMessage_Success() throws Exception {
      ...... 删除其他代码
    实际使用需要获取MessageQueue集合
    MessageQueue messageQueue = new MessageQueue(topic, brokerName, 0);
    实际使用需要存offsetstore获取进度
    PullResult pullResult = pullConsumer.pull(messageQueue, "*", 1024, 3);
     ...... 删除其他代码
}

DefaultLitePullConsumer使用方式

  • 区分固定消费messageQueue还是订阅消费messageQueue
private DefaultLitePullConsumer createSubscribeLitePullConsumer() throws Exception {
    DefaultLitePullConsumer litePullConsumer = new DefaultLitePullConsumer(consumerGroup + System.currentTimeMillis());
    litePullConsumer.setNamesrvAddr("127.0.0.1:9876");
    litePullConsumer.subscribe(topic, "*");
    litePullConsumer.start();
    return litePullConsumer;
}
assign指定消费Mq
litePullConsumer.assign(Collections.singletonList(messageQueue));
List<MessageExt> result = litePullConsumer.poll();

订阅消费Mq
litePullConsumer.setPollTimeoutMillis(20 * 1000);
List<MessageExt> result = litePullConsumer.poll();

DefaultMQPushConsumer使用方式

DefaultMQPushConsumer consumer = new  DefaultMQPushConsumer("please_rename_unique_group_name_4");
consumer.subscribe("Topic", "*");
consumer.registerMessageListener(new MessageListenerConcurrently() {
    @Override
    public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
        ConsumeConcurrentlyContext context) {
        System.out.print(msgs);
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    }
});
consumer.start();

三种模式对比

名称特点
DefaultMQPushConsumerpush模式 消费需要MessageListener
DefaultMQPullConsumerpull模式 消费需要业务自定义,通过自定义messagequeue拉取消息
DefaultLitePullConsumerpull模式 消费需要业务自定义,通过再平衡拉取消息,获取assign指定messagequeue拉取消息

正文

DefaultMQPushConsumer消费者实例化

  • 分配队列算法[所有节点采用无状态算法,即输入相同,输出相同]完成当前消费者订阅topic的messagequeue选择
  • 设置defaultMQPushConsumerImpl 负责消息的消费,拉取,负载均衡
  public DefaultMQPushConsumer(final String namespace, final String consumerGroup, RPCHook rpcHook,
                                 AllocateMessageQueueStrategy allocateMessageQueueStrategy) {
        this.consumerGroup = consumerGroup;
        this.namespace = namespace;
        分配队列算法[所有节点采用无状态算法继续如何消费]
        this.allocateMessageQueueStrategy = allocateMessageQueueStrategy;
        defaultMQPushConsumerImpl = new DefaultMQPushConsumerImpl(this, rpcHook);
    }
  • 设置rpcHook[钩子函数]
public DefaultMQPushConsumerImpl(DefaultMQPushConsumer defaultMQPushConsumer, RPCHook rpcHook) {
        this.defaultMQPushConsumer = defaultMQPushConsumer;
        this.rpcHook = rpcHook;
        this.pullTimeDelayMillsWhenException = defaultMQPushConsumer.getPullTimeDelayMillsWhenException();
    }

DefaultMQPushConsumer.start

  • 消息消费者启动
  • 消息轨迹启动
public void start() throws MQClientException {
    setConsumerGroup(NamespaceUtil.wrapNamespace(this.getNamespace(), this.consumerGroup));
    消息消费者启动
    this.defaultMQPushConsumerImpl.start();
    消息轨迹启动
    if (null != traceDispatcher) {
        try {
            traceDispatcher.start(this.getNamesrvAddr(), this.getAccessChannel());
        } catch (MQClientException e) {
            log.warn("trace dispatcher start failed ", e);
        }
    }
}

DefaultMQPushConsumerImpl.start核心源码分析

  • 构建订阅信息 集群模式下同时订阅重试主题[正常主题-> 定时主题-> 重试主题]
  • 构建mQClientFactory通信层
  • 构建rebalanceImpl负载均衡
  • 为rebalanceImpl设置无状态算法实现AllocateMessageQueueStrategy
  • 构建pullAPIWrapper消息拉取
  • 构建并加载offsetStore消息消费进度
  • 构建顺序或并发MessageListener
  • 启动消息消费线程
  • mQClientFactory注册DefaultMQPushConsumerImpl
  • 初始rebalanceImpl.topicSubscribeInfoTable消费者topic订阅信息
  • 首次执行负载均衡
public synchronized void start() throws MQClientException {
    switch (this.serviceState) {
        case CREATE_JUST:
            ...... 删除其他代码
            检查配置信息，
            ---- 主要检查消费者组（consumeGroup）、消息消费方式（messageModel）、消息消费开始偏移量（consumeFromWhere）、
            ---- 消息队列分配算法（AllocateMessageQueueStrategy）、订阅消息主题（Map<topic,sub expression ）,
            ---- 消息回调监听器(MessageListener)、
            ---- 顺序消息模式时是否只有一个消息队列等等
            this.checkConfig();
            构建订阅信息 集群模式下同时订阅重试主题[正常主题-> 定时主题     -> 重试主题]
            this.copySubscription();
            消息消费模式为集群模式，并且当前的实例名为 DEFAULT，替换为当前客户端进程的PID
            ...... 删除实例名处理
            获取mQClientAPIImpl底层通信实例
            this.mQClientFactory = MQClientManager.getInstance().getOrCreateMQClientInstance(this.defaultMQPushConsumer, this.rpcHook);
            载均衡相关实现
            this.rebalanceImpl.setConsumerGroup(this.defaultMQPushConsumer.getConsumerGroup());
            this.rebalanceImpl.setMessageModel(this.defaultMQPushConsumer.getMessageModel());
            设置负载策略 AllocateMessageQueueAveragely
            this.rebalanceImpl.setAllocateMessageQueueStrategy(this.defaultMQPushConsumer.getAllocateMessageQueueStrategy());
            this.rebalanceImpl.setmQClientFactory(this.mQClientFactory);
            pullAPIWrapper，消息拉取API封装类 推拉的本质都是拉取
            this.pullAPIWrapper = new PullAPIWrapper(
                mQClientFactory,
                this.defaultMQPushConsumer.getConsumerGroup(), isUnitMode());
            this.pullAPIWrapper.registerFilterMessageHook(filterMessageHookList);

            ...... 删除消息消费进度实现的选择[本地或远程]
            加载消息消费进度。
            this.offsetStore.load();

            判断是顺序消费还是并发消费
            if (this.getMessageListenerInner() instanceof MessageListenerOrderly) {
                this.consumeOrderly = true;
                this.consumeMessageService =
                    new ConsumeMessageOrderlyService(this, (MessageListenerOrderly) this.getMessageListenerInner());
            } else if (this.getMessageListenerInner() instanceof  MessageListenerConcurrently) {
                this.consumeOrderly = false;
                this.consumeMessageService =
                    new ConsumeMessageConcurrentlyService(this, (MessageListenerConcurrently) this.getMessageListenerInner());
            }
            消息消费服务并启动
            this.consumeMessageService.start();
            向通信层注册消费者
            boolean registerOK = mQClientFactory.registerConsumer(this.defaultMQPushConsumer.getConsumerGroup(), this);
            ...... 删除注册失败代码
            启动 再平衡线程 启动拉取线程
            mQClientFactory.start();
            log.info("the consumer [{}] start OK.", this.defaultMQPushConsumer.getConsumerGroup());
            this.serviceState = ServiceState.RUNNING;
            break;
        ...... 删除其他代码   
        default:
            break;
    }
    更新订阅信息 会触发rebalance和生产者的TopicPublishInfo更新
    this.updateTopicSubscribeInfoWhenSubscriptionChanged();
    检测broker状态
    this.mQClientFactory.checkClientInBroker();
    发送心跳包
    this.mQClientFactory.sendHeartbeatToAllBrokerWithLock();
    唤醒重新负载;重新负载每隔20s执行[======这里就是调用rebalanceImpl开始实现消费的地方]
    在由其rebalance线程调用 doRebalance
    this.mQClientFactory.rebalanceImmediately();
}

消费者内部组件关系图

  • defaultMQPushConsumer持有DefaultMQPushConsumerImpl
  • DefaultMQPushConsumerImpl持有rebalanceimpl
  • DefaultMQPushConsumerImpl持有pullAPIWrapper
  • DefaultMQPushConsumerImpl持有messageListener
  • DefaultMQPushConsumerImpl持有offsetStore
  • DefaultMQPushConsumerImpl持有各组件任务的相关线程

在这里插入图片描述

总结

  • 消费者涉及到订阅信息,负载均衡,拉取消息,消费消息等等[参见消息消费章节]
  • 负载均衡的分配策略由AllocateMessageQueueStrategy实现
  • offsetStore区分本地和远程对应消费模式区分广播和集群
  • 消费区分并发和顺序
  • 负载均衡,拉取消息,消费消息均处于不同线程中数据相互协作,任务互相隔离

扩展点一消费流程简述

  • MQClientInstance通过监听consumer订阅topic变化
  • 触发rebalanceImpl进行负载均衡调整
  • rebalanceImpl必要时构建PullRequest
  • 消息拉取服务pullmessageservice通过PullRequest向broker拉取消息
  • 拉取的消息放于内存中交由consumeMessageService消费
  • 拉取消息时同时上传当前offsetStore消费进度信息
岁月人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
从源码分析RocketMQ系列-start()方法详解
初学者
03-17 3414
导语   在之前的分析中主要介绍的是关于Producer 发送消息的逻辑，但是在实例代码中有一个操作是producer.start()方法，在Consumer中看到的方法是consumer.start()，那么这两个start()方法分别都做了什么样的操作。下面就来看看看这个start()方法为Producer和Consumer分别提供了什么样的操作？ 文章目录Producer方面 Produ...
RocketMQ-DefaultMQPushConsumer消费消息原理详解
龚厂长的博客
12-13 4777
本文基于RocketMQ 4.7.1版本 在上一篇文章介绍了如何创建消费者，本文来分析一下DefaultMQPushConsumer是如何消费消息的。 本文首先介绍DefaultMQPushConsumer的启动流程，之后介绍它是如何从broker拉取消息，最后介绍broker如何根据消费者的请求从消息文件中取出消息并发送。 文章目录一、启动DefaultMQPushConsumer1、检查配置2、PullAPIWrapper3、ConsumeMessageConcurrentlyService二、消费.
RocketMQ 消费者源码解读：消费过程、负载原理、顺序消费原理
最新发布
小道仙的后宫
04-02 953
看完上面的源码你最少可以回答下面几个问题RocketMQ消费的流程是怎么样的为什么消费者大于queue的时候，消费者就没用了顺序消费如何保证顺序的添加消费者的时候，如何重新分配的。
RocketMQ消息消费（Consumer）源码解析
bao2901203013的专栏
08-23 2020
RocketMQ中消息消费以消费组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组内消费者之间有集群模式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式即PullConsumer，是消费端主动拉起拉消息请求，而推模式即PushConsumer,是消息达到消息服务器后，推送给消息消费者。......
RocketMQ（7）——通信协议
热门推荐
guolong1983811的专栏
12-16 1万+
https://zhuanlan.zhihu.com/p/30875730 RocketMQ的通信协议其实很简单，但是无论是官方的用户手册，还是网上的博客，并没有很清晰简单地把其中所有的内容和原理讲明白。 对于需要扩展其他语言SDK的开发来说，意味着必须要深入到Java源码才能弄懂其概念。 笔者通过深入源码，本文希望以尽量简短的语言描述清楚协议的每个字段及其意义。注：现
RocketMQ消费者消费位
张井天的博客
03-14 1038
ConsumeFromWhere consumeFromWhere 消费者从那个位置消费，分别为： CONSUME_FROM_LAST_OFFSET：第一次启动从队列最后位置消费，后续再启动接着上次消费的进度开始消费 CONSUME_FROM_FIRST_OFFSET：第一次启动从队列初始位置消费，后续再启动接着上次消费的进度开始消费 CONSUME_FROM_TIMESTAMP：第一次启动从指...
Rocketmq核心源码剖析-图灵杨过老师1
08-03
在深入探讨RocketMQ核心源码之前，首先理解RocketMQ的基本架构是至关重要的。RocketMQ是一个开源的分布式消息中间件，它提供了高吞吐量、低延迟、高可扩展性和可靠性的消息传递服务。RocketMQ的核心组件包括Producer...
RocketMQ源码分析讲解
08-04
RocketMQ源码分析，分为存储篇、NameServer篇、Broker篇、Producer篇、Consumer篇五大部分进行代码级的讲解
rocketmq 源码 rocketmq 源码 rocketmq 源码
10-25
rocketmq 源码 rocketmq 源码 rocketmq 源码
Rocketmq-Console源码下载
01-19
1.用于rocketmq展示 2.解决基于github下载源码比较慢的用户
rocketmq源码.zip
01-06
rocketmq源码，研究源码，提高我们的技术深度
RocketMQ源码21-顺序消费实现原理
BASK2312的博客
04-23 239
向Broker申请的消息队列锁集群模式下一个消息队列同一时刻只能被同一个消费组下的某一个消费者进行，为了避免负载均衡等原因引起的变动，消费者会向Broker发送请求对消息队列进行加锁，如果加锁成功，记录到消息队列对应的复制代码消费者处理拉取消息时的消息队列锁消费者在处理拉取到的消息时，由于可以开启多线程进行处理，所以处理消息前通过复制代码消息消费锁消费者在调用consumeMessage方法之前会加消费锁，主要是为了避免在消费消息时，由于负载均衡等原因，复制代码作者：hsfxuebao。
简述RocketMQ消息拉取过程
Java技术攻略的博客
03-17 1669
相信每一个使用RocketMQ的开发工程师都想了解一下消息是如何被拉到消费端的，消费者在消息拉取过程中都做了什么操作？这些疑问将在接下来的这篇文章中给大家一一解开；
阿里云openservices rocketmq消息队列消费消息底层源码分析
越努力越幸运~~ Java领域从业者；CSDN新兴创新博主；Java领域优质创作者；书写奋斗者故事;欢迎交流学习进步；
08-04 1141
一条消息被多个Consumer消费，几十这些Consumer属于同一个ConsumerGroup，消息也会被ConsumerGroup中的每个Consumer消费一次，广播消费中的ConsumerGroup概念可以认为在消息划分层面没有意义，适用于一些分发消息的场景，比如我订单下单成功了，需要通知财务系统，客服系统等等这种分发的场景，可以通过修改Consumer中的MessageModel来设置消费方式为广播消费。一个ConsumerGroup中的Consumer实例平均分摊消费生产者发送的消息。...
rocketmq的消费者源码解读二（消费负载均衡）
主攻中间件方向，喜欢研究相关源码，欢迎一起讨论，共同进步
04-03 587
消费者之负载均衡
【消息中间件】默认的RocketMQ消息消费者是如何启动的？
m0_73311735的博客
11-15 1403
更新主题发布详情，当发布者变动时= null) {}}复制代码检查Broker状态复制代码向Broker设置心跳检测复制代码Consumer跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，然后开始消费消息。我们主要了解的RocketMQ消息消费的启动流程，还是看得懂的，抓住这一条主线，我们在接下去的过程中，我们可以给自己留下一些问题，比如他是如何做负载均衡的？如何监听消息？
RocketMq源码分析之DefaultLitePullConsumer主动拉取消息分析consumeRequestCache
技术初创者陈乐的博客
03-18 3262
RocketMq源码分析之DefaultLitePullConsumer主动拉取消息分析consumeRequestQueue 因为做RMQ的proxy的消费者的时候,消息消费只能主动拉取,然后就想去研究下RMQ中主动拉消息的消费者的源码,开始在网上搜到的都是讲DefaultMQPullConsumer的,然后我用的是RocketMq4.8.0的版本,在4.8中,这个类被标记为将要废弃,将被DefaultLitePullConsumer替代,于是今天就咱们就研究下DefaultLitePullConsume
RocketMQ源码分析（四）Consumer
YHJ
05-24 1063
1.5 Consumer 1.5.1 消息消费概述 消息消费以组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组之间有集群式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式，是消费端主动拉起拉消息请求，而推模式是消息达到消息服务器后，推送给消息消费者。RocketMQ消息推模式的实现基于拉模式，在拉模式上包
RocketMQ：Consumer概述及启动流程与消息拉取源码分析
又蠢又笨的懒羊羊程序猿的博客
11-18 6131
文章目录Consumer概述消费者核心类消费者启动流程消息拉取PullMessageService实现机制ProcessQueue实现机制消息拉取基本流程客户端发起消息拉取请求消息服务器Broker组装消息消息拉取客户端处理消息总结 Consumer 概述 消费者组与消费模式 消息消费以组的模式展开，一个消费组内可包含多个消费者，每个消费组可以订阅多个主题。消费组之间有负载均衡和广播两种模式。负载均衡模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被所有消费者消费一次
rocketmq源码分析
09-12
RocketMQ源码分析主要分为存储篇、NameServer篇、Broker篇、Producer篇、Consumer篇五大部分。在存储篇中，包括了读写锁、原子操作、类文件存储、零拷贝等技术亮点。在NameServer篇中，主要讲解了NameServer的设计和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值