Rocketmq消费消息原理

最新推荐文章于 2024-10-15 12:12:32 发布

服务端技术栈

最新推荐文章于 2024-10-15 12:12:32 发布

阅读量1.5k

点赞数

分类专栏： Rocketmq 文章标签： java

本文链接：https://blog.csdn.net/daimingbao/article/details/120231289

版权

Rocketmq 专栏收录该内容

7 篇文章 1 订阅

订阅专栏

RocketMQ采用长轮训实现消息消费，兼顾拉和推模式的优点。消费者启动时订阅topic，初始化资源，定时获取nameserver和路由信息，发送心跳包，持久化offset。在拉取消息过程中，构造请求头向broker发起拉消息请求，若无消息则进入长轮训逻辑，等待数据或超时。长轮训避免了频繁拉取和数据延迟，提高了系统效率。

摘要由CSDN通过智能技术生成

在消息系统中，消费者消费消息有拉和推消息两种实现方式，拉消息是消费者主动向消息服务器发送拉消息请求，消息服务器将消息返回给消费者，而推消息是消息服务器主动向消费者推送消息的形式，这两种消息消费实现各有各的优势和劣势。

Rocketmq中采用长轮训的机制来实现消息消费功能。长轮训模式兼顾了拉和推消息的优势。

从整体看下org.apache.rocketmq.client.consumer.DefaultMQPushConsumer消费者实现类在消费客户端的启动流程。

消费者实例启动大致流程：

1、订阅topic信息

2、初始化基础资源，负载均衡器，offset存储器，集群消息存broker,广播消息存本地

3、2/min获取nameserver,30/stopic路由信息（队列信息，broker信息

4、30/s发送心跳包(topic,offset)到broker

5、5/s持久化offset

6、20/s 重新负载均衡计算，广播模式清除无效的队列，新增新的消息队列，集群模式除了更新最新的消息队列，还要根据cid分配最新的消息队列。

消费者拉取消息源码说明

消费者启动过程中和负载均衡之后，会将需要拉取消息的队列组织成任务信息，加入本地缓存

1、根据topic找到队列信息

2、根据过滤规则，构建SubscriptionData

3、向broker发起请求查询消息，构造请求头

PullMessageRequestHeader requestHeader = new PullMessageRequestHeader(); // 消费者组           requestHeader.setConsumerGroup(this.consumerGroup);            requestHeader.setTopic(mq.getTopic()); //需要消费的消息队列id           requestHeader.setQueueId(mq.getQueueId()); //消费开始的偏移量            requestHeader.setQueueOffset(offset); //最大消息条数            requestHeader.setMaxMsgNums(maxNums);            requestHeader.setSysFlag(sysFlagInner); //已经消费成功的偏移量            requestHeader.setCommitOffset(commitOffset);//长轮训参数，毫秒，broker暂停多少毫秒再返回            requestHeader.setSuspendTimeoutMillis(brokerSuspendMaxTimeMillis);  //tag等订阅规则            requestHeader.setSubscription(subExpression); //订阅版本            requestHeader.setSubVersion(subVersion); //订阅类型            requestHeader.setExpressionType(expressionType);//构造请求体RemotingCommand request = RemotingCommand.createRequestCommand(RequestCode.PULL_MESSAGE, requestHeader);

4、返回结果接收

broker拉取消息处理源码

broker处理入口在

org.apache.rocketmq.broker.processor.PullMessageProcessor#processRequest()方法。

以前的方式查找消息

public SelectMappedBufferResult selectMappedBuffer(int pos) {        int readPosition = getReadPosition();        if (pos < readPosition && pos >= 0) {            if (this.hold()) {                ByteBuffer byteBuffer = this.mappedByteBuffer.slice();                byteBuffer.position(pos);                int size = readPosition - pos;                //操作byteBuffer                ByteBuffer byteBufferNew = byteBuffer.slice();                byteBufferNew.limit(size);                return new SelectMappedBufferResult(this.fileFromOffset + pos, byteBufferNew, size, this);            }        }        return null;    }

rocketmq接入了raft协议后的实现

    public SelectMappedBufferResult getMessage(final long offset, final int size) {        if (offset < dividedCommitlogOffset) {            return super.getMessage(offset, size);        }        int mappedFileSize = this.dLedgerServer.getdLedgerConfig().getMappedFileSizeForEntryData();       //返回mmap，结合write方法实现零拷贝。        MmapFile mappedFile = this.dLedgerFileList.findMappedFileByOffset(offset, offset == 0);        if (mappedFile != null) {            int pos = (int) (offset % mappedFileSize);            return  convertSbr(mappedFile.selectMappedBuffer(pos, size));        }        return null;    }

计算下次偏移量，并判断下次是否需要从slave节点读消息

//下次拉取消息的新偏移量nextBeginOffset = offset + (i / ConsumeQueue.CQ_STORE_UNIT_SIZE);//计算下次是否要从slave读取数据// 物理实际偏移量-已经拉取的偏移量=剩余还有多少没有读取的数据long diff = maxOffsetPy - maxPhyOffsetPulling;//物理内存*40%=物理内存的百分之40long memory = (long) (StoreUtil.TOTAL_PHYSICAL_MEMORY_SIZE* (this.messageStoreConfig.getAccessMessageInMemoryMaxRatio() / 100.0));//如果还要读取的数据大于物理内存百分之40，则需要重slave读取，判断消费慢。 getResult.setSuggestPullingFromSlave(diff > memory);

零拷贝技术体现：消息内容写到socket缓冲区

    public long transferTo(WritableByteChannel target, long position) throws IOException {        if (this.byteBufferHeader.hasRemaining()) {            transferred += target.write(this.byteBufferHeader);            return transferred;        } else {            List<ByteBuffer> messageBufferList = this.getMessageResult.getMessageBufferList();            for (ByteBuffer bb : messageBufferList) {                if (bb.hasRemaining()) {//调用java.nio.channels.WritableByteChannel#write                                   transferred += target.write(bb);                    return transferred;                }            }        }        return 0;    }

长轮训实现原理

如果没查找到消息，则进入长轮训逻辑判断

case ResponseCode.PULL_NOT_FOUND:if (brokerAllowSuspend && hasSuspendFlag) {//使用客户端的轮训时间                  long pollingTimeMills = suspendTimeoutMillisLong;    //如果broker未开启长轮训开关，使用短轮训时间    if (!this.brokerController.getBrokerConfig().isLongPollingEnable()) {        pollingTimeMills = this.brokerController.getBrokerConfig().getShortPollingTimeMills();    }    String topic = requestHeader.getTopic();    long offset = requestHeader.getQueueOffset();    int queueId = requestHeader.getQueueId();    PullRequest pullRequest = new PullRequest(request, channel, pollingTimeMills,        this.brokerController.getMessageStore().now(), offset, subscriptionData, messageFilter);        //停止当前请求，实际是将当前请求放入到队列ArrayList,等待线程池调度    this.brokerController.getPullRequestHoldService().suspendPullRequest(topic, queueId, pullRequest);    response = null;    break;}

当前请求加入等待队列

public void suspendPullRequest(final String topic, final int queueId, final PullRequest pullRequest) {        String key = this.buildKey(topic, queueId);        ManyPullRequest mpr = this.pullRequestTable.get(key);        if (null == mpr) {            mpr = new ManyPullRequest();            ManyPullRequest prev = this.pullRequestTable.putIfAbsent(key, mpr);            if (prev != null) {                mpr = prev;            }        }        mpr.addPullRequest(pullRequest);    }

通过CountDownLatch进行wait，LockSupport.wait(time) ,使当前线程进入等待状态

public void run() {        log.info("{} service started", this.getServiceName());        while (!this.isStopped()) {            try {            //park,需要写入新消息数据到缓冲区后进行唤醒，或者时间到了再缓存                if (this.brokerController.getBrokerConfig().isLongPollingEnable()) {                    this.waitForRunning(5 * 1000);                } else {                    this.waitForRunning(this.brokerController.getBrokerConfig().getShortPollingTimeMills());                }                long beginLockTimestamp = this.systemClock.now();                this.checkHoldRequest();                long costTime = this.systemClock.now() - beginLockTimestamp;                if (costTime > 5 * 1000) {                    log.info("[NOTIFYME] check hold request cost {} ms.", costTime);                }            } catch (Throwable e) {                log.warn(this.getServiceName() + " service has exception. ", e);            }        }        log.info("{} service end", this.getServiceName());    }