rocketmq 查询消息请求处理类源码

最新推荐文章于 2024-04-22 10:04:35 发布
最新推荐文章于 2024-04-22 10:04:35 发布
阅读量185 收藏
点赞数
文章标签： netty python
原文链接：https://my.oschina.net/xiaominmin/blog/1617019
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

com.alibaba.rocketmq.tools.command.message.QueryMsgByKeySubCommand

com.alibaba.rocketmq.tools.command.message.QueryMsgByIdSubCommand

com.alibaba.rocketmq.tools.command.message.QueryMsgByOffsetSubCommand

 

 

com.alibaba.rocketmq.broker.processor.QueryMessageProcessor

 

/**
 * Copyright (C) 2010-2013 Alibaba Group Holding Limited
 *
 * Licensed under the Apache License, Version 2.0 (the "License");
 * you may not use this file except in compliance with the License.
 * You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
package com.alibaba.rocketmq.broker.processor;

import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelFutureListener;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.FileRegion;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.alibaba.rocketmq.broker.BrokerController;
import com.alibaba.rocketmq.broker.pagecache.OneMessageTransfer;
import com.alibaba.rocketmq.broker.pagecache.QueryMessageTransfer;
import com.alibaba.rocketmq.common.constant.LoggerName;
import com.alibaba.rocketmq.common.protocol.MQProtos.MQRequestCode;
import com.alibaba.rocketmq.common.protocol.MQProtos.MQResponseCode;
import com.alibaba.rocketmq.common.protocol.header.QueryMessageRequestHeader;
import com.alibaba.rocketmq.common.protocol.header.QueryMessageResponseHeader;
import com.alibaba.rocketmq.common.protocol.header.ViewMessageRequestHeader;
import com.alibaba.rocketmq.remoting.exception.RemotingCommandException;
import com.alibaba.rocketmq.remoting.netty.NettyRequestProcessor;
import com.alibaba.rocketmq.remoting.protocol.RemotingCommand;
import com.alibaba.rocketmq.remoting.protocol.RemotingProtos.ResponseCode;
import com.alibaba.rocketmq.store.QueryMessageResult;
import com.alibaba.rocketmq.store.SelectMapedBufferResult;


/**
 * 查询消息请求处理
 * 
 * @author shijia.wxr<vintage.wang@gmail.com>
 * @since 2013-7-26
 */
public class QueryMessageProcessor implements NettyRequestProcessor {
    private static final Logger log = LoggerFactory.getLogger(LoggerName.BrokerLoggerName);

    private final BrokerController brokerController;


    public QueryMessageProcessor(final BrokerController brokerController) {
        this.brokerController = brokerController;
    }


    @Override
    public RemotingCommand processRequest(ChannelHandlerContext ctx, RemotingCommand request)
            throws RemotingCommandException {
        MQRequestCode code = MQRequestCode.valueOf(request.getCode());
        switch (code) {
        case QUERY_MESSAGE:
            return this.queryMessage(ctx, request);
        case VIEW_MESSAGE_BY_ID:
            return this.viewMessageById(ctx, request);
        default:
            break;
        }

        return null;
    }


    public RemotingCommand queryMessage(ChannelHandlerContext ctx, RemotingCommand request)
            throws RemotingCommandException {
        final RemotingCommand response =
                RemotingCommand.createResponseCommand(QueryMessageResponseHeader.class);
        final QueryMessageResponseHeader responseHeader =
                (QueryMessageResponseHeader) response.getCustomHeader();
        final QueryMessageRequestHeader requestHeader =
                (QueryMessageRequestHeader) request
                    .decodeCommandCustomHeader(QueryMessageRequestHeader.class);

        // 校验查询时间范围
        long maxTimeSpan =
                this.brokerController.getBrokerConfig().getQueryMessageMaxTimeSpan() * 60 * 60 * 1000;
        long diff = requestHeader.getEndTimestamp() - requestHeader.getBeginTimestamp();
        if (diff > maxTimeSpan) {
            response.setCode(ResponseCode.SYSTEM_ERROR_VALUE);
            response.setRemark("the time range is too long, broker limits " + maxTimeSpan + "h");
            return response;
        }

        // 由于使用sendfile，所以必须要设置
        response.setOpaque(request.getOpaque());

        final QueryMessageResult queryMessageResult =
                this.brokerController.getMessageStore().queryMessage(requestHeader.getTopic(),
                    requestHeader.getKey(), requestHeader.getMaxNum(), requestHeader.getBeginTimestamp(),
                    requestHeader.getEndTimestamp());
        assert queryMessageResult != null;

        responseHeader.setIndexLastUpdatePhyoffset(queryMessageResult.getIndexLastUpdatePhyoffset());
        responseHeader.setIndexLastUpdateTimestamp(queryMessageResult.getIndexLastUpdateTimestamp());

        // 说明找到消息
        if (queryMessageResult.getBufferTotalSize() > 0) {
            response.setCode(ResponseCode.SUCCESS_VALUE);
            response.setRemark(null);

            try {
                FileRegion fileRegion =
                        new QueryMessageTransfer(response.encodeHeader(queryMessageResult
                            .getBufferTotalSize()), queryMessageResult);
                ctx.channel().writeAndFlush(fileRegion).addListener(new ChannelFutureListener() {
                    @Override
                    public void operationComplete(ChannelFuture future) throws Exception {
                        queryMessageResult.release();
                        if (!future.isSuccess()) {
                            log.error("transfer query message by pagecache failed, ", future.cause());
                        }
                    }
                });
            }
            catch (Throwable e) {
                log.error("", e);
                queryMessageResult.release();
            }

            return null;
        }

        response.setCode(MQResponseCode.QUERY_NOT_FOUND_VALUE);
        response.setRemark("can not find message, maybe time range not correct");
        return response;
    }


    public RemotingCommand viewMessageById(ChannelHandlerContext ctx, RemotingCommand request)
            throws RemotingCommandException {
        final RemotingCommand response = RemotingCommand.createResponseCommand(null);
        final ViewMessageRequestHeader requestHeader =
                (ViewMessageRequestHeader) request.decodeCommandCustomHeader(ViewMessageRequestHeader.class);

        // 由于使用sendfile，所以必须要设置
        response.setOpaque(request.getOpaque());

        final SelectMapedBufferResult selectMapedBufferResult =
                this.brokerController.getMessageStore().selectOneMessageByOffset(requestHeader.getOffset());
        if (selectMapedBufferResult != null) {
            response.setCode(ResponseCode.SUCCESS_VALUE);
            response.setRemark(null);

            try {
                FileRegion fileRegion =
                        new OneMessageTransfer(response.encodeHeader(selectMapedBufferResult.getSize()),
                            selectMapedBufferResult);
                ctx.channel().writeAndFlush(fileRegion).addListener(new ChannelFutureListener() {
                    @Override
                    public void operationComplete(ChannelFuture future) throws Exception {
                        selectMapedBufferResult.release();
                        if (!future.isSuccess()) {
                            log.error("transfer one message by pagecache failed, ", future.cause());
                        }
                    }
                });
            }
            catch (Throwable e) {
                log.error("", e);
                selectMapedBufferResult.release();
            }

            return null;
        }
        else {
            response.setCode(ResponseCode.SYSTEM_ERROR_VALUE);
            response.setRemark("can not find message by the offset, " + requestHeader.getOffset());
        }

        return response;
    }
}

 

    @Override
    public SelectMapedBufferResult selectOneMessageByOffset(long commitLogOffset) {
        SelectMapedBufferResult sbr = this.commitLog.getMessage(commitLogOffset, 4);
        if (null != sbr) {
            try {
                // 1 TOTALSIZE
                int size = sbr.getByteBuffer().getInt();
                return this.commitLog.getMessage(commitLogOffset, size);
            }
            finally {
                sbr.release();
            }
        }

        return null;
    }

  @Override
    public QueryMessageResult queryMessage(String topic, String key, int maxNum, long begin, long end) {
        QueryOffsetResult queryOffsetResult = this.indexService.queryOffset(topic, key, maxNum, begin, end);
        QueryMessageResult queryMessageResult = new QueryMessageResult();

        queryMessageResult.setIndexLastUpdatePhyoffset(queryOffsetResult.getIndexLastUpdatePhyoffset());
        queryMessageResult.setIndexLastUpdateTimestamp(queryOffsetResult.getIndexLastUpdateTimestamp());

        for (Long offset : queryOffsetResult.getPhyOffsets()) {
            SelectMapedBufferResult result = this.commitLog.getData(offset, false);
            if (result != null) {
                int size = result.getByteBuffer().getInt(0);
                result.getByteBuffer().limit(size);
                result.setSize(size);
                queryMessageResult.addMessage(result);
            }
        }

        return queryMessageResult;
    }

 

 

 

转载于:https://my.oschina.net/xiaominmin/blog/1617019

weixin_33724059
关注
RocketMQ Broker消息处理流程及部分源码解析
如切如磋，如琢如磨
02-10 3494
📆 最近更新：2023年2月10日🍊 个人简介：通信工程本硕 for NJU💪、Java程序员🌕。做过科研paper，发过专利，优秀的程序员不应该只是CRUD。
RocketMq源码解析（9）
weixin_42334142的博客
05-07 437
RocketMq源码解析（九） 这一期主要讲整个系统的底层网络以及节点通信，在前几期中我们已经知道其在broker中分为了consumer和producer两种角色，这些角色有着自己的Channel来 进行通信，那么底层是如何发送这些信息的呢，这一期我将介绍MQ的底层实现 RocketMQSerializable 显而易见，这是一个序列化协议，可以把对象序列化为流，这样就可以在网络中传输，具体实...
RocketMQ的消息查询（查询消息）
热门推荐
终生学习践行者
12-06 1万+
RocketMQ支持在客户端按照“Message Id”和“Message Key”这两种维度进行消息查询。
【RocketMQ 二十八】RocketMQ 消息查询
泯灭于众生，高歌于孤夜！
10-20 6742
3种消息查询⽅式：Message Key & Unique Key & Message Id3种消息查询⼯具：命令⾏、管理平台、客户端API，且⽀持将查询到让特定/所有消费者组重新消费屏蔽Unique Key & Message Id区别，很多地⽅⼆者可以通⽤Message Key & Unique Key 需要使⽤到哈希索引机制，有额外的索引维护成本Message Id由Broker和commit log offset组成，属于精确匹配，查询效率更好。
深入理解RocketMQ消息查询机制
meser88的博客
01-06 139
深入理解RocketMQ消息查询机制 RocketMQ到底快在哪里？深入探索RocketMQ消息存储和查询原理https://zhuanlan.zhihu.com/p/138689403
【RocketMQ】7.RocketMQ 关键特性之消息查询
帅胖子的博客
12-14 1342
7.3.1 按照 Message Id 查询消息 MsgId 总共 16 字节，包含消息存储主机地址，消息 Commit Log offset。从 MsgId 中解析出 Broker 的地址和Commit Log 的偏移地址，然后按照存储格式所在位置消息 buffer 解析成一个完整的消息。 7.3.2 按照 Message Key 查询消息 根据查询的key的hashcode
rocketmq 源码 rocketmq 源码 rocketmq 源码
10-25
RocketMQ 是阿里巴巴开源的一款分布式消息中间件，广泛应用于大规模分布式系统中的消息传递。源码分析是深入理解其工作原理和优化技术的关键。RocketMQ 的源码解析有助于开发者更好地掌握其实现机制，提升在实际项目...
源码分析RocketMQ顺序消息消费实现原理
最新发布
2401_84048554的博客
04-22 978
切莫死记硬背，小心面试官直接让你出门右拐1000道互联网Java面试题：
深入探索RocketMQ源码：透视消息中间件的内核机制
12-22
通过对RocketMQ源码的逐层解析，我们可以理解其内部工作机制，包括NameServer的角色、Broker的启动与注册、Producer与Consumer的工作模式，以及消息存储和延迟处理的细节。这将有助于我们在实际开发中更好地利用...
RocketMQ事务消息, 图文、源码学习探究~
m0_71777195的博客
08-25 178
事务消息必须设置事务监听器，依靠此事务监听器执行本地事务以及事务回查，保证消息的一致性事务消息不支持延时发送及批量发送只能保证消息发送与本地事务执行的一致性，无法保证下游消费结果一定成功。
java processmessage,聊聊rocketmq的QueryMessageProcessor
weixin_29021195的博客
03-10 260
序本文主要研究一下rocketmq的QueryMessageProcessorNettyRequestProcessorrocketmq-all-4.6.0-source-release/remoting/src/main/java/org/apache/rocketmq/remoting/netty/NettyRequestProcessor.javapublic interface Netty...
RocketMQ源码分析——消息的发送与接收
mbtlami
07-29 447
如何发送消息？如何负载？如何高可用？批量消息如何保证一致性
RocketMQ源码解析：如何快速查找消息？
小识的博客
05-09 1141
消息查询介绍 当我们使用MQ的时候，一个比较好的习惯就是把发送的消息和接收到的消息打印到日志中。当我们排查问题的时候就非常方便。 例如B服务需要消费A服务发送的关闭订单的消息。如果一个订单迟迟未关闭，此时可能有三种情况 A服务发送失败 B服务消费失败 B服务没有收到消息 A服务发送失败可以通过日志快速确认。 如果A服务发送成功，此时就可能根据消息的属性快速查找到具体的消息，看这条消息是否被对应的ConsumerGroup消费过，如果没消费此时说明B服务之类的配置可能有问题，导致没有收到消息。如果被消费.
springboot+rocketmq（6）:实现消息过滤
12程序猿的博客
07-04 3413
springboot+rocketmq（6）:实现消息过滤
RocketMQ,从入门到弃坑
inlauallnoany的博客
07-30 937
原理:前人之述备矣 1. 启动RocketMQ 下载rocketmq http://rocketmq.apache.org/dowloading/releases/ 配置环境变量 变量名: ROCKETMQ_HOME 变量值:${your_install_location}\rocketmq-all-4.8.0-bin-release 启动RocketMQ相关组件 namesrv : 注册中心,类似nacos的作用,统一管理broker 新建文件:start-namesrv.cmd 编辑输
详解RocketMQ消息查询机制
白话机器学习
08-11 2817
RocketMQ 在内存中还维护了一个索引文件列表，对于每一个索引文件，前一个文件的最大存储时间是下一个文件的最小存储时间，前一个文件的最大偏移量是下一个文件的最大偏移量。放入 29:取出哈希槽为 29 中的值 2，然后将 “29|2” 存储在第 3 个索引槽中，并更新哈希槽为 29 的值为 3，即哈希槽为 29 的第一个索引块的地址为 3。放入 16:取出哈希槽为 16 中的值 1，然后将 “16|1” 存储在第 5 个索引槽中，并更新哈希槽为 16 的值为 5。构成链表为: “[16]->5->1”
rocketmq 消息指定_【源码】RocketMQ如何实现获取指定消息
weixin_34493203的博客
12-29 377
概要消息查询是什么？消息查询就是根据用户提供的msgId从MQ中取出该消息RocketMQ如果有多个节点如何查询？问题：RocketMQ分布式结构中，数据分散在各个节点，即便是同一Topic的数据，也未必都在一个broker上。客户端怎么知道数据该去哪个节点上查？猜想1：逐个访问broker节点查询数据猜想2：有某种数据中心存在，该中心知道所有消息存储的位置，只要向该中心查询即可得到消息具体位置，...
rocketmq源码解析查询消息处理器
chucuavins01156的专栏
08-24 187
说在前面 查询消息处理器 源码解析 进入到这个方法，org.apache.rocketmq.broker.processor.QueryMessageProcessor#processRequest @Override public RemotingCommand ...
rocketmq学习笔记 三 rocketmq功能梳理
akfly的专栏
12-08 4610
大致跑了一些rocketmq例子了，也做了hello world，今天对rocketmq的功能，做一些梳理 1.发布订阅 简单的消息系统，通过topic 订阅发布 2.消息优先级 3消息顺序 4.消息存储 5.消息过滤 6.分布式事务 7.定时(延时)消息 8.消息轨迹 9.消息查询 10.消息回溯
RocketMQ消息查询实现原理与源码解析
"本文主要探讨了RocketMQ获取指定消息的实现方法，重点在于解析消息查询的原理和源码分析，包括消息ID的结构、查询机制以及客户端如何定位到正确节点获取消息。" 在RocketMQ中，消息查询是通过消息ID（msgId）从...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值