RocketMQ一条消息从生产者到消费者的流程

最新推荐文章于 2024-08-20 15:36:40 发布
最新推荐文章于 2024-08-20 15:36:40 发布
阅读量649 收藏 2
点赞数 3
文章标签： java 分布式 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45088998/article/details/131262190
版权
本文介绍了RocketMQ中的核心角色，包括生产者、消费者、broker、nameserver以及主题topic。详细阐述了一条消息从生产者经由broker送达消费者的过程，同时提到了nameserver在服务发现中的作用。文章还分别给出了简版和详细的消息传递流程。
摘要由CSDN通过智能技术生成

目录

1. rocketmq 中的角色介绍

2. 一条消息从生产者到消费者的所有流程（简版）

3. 一条消息从生产者到消费者的所有流程

1. rocketmq 中的角色介绍

  • 生产者 producer
    • 生产、创造消息，会把消息发送到 broker 中
  • 消息代理服务 broker
    • 负责消息代理中转，消息并非直接从生产者发送到消费者，而是要经过 broker 的处理、存储、中转最终到达消费者
  • 消费者 consumer
    • 负责消费消息，消费者会从 broker 拉取消息，并把消息提供给应用程序
  • 主题 topic
    • 表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。
  • nameserver
    • 相当于注册中心，broker 将自己的信息（ip，端口号等）上报给 nameserver，生产者和消费者就可以通过 broker name 去寻找对应的 broker ip 列表（broker 可能有多个节点）。多个 nameserver 实例组成集群，但是相互独立没有信息交换

2. 一条消息从生产者到消费者的所有流程（简版）

提供了生产者，broker，消费者，nameserver 之间的简要交互流程

3. 一条消息从生产者到消费者的所有流程

下面让我们先忽略 name server （仅提供服务发现，与核心消息流程无关），查看下详细的消费流程。

大白手记
关注
RocketMQ源码解析：从生产者到消费者的消息流程
程序员Linc
06-12 382
消费者通过注册消息监听器来处理消息，当消费者从Broker拉取到消息后，消息监听器会将消息交给消费者进行处理。当生产者发送消息时，会将消息的Topic、Tag等信息发送到NameServer，NameServer会根据路由信息将消息发送到对应的Broker，从而保证消息能够正确发送到目标消费者。当消费者从Broker拉取到消息后，会先进行消息过滤，去掉与消费者订阅条件不匹配的消息。在DefaultMQProducer实例初始化时，会启动一个发送消息线程，并定时检查发送消息队列中是否有消息需要发送。
RocketMQ（12）——生产者介绍
Elim的博客
09-05 643
RocketMQ的消费者有基于拉模式的DefaultMQPullConsumer和基于推模式的DefaultMQPushConsumer。而对于生产者而言基本上只有一个DefaultMQProducer，和一个支持事务的TransactionMQProducer。TransactionMQProducer继承自DefaultMQProducer，所以DefaultMQProducer有的功能TransactionMQProducer都有。
RocketMQ消息生产
u012900994的博客
08-31 268
Producer可以将消息写入到某Broker中的某Queue中，其经历了如下过程: Producer发送消息之前，会先向NameServer发出获取消息Topic的路由信息的请求 NameServer返回该Topic的路由表及Broker列表 Producer根据代码中指定的Queue选择策略，从Queue列表中选出一个队列，用于后续存储消息 Produer对消息做一些特殊处理，例如，消息本身超过4M，则会对其进行压缩 Producer向选择出的Queue所在的Broker发出RPC请求，将消息发送到选择
RocketMQ简介
最新发布
Y_Tinty的博客
08-20 885
消费者会启动一个后台线程，不断地从Broker拉取消息，并放入到本地的队列中。消费者通过长轮询（Long Polling）机制来优化轮询效率和新消息的实时性。在没有新消息可拉取时，Broker会挂起消费者的请求，并在有新消息到达时立即返回给消费者，或者在请求超时后返回空结果。
RocketMQ工作原理_消息的消费
qq_45905724的博客
03-02 1422
然而默认消费下，offset是异步提交的，这个异步行导致提交到Broker的offset与Consumer实际消费的消息的不一致。例如：异步消费过程中，在第500条突然插进来Consumer2，但是Consumer1已经把500后面的queue的100条进行消费，但是Consumer2插入的时机是500条，这时候出现Rebalance，会出现消息的重复消费。，即Consumer向其关联的Queue注册了监听器，一旦发现有新的消息到来就会触发回调的执行，回调方法是Consumer取Queue拉取消息。
RocketMQ生产者与消费者
m0_57821123的博客
07-02 1149
内容有点多，请耐心看完！！ RocketMQ 什么是MQ 消息队列，是一种用来保存消息数据的队列 队列：数据结构的一种，特征为 “先进先出” MQ的作用 在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理 的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量 MQ的应用场景 1.任务异步处理 提升用户体验和系统吞吐量 2.应用...
RocketMQ（七）RocketMQ消息生产及消息储存机制
热门推荐
一恍过去
02-09 1万+
RocketMQ（五）RocketMQ消息生产及消息储存机制
RabbitMQ-原理【从生产者近MQ出消费者过程】
田成荣
05-12 1044
样式再修改 首先需要明确，效率与可靠性是无法兼得的，如果要保证每一个环节都成功，势必会对消息的收发效率造成影响。 如果是一些业务实时一致性要求不是特别高的场合，可以牺牲一些可靠性来换取效率。 1 代表消息从生产者发送到Exchange; 2 代表消息从Exchange路由到Queue; 3 代表消息在Queue中存储; 4 代表消费者订阅Queue并消费消息。 1、确保消息发送到RabbitMQ服...
RocketMq--单生产者多消费者--多生产者多消费者--消息类型及过滤
Strong_shady的博客
08-09 2943
单产多费（1） 注意：不同的组之间，订阅的topic一样，每组收到的消息数一样多且无争抢，类似广播。 生产者： //1.创建一个发送消息的对象Producer DefaultMQProducer producer = new DefaultMQProducer("group1"); //2.设定发送的命名服务器地址 producer.setNamesrvAddr("localhost:9876"); //3.1启动发送的服务 p
rocketmq一个消费者有多个服务器_RocketMQ 系列 消息消费
weixin_36316642的博客
02-11 1457
概念消费模式消息消费以组的模式开展， 一个消费组内可以包含多个消费者，每一个消费组可订阅多个主题，消费组之间有集群模式与广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息将被集群内的所有消费者消费一次。消息传送方式消息服务器与消费者之间的消息传送也有两种方式：推模式、拉模式。所谓的拉模式，是消费端主动发起拉消息请求，而推模式是消息到达消息服务...
Springboot整合RocketMQ之生产者
JemeryShen的专栏
09-15 1572
顺序消息是一种对消息发送和消费顺序有严格要求的消息。对于一个指定的Topic，消息严格按照先进先出（FIFO）的原则进行消息发布和消费，即先发布的消息先消费，后发布的消息后消费。在 Apache RocketMQ 中支持分区顺序消息，如下图所示。我们可以按照某一个标准对消息进行分区（比如图中的ShardingKey），同一个ShardingKey的消息会被分配到同一个队列中，并按照顺序被消费。需要注意的是 RocketMQ 消息的顺序性分为两部分，生产顺序性和消费顺序性。
RocketMQ生产者消费者完整流程.vsd
06-11
配合看RocketMQ的生产者和消费者源码，里面有完整的启动流程和消费流程
RocketMq源码解析五：生产者Producer发送消息
money9sun的博客
06-05 190
消息发送的过程可以分成四步，分别是验证消息、查找路由、选择队列、发送消息验证消息：检查msg、检查topic、检查body；查找路由：先查本地缓存，如果为空从namesrv中获取并更新；选择队列：使用index+1再取模的方式进行负载均衡选择队列；发送消息：最终通过NettyRemotingClient发送请求。
RocketMQ---消息消费流程
qq_40823910的博客
08-23 770
消息消费流程
RocketMQ的生产者和消费者
er龙咆哮
08-25 2344
RocketMQ的生产者和消费者 本文简单介绍RocketMQ的生产者和消费者在项目中的基本用法。 一、pom引入依赖 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifactId> <version>2.0.2</version> </
RocketMq消息生产消费简图
八荒六合唯我独尊
06-16 480
1.**********
RocketMQ生产消息、消费消息
一个双子座的Java攻城狮
12-22 876
RocketMQ是阿里开源的一款非常优秀中间件产品，脱胎于阿里的另一款队列技术MetaQ，后捐赠给Apache基金会作为一款孵化技术，仅仅经历了一年多的时间就成为Apache基金会的顶级项目。并且它现在已经在阿里内部被广泛的应用，并且经受住了多次双十一的这种极致场景的压力（2017年的双十一，RocketMQ流转的消息量达到了万亿级，峰值TPS达到5600万）
RocketMQ第三节（生产者和消费者）
huyiju的博客
05-04 3662
根据消息的key将消息轮训的插入队列中，队列的消息能保证FIFO，但是我们并不知道实际具体那条消息在那个队列，无法保证比如订单号是01的所有操作在同一个队列。所有才有了顺序发送，我们传入指定的订单号，只要订单号一直，就一定会存到相同的队列。我们知道，我们发送的消息，存储到了mq的topic的队列里边，默认的topic是4个队列。第一种（推送模式）：订阅mq服务的topic，mq收到消息把消息推送给消费者，适用范围广。第二种（拉取模式）：订阅mq服务的topic，mq收到消息，消费者定时去mq拉取消息。
RocketMQ的消息生产过程
weixin_42665569的博客
11-18 101
查看源码我们发现，Producer提供了很多方法发送消息，总结后可以通过不同的角度来看待，比如：以消费类型分为普通消息与事务消息，以发送方式分为同步发送，异步发送和单向发送，以消费范围分为单个消息与批量消息，今天我们主要分析的是发送方式，当然其中批量消息与单个消息基本类似就是一次发送的数量的大小而已，事务消息是RocketMQ的特性后期单独分析。异步消息结合单向发送与同步发送，在发送消息后立即返回的同时异步接收传递过去的消息状态，简单理解就是相当于发送微信，我发过去了，可能别人还在看，看完了就会回复你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值