rocketmq消费者线程模型

最新推荐文章于 2024-09-03 10:33:39 发布
最新推荐文章于 2024-09-03 10:33:39 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： 源码 文章标签： rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dch9210/article/details/120422120
版权

两种消费模式

在RocketMQ中，Consumer端的两种消费模式（Push/Pull）都是基于拉模式来获取消息的，而在Push模式只是对pull模式的一种封装，其本质实现为消息拉取线程在从服务器拉取到一批消息后，然后提交到消息消费线程池后，又“马不停蹄”的继续向服务器再次尝试拉取消息。如果未拉取到消息，则延迟一下又继续拉取。

rocketmq的消费是靠client进程主动请求broker的逻辑队列，拿到一个索引，然后再从CommitLog里面读取真正的消息内容。

线程模型

在这里插入图片描述

Jon_Deng
关注
专栏目录
RocketMQ（11）——消费者拉模式和推模式
Elim的博客
09-05 3202
RocketMQ提供了两种消息的消费模式，拉模式和推模式。我们先来看一下拉模式消费的应用。
RocketMQ——Consumer篇：PUSH模式下拉取消息服务的线程（PullMessageService）
meilong_whpu的专栏
08-11 2347
只有在PUSH模式下才会使用PullMessageService服务线程，该线程主要是对pullRequestQueue:LinkedBlockingQueue<PullRequest>队列进行监测，处理该队列中的PullRequest请求对象；同时该线程也提供了两种拉取方式，分别是立即拉取和延迟拉取两种；1 拉取消息的处理逻辑在该线程的run方法中，循环地不间断地从pullRequestQueue
【RocketMQ】原理分析：Consumer消费模型、消费规则
A minor
11-18 3522
1.RocketMQ消费模型 RocketMQ提供了两种消息消费模型，一种是pull主动拉取，另一种是push被动接收。 实际上 RocketMQ都是pull模式，而push只是在pull模式上做了一层封装 RocketMQ是基于长轮训来实现消息的pull pull到消息以后触发业务消费者注册的call back 2.消费规则 当Kafka集群中存在多个主节点时，一条消息只会发送到其中一个主节点，rocketmq对于多个master节点的消息发送，会做负载均衡，使得消息可以平衡的发送到多个master节
RocketMQ高级特性三-消费者分类
最新发布
StaticKing的博客
09-03 868
RocketMQ中的消费者分类主要包括三种类型：PullConsumer、SimpleConsumer、和PushConsumer。每种消费者类型都有其特定的使用场景、原理机制以及优缺点
RocketMQ的概念模型详解
白话机器学习
08-11 751
生产者。发送消息的客户端角色。发送消息的时候需要指定Topic。Producer：消息生产者，也称为消息发布者，负责生产并发送消息。Producer 实例：Producer 的一个对象实例，不同的 Producer 实例可以运行在不同进程内或者不同机器上。Producer 实例线程安全，可在同一进程内多线程之间共享。
RocketMQ之Broker线程模型
闲来无事
03-26 4452
1.概述 RocketMQ是阿里开源的一款高性能、高吞吐量的分布式消息中间件，具有以下特点： 1、能够保证严格的消息顺序； 2、提供丰富的消息拉取模式； 3、高效的订阅者水平扩展能力； 4、实时的消息订阅机制； 5、亿级消息堆积能力。 网上关于RocketMQ各方面（如RPC通信、消息存储、消费发送、消息消费等）的介绍非常多，也比较详细，本文在此就不重复了，感兴趣的同学可以百度一下。...
RocketMQ-Consumer源码分析&问题刨析&消费模型
weixin_36114346的博客
07-14 372
RocketMq 、Consumer、消费
rocketmq 消费者不能调用其他服务_Spring Cloud Alibaba RocketMQ - 构建异步通信的微服务...
weixin_34217656的博客
02-11 455
引入MQ后的架构演进MQ的选择消息队列对比参照表：RocketMQ vs. ActiveMQ vs. Kafka：参考至：CentOS7上搭建RocketMQ环境要求：CentOS 7.264位JDK1.8+4G+的可用磁盘空间1、下载RocketMQ的二进制包，我这里使用的是4.5.1版本，下载地址如下：使用wget命令下载：[root@study-01 ~]# cd /usr/local/sr...
rocketmq 消费者不能调用其他服务_RocketMQ 解析
weixin_34184682的博客
01-17 549
2.1.1 CommitLog文件(物理队列)CommitLog是用于存储真实的物理消息的结构，保存消息元数据，所有消息到达Broker后都会保存到commitLog文件，这里需要强调的是所有topic的消息都会统一保存在commitLog中。举个例子：当前集群有TopicA, TopicB，这两个Toipc的消息会按照消息到达的先后顺序保存到同一个commitLog中，而不是每个Topic有自...
一次线上OOM与RocketMQ消费者源码分析
weixin_50580200的博客
04-11 1031
1、背景介绍 这是一个临时文件的清洗服务，主要使用消费者生产者模型。 清洗方式为分段清洗，因为清洗数据量过大，所以需要对数据进行分段以方便容错处理。 清洗服务模型如图： 每个消费者实例中一个消费者进程执行一段的清洗任务需要的时间大约为15分钟。 生产者生产消息的速度远大于消费速度。 2、问题出现 清洗程序在凌晨启动，但是启动没几分钟后便收到疯狂告警： 看日志信息来说，就是疯狂GC但是回收不到垃圾，堆内存不够了。 那接下来就看看JVM的监控情况： 确实堆内存不够用了，那为什么不
RocketMQ之 Consumer，消费者消费原理解析
小道仙的后宫
04-16 1409
每个使用了 @RocketMQMessageListener 注解的消费者，都会被解析成一个 ListenerContainerListenerContainer 在解析出来后，就被开启了，它会运行一个死循环的代码（如果当前线程不终止的话，会一直运行），这段代码会不停的去 pull 消息如果 pull到了消息，就会被丢入一个线程池，等待资源去处理消息。
消息中间件—RocketMQ的RPC通信（二
程序猿DD
07-14 1562
作者：胡宗棠来源：匠心独运的博客在（一）篇中主要介绍了RocketMQ的协议格式，消息编解码，通信方式(同步/异步/单向)、消息发送/接收以及异步回调的主要通信流程。而本...
RocketMQ-网络传输与线程框架
tyzsm的博客
05-15 623
由于工作的原因，需要在RocketMQ源码的基础上进行修改，实现自己的功能，因此打算读读源码，写写日记，后续会使用aeron替换掉netty，比较两者的性能指标。 RocketMQ主要包括NameSrv、Broker、Producer和Consumer四个模块，模块之间通过Netty进行底层网络传输，因此，RocketMQ的线程模型也是根据Netty的特点进行构建。 RocketMQ在原生Netty的基础上，封装了自己的Server和Client，分别为NettyRemotingServer和NettyR
RocketMQ
HelloiChen的博客
03-23 2838
文章目录1 基本介绍1.1 基本概念1.2 整体流程1.3 集群部署2 简单示例2.1 Producer2.2 Consumer3 SpringBoot 示例3.1 quickstart3.1.1 YAML3.1.2 Producer3.1.3 Consumer3.1.4 ConsumerA3.2 @RocketMQMessageListener3.3 连接不同的 RocketMQ 集群3.4 批量发送消息3.4.1 Producer3.4.2 Consumer3.5 定时消息3.5.1 Producer3
如何在 SpringBoot 项目中控制 RocketMQ消费线程数量
中生代技术
06-20 6756
1 背景最近在新项目开发中遇到一个有趣的问题，如何在 SpringBoot 项目中控制 RocketMQ 消费线程数量。如何设置单个 topic 消费线程的最小数量和最大数量，用来区分不同 topic 吞吐量不同。我们先介绍一下 RocketMQ 消息监听再来说明 RocketMQ 消费线程。2 RocketMQ 消息监听设置消费者组为 my_consumer_g...
全网最深入的RocketMQ Consumer 学习笔记
QAQFyl的博客
02-24 524
消费模式 消息消费有两种模式： 1、并发消费 并发消费是默认的处理方法，一个消费者使用线程池技术，可以并发消费多条消息，提升机器的资源利用率。默认配置是 20 个线程，所以一台机器默认情况下，同一瞬间可以消费 20 个消息。 其中 ConsumeMessageConcurrentlyService 的构造函数如下： publicConsumeMessageConcurrentlyService(DefaultMQPushConsumerImpldefaultMQPushConsum...
如何确定RocketMQ中消费者的线程大小
02-25 3551
随着物联网行业的发展、智能设备数量越来越多，随着设备活跃量过大，常常存在一些高并发的请求，形成了流量尖峰，过多的请求会压垮服务器，影响其他服务运行。因此，为了保护云端服务，需要对请求进行缓冲，`RocketMQ`就是一款非常优秀消息队列的中间件，在互联网领域久经考验，也被各个行业广泛应用。
RocketMQ：消息发送与消费
上海一九四三
07-02 2365
在此之前，我们已经介绍过《RocketMQ：快速入门》和《RocketMQ：搭建集群》。现在我们已经准备好RocketMQ的环境了，接下来就是通过实战去演示RocketMQ中各种消息类型的生产和消费了。 1. 开发环境 （1）引入RocketMQ客户端依赖 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId&
【Linux入门】多线程(线程概念、生产者消费者模型、消息队列、线程池)万字解说
qq_53505979的博客
01-23 2668
目录1️⃣线程概念什么是线程线程的优点线程的缺点线程异常线程异常Linux进程VS线程2️⃣线程控制创建线程获取线程的id线程终止等待线程线程分离3️⃣线程互斥进程线程间的互斥概念互斥量互斥量的接口互斥量的实现原理研究怎么看待线程在申请锁的时候等待挂起可重入VS线程安全概念常见的线程不安全情况常见的线程安全情况常见的不可重入情况常见的可重入情况可重入与线程安全的联系可重入与线程安全的区别4️⃣死锁死锁的四个必要条件避免死锁避免死锁的算法5️⃣线程同步条件变量同步概念和竞态条件初始化条件变量销毁条件变量等待条
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值