RocketMQ如何动态扩容和缩容

已于 2022-02-24 14:59:29 修改
阅读量2.8k 收藏 1
点赞数
分类专栏： 消息队列RocketMQ 文章标签： java 哈希算法 rabbitmq
于 2022-02-24 14:53:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31960623/article/details/123111839
版权

本文来说下RocketMQ如何动态扩容和缩容

文章目录

整体思路

RocketMQ如何动态扩容和缩容

在这里插入图片描述
a、扩容Broker和Consumer，都是需要将信息注册到nameServer中。而Producer只有获取到最新的Broker信息时才会根据算法（随机、轮询、hash等）写数据。所以扩容对生产者无影响。
b、缩容Broker时，只需要里面的数据全部消费完后在去掉即可，缩容的可能性不大。

Rocketmq与kafka副本机制的区别

Rocketmq与kafka副本机制的区别

Kafka的分区是在不同的物理机器上，而Rocketmq是逻辑分区，用的队列形式。

Rocketmq单机版本中如何增加吞吐量

Rocketmq单机版本中如何增加吞吐量

增加我们队列的数量即可，但每个队列必须要1:1匹配消费者。

wh柒八九
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ 动态扩容和缩减
笑而不语的博客
12-09 3712
RocketMQ 动态扩容和缩减 环境 nameserver 172.16.40.180:9876 需要缩减 nameserver 172.16.40.175:9876 需要缩减 nameserver 172.16.30.159:9876 新增扩容 nameserver 172.16.30.133:9876 新增扩容 broker-a master 172.16.30.159:10911 broker-a slave 172.16.30.133:10911 broker-b master 172.16.40
RocketMQ集群扩容方案
NeverQuitMan的博客
10-31 4106
下文以rocketmq-4.3.0版本为例，新加的broker不作为namesrv使用（要不然需要修改整个集群配置，重启整个集群），原先集群构成为三主三从，刷盘方式为异步刷盘，节点配置为4核8G阿里云服务器。 1.（进入/data路径）下载rocketmq zip包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.3.0/...
解决RocketMQ日志过大
FlyCloudLee的博客
08-23 1821
解决RocketMQ输出日志过大的问题
二、RocketMQ工作原理
最新发布
青啊青斯博客
05-05 750
Rebalance即再均衡，指的是，将一个Topic下的多个Queue在同一个Consumer Group中的多个Consumer间进行重新分配的过程。Rebalance机制的本意是为了提升消息的并行消费能力。例如，一个Topic下5个队列，在只有1个消费者的情况下，这个消费者将负责消费这5个队列的消息。如果此时我们增加一个消费者，那么就可以给其中一个消费者分配2个队列，给另一个分配3个队列，从而提升消息的并行消费能力。
RocketMQ动态调整写队列和读队列
oliver486的博客
04-02 2240
topic创建的时候会指定读、写队列的数量 写的时候会按照下面的对应关系写数据 如果想减少读、写队列数的数量，先减少写队列的数量 这样队列3和队列4就不会继续写入数据，等3和4没有数据之后，将3、4读队列删掉，避免等数据丢失 ...
rocketMQ架构(集群)流程，及顺序消费等问题
祁_z
05-20 3807
RocketMQ架构图 RocketMQ 四种集群部署方式 单个Master节点， 缺点就是如果宕机之后可能整个服务不可用； 多个Master节点，分摊存放我们的消息，缺点：没有Slave节点，主的Master节点宕机之后消息数据可能会丢失的； 多个Master和Slave节点，之间数据同步采用异步形式，效率非常高，数据可能短暂产生延迟（毫秒级别的） 多个Master和Slave节点，采用同步形式，效率比较低、数据不会产生延迟。 broker如果配置集群： 多个broker(master).
RocketMQ实战笔记：应用实践
LoveSummer
06-20 7762
Producer对于消息的发送方式也有多种选择，不同的方式会产生不同的系统效果。同步发送消息是指，Producer发出⼀条消息后，会在收到MQ返回的ACK之后才发下⼀条消息。该方式的消息可靠性最高，但消息发送效率太低。 异步发送消息 异步发送消息是指，Producer发出消息后无需等待MQ返回ACK，直接发送下⼀条消息。该方式的消息可靠性可以得到保障，消息发送效率也可以。 单向发送消息 单向发送消息是指，Producer仅负责发送消息，不等待、不处理MQ的ACK。该发送方式时MQ也不返回ACK。该方式的
RocketMQ在平安银行的实践和应用
03-03
本文来自于segmentfault，文章以ApacheRocketMQ为例，和您一起了解平安银行在开源技术选型方面的思考和实践。随着互联网金融业务和相关技术的不断发展，传统金融行业为满足业务快速发展需求，正在积极引入各类开源...
SpringBoot RocketMQ4.0 整合使用和监控
05-19
SpringBoot2.0 RocketMQ4.0 整合使用和监控,网上大多是2.3.6的.
rocketmq32位动态库
06-08
rocketmq消息队列的32位动态库，能十分方便的向mq消息队列添加队列消息。
rocketmq的安装包和源码.zip
06-07
主要是rocketmq的安装包和源码，用于对rocketmq的学习和使用。 主要是rocketmq的安装包和源码，用于对rocketmq的学习和使用。 主要是rocketmq的安装包和源码，用于对rocketmq的学习和使用。
RocketMQ—Queue队列分配算法
Auto_limiless的博客
02-21 1168
双十一订单处理中间件----RocketMQ算法分析及源码
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡
kingtok的博客
02-20 1380
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡一. 消息存储1. 存储介质2. 性能对比3. 消息的存储和发送1）消息存储2）消息发送4. 消息存储结构5. 刷盘机制1）同步刷盘2）异步刷盘3）配置二. 高可用性机制1. 消息消费高可用2. 消息发送高可用3. 消息主从复制1）同步复制2）异步复制3）配置4）总结三. 负载均衡1. Producer负载均衡2. Consumer负载均衡1...
rocketmq新扩容的broker没有tps_常见消息中间件之RocketMQ
weixin_39992831的博客
11-22 255
点击上方蓝色字体，选择“标星公众号”优质文章，第一时间送达 作者|胜金来源 | urlify.cn/6zuMr266套java从入门到精通实战课程分享前言　　RocketMQ是一款分布式、队列模型的消息中间件，由阿里巴巴自主研发的一款适用于高并发、高可靠性、海量数据场景的消息中间件。早期开源2.X版本名为MetaQ；2015年迭代3.X版本，更名为RocketMQ，2016年...
RocketMQ
weixin_44450721的博客
06-28 1935
RocketMQ概述 MQ的用途 流量削峰：MQ可以将系统的超量请求暂存其中，以便系统后期可以慢慢进行处理，从而避免了请求的丢失或系统被压垮。 异步解耦：上游系统对下游系统的调用若为同步调用，则会大大降低系统的吞吐量与并发度，且系统耦合度太高。而异步调用则会解决这些问题。所以两层之间若要实现由同步到异步的转化，一般性做法就是，在这两层间添加一个MQ层。 数据收集：分布式系统会产生海量级数据流，如：业务日志、监控数据、用户行为等。针对这些数据流进行实时或批量采集汇总，然后对这些数据流进行大数据分析，这是当前互
RocketMQ常见问题-RocketMQ消息堆积问题-TOPIC队列扩容
mlydaemon的专栏
05-03 1万+
划个重点：RocketMQ是按照队列进行消息负载的，如果consumer中的一台机器由于机器硬件、系统、远程RPC或者JavaGC等原因导致该机器上的消息队列不能及时处理，整个消息队列的消息都会堆积。
RocketMQ吐血总结
热门推荐
武汉红喜
12-09 15万+
RocketMQ吐血总结 架构   概念模型 最基本的概念模型与扩展后段概念模型  存储模型   RocketMQ吐血总结 User Guide RocketMQ是一款分布式消息中间件，最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统，满足线上海量消息堆积的需求， 在2016年底捐赠给Apache开源基金会成为孵化项目，经过不到一年时间正式成为了A...
架构一个可承受千万级访问量的动态扩展CMS
::古埃及象形文字::
05-05 6215
目前CMS种类大致可分为两种，一种是通用CMS，还有一种是根据自身需求开发的私有CMS。 通用CMS比如dedecms、phpcms等CMS开源项目，适合技术实力不强的中小企业使用。 私有CMS，则结合自身需求，还定制开发的CMS,往往性能比通用型CMS要高。   开源通用型的CMS,虽然功能很强大，但是也有一些致命的缺点   1. 静态页面管理.  当文章数据达到 百万级别的时候，生成静
RocketMQ原理
七月流星
09-15 6321
RocketMQ原理（1）——服务端组件介绍 Jaskey Lam 7 个月前 RocketMQ服务端的组件有三个，NameServer，Broker，FilterServer（可选，部署于和Broker同一台机器） Name Server Name Server是RocketMQ的寻址服务。用于把Broker的路由信息做聚合。客户端依靠Name Server
rocketmq新扩容的broker没有tps_不中断业务的情况下升级Broker集群中机器内核是如何做到的
05-16
RocketMQ 新扩容 Broker 的过程中，可以采用平滑升级的方式，即先增加新的 Broker，再逐步将消息队列从旧 Broker 迁移到新 Broker，最后再将旧 Broker 下线。这样就可以保证在升级过程中不会中断业务。 在升级过程中，机器内核的升级可以在 Broker 下线前进行。在将消息队列从旧 Broker 迁移到新 Broker 的过程中，可以逐步将消息发送到新 Broker 上，等待所有消息队列都迁移完成后再将旧 Broker 下线。这样可以保证在升级过程中，业务仍然可以正常进行，不会出现中断的情况。 同时，为了保证升级过程的稳定性，建议在升级之前进行充分的测试和准备，并备份好数据以防意外情况发生。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值