RocketMQ扩容缩容解决方案

最新推荐文章于 2024-07-10 16:55:05 发布
最新推荐文章于 2024-07-10 16:55:05 发布
阅读量1.3k 收藏
点赞数
分类专栏： 分布式 文章标签： rocketmq mq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42002747/article/details/120467246
版权

nameserver扩容

nameserver一般不扩容 生产上部署三个节点足够了，如果要支持动态扩容，需要修改rocketmq的源码，让broker，客户端实时感知最新的nameserver列表，本质上就是类似分布式的服务注册与发现；

broker扩容

直接加入，并且在新的broker创建新topic并且分配队列，或者在已有topic基础上分配队列

nameserver缩容

引入注册中心后，正常下线即可

broker缩容

设置broker为只读，然后把该broker的所有队列的消息转移到其他broker上

总结思考

类比其他分布式存储ES、MongoDB，RcoketMQ支持分片，支持扩容，每个主从集群互相独立，客户端的入口是nameserver，类似ES的协调节点和MongoDB的Route Server，本质上是一种去中心化架构

梦江河
关注
专栏目录
对比阿里云的SofaMQ与RocketMQ
weixin_44976692的博客
01-17 2万+
SofaMQ是一款开源的分布式消息中间件，由阿里巴巴集团推出。它基于Sofa框架，提供了可靠的消息传递服务，支持大规模分布式系统的构建。RocketMQ是一款开源的分布式消息中间件，同样由阿里巴巴集团推出。它以高性能、高可用性和可伸缩性而著称，被广泛应用于金融、电商等领域。总体而言，SofaMQ和RocketMQ都是成熟的消息中间件解决方案，选择取决于具体的业务需求和技术栈。在实际应用中，可以根据团队熟悉度、项目规模等因素进行权衡和选择。如果有任何问题或建议，欢迎留言讨论。
消息中间件学习总结（7）——RocketMQ之万亿级数据洪峰下的分布式消息引擎
科技D人生
10-16 2286
前言 通过简单回顾阿里中间件(Aliware)消息引擎的发展史，本文开篇于双11消息引擎面临的低延迟挑战，通过经典的应用场景阐述可能会面临的问题 - 响应慢，雪崩，用户体验差，继而交易下跌。为了应对这些不可控的洪峰数据，中间件团队通过大量研究和实践，推出了低延迟高可用解决方案，在分布式存储领域具有一定的普适性。在此基础上，通过对现有有限资源的规划，又推出了分级的容量保障策略，通过限流、降级，甚至...
RocketMQ集群扩容方案
NeverQuitMan的博客
10-31 4177
下文以rocketmq-4.3.0版本为例，新加的broker不作为namesrv使用（要不然需要修改整个集群配置，重启整个集群），原先集群构成为三主三从，刷盘方式为异步刷盘，节点配置为4核8G阿里云服务器。 1.（进入/data路径）下载rocketmq zip包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.3.0/...
RocketMQ 动态扩容和缩减
笑而不语的博客
12-09 3923
RocketMQ 动态扩容和缩减 环境 nameserver 172.16.40.180:9876 需要缩减 nameserver 172.16.40.175:9876 需要缩减 nameserver 172.16.30.159:9876 新增扩容 nameserver 172.16.30.133:9876 新增扩容 broker-a master 172.16.30.159:10911 broker-a slave 172.16.30.133:10911 broker-b master 172.16.40
RocketMQ的消息堆积问题
最新发布
weixin_44146398的博客
07-10 362
如果当前Topic的MessageQueue的数量小于或者等于消费者数量，这种情况，再扩容消费者就没什么用，就得考虑扩容MessageQueue。可以新建一个临时的Topic，临时的Topic多设置一些MessageQueue，然后先用一些消费者把消费的数据丢到临时的Topic，因为不用业务处理，只是转发一下消息，还是很快的。：如果当前Topic的MessageQueue的数量大于消费者数量，就可以对消费者进行扩容，增加消费者，来提高消费能力，尽快把积压的消息消费玩。▪ queue扩容，消费端扩容。
RocketMQ-动态扩缩容
小城我家
11-19 2268
动态扩缩容 动态增减Namesrv机器 NameServer是RocketMQ集群的协调者，集群的各个组件是通过NameServer获取各种属性和地址信息的。 主要功能包括两部分： 一个各个Broker定期上报自己的状态信息到NameServer； 另一个是各个客户端，包括Producer、Consumer，以及命令行工具，通过NameServer获取最新的状态信息。 所以，在启动Broker、生产者和消费者之前，必须告诉它们NameServer的地址，为了提高可靠性，建议启动多个NameServer。
RocketMQ集群平滑扩缩容【实战笔记】
gaoliang1719的专栏
05-01 1574
目录一、运维需求 二、平滑扩容 1.下线从节点 2.重组主从模式 三、平滑缩容 1.关闭broker写权限 2.验证broker流量情况 3.验证...
百万级消息RocketMQ 不停机，扩容，平滑升级！
weixin_44081894的博客
03-16 1300
一、背景 1、各业务系统持续迭代过程中，JDK、SpringBoot、RocketMQ Client 等框架也进行了升级，高版本的 RocketMQ Client 发送的消息到低版本中，在控制台中午无法查看消息明细，致使业务日常排查问题等相当困难。 2、原业务端发送消息与本地事务很难做到一致性，要保障不丢失数据和数据不一致开发成本非常高，RocketMQ V4.4 版本增加了事务消息，引入事务消息后可大大降低实现这一特性的难度。 3、我们对 MQ 的依赖越来越强，MQ 的重要性和稳定性都已经可以和 DB 相
RocketMQ的动态扩缩容与故障恢复
RocketMQ简介 ### 1.1 RocketMQ的概述 RocketMQ是一款开源的分布式消息中间件，由阿里巴巴集团自主研发并开源。它最早是作为阿里巴巴集团内部的消息中间件使用，后来经过多年的发展，成为了一个成熟且功能强大的...
RocketMQ Operator-K8s平台自动化部署工具介绍.pdf
10-15
当需要扩容或缩容RocketMQ集群时，只需更新CRD资源的规格，Operator会自动执行相应的操作。 ### 解决方案 RocketMQ Operator为K8s环境下的RocketMQ部署提供了一种全面的解决方案，包括自动部署、配置管理、应用扩...
RocketMQ(3) -- RocketMQ的系统架构
姜皓的博客
04-26 325
RocketMQ的系统架构
RocketMQ实战之在线停机和扩容
jannal专栏
08-15 1472
RocketMQ实战、RocketMQ在线停机缩容、RocketMQ在线扩容
RocketMQ无损扩容实战
念念不忘，必有回响
07-18 996
总的来说整体操作难度不大，但是如果认为的去扩容在线上遇到紧急流量我们可能操作不过来，所以可以考虑使用快照的方式扩容这样库容会更快。
rocketmq新扩容的broker没有tps_揭秘 RocketMQ 新特性以及在金融场景下的实践
weixin_39897015的博客
11-23 422
2019 年末， RocketMQ 正式发布了 4.6.0 版本，增加了“ Request-Reply ”的同步调用的新特性。“ Request-Reply ”这个新特性是由微众银行的开发者们总结实践经验，并反馈给社区的。接下来本文会详细介绍此新特性。“ Request-Reply ”是什么图1.1 “ Request-Reply ”模式在以往的消息中间件的使用中， Producer 和 Cons...
三、RabbitMQ 扩展
骑士梦的博客
11-10 2469
一、RabbitMQ 幂等性 二、RabbitMQ 优先级队列 三、RabbitMQ 惰性队列
掌握这10个常见的Kafka经典面试题，你还怕被问消息中心吗？
再下秃头，有何贵干的博客
09-09 459
最近工作中呢，频频用到消息中心，包括异步转同步的功能，分布式收集日志信息等功能，在面试中也常会问到候选人关于消息中心的知识点，但大多数程序员，尤其是工作两三年的，虽然平时工作中都有用到消息中心，但都总是不能够说明白其中的原理，于是觉得有必要把消息中心作为一个篇章，专门进行总结梳理一番看的时候，建议大家**不妨先看看问题，自己先尝试回答一下，再看答案**。看看自己掌握得如何了那准备好了的话，我们就要**开始啦**啊 01.为什么要使用消息中心？ 消息中心，有以下几大作用： 消息通讯：可以作为基本的消息通讯
RocketMQ如何动态扩容和缩容
wh柒八九的博客
02-24 2984
本文来说下RocketMQ如何动态扩容和缩容 文章目录概述 概述 RocketMQ如何动态扩容和缩容 a、扩容Broker和Consumer，都是需要将信息注册到nameServer中。而Producer只有获取到最新的Broker信息时才会根据算法（随机、轮询、hash等）写数据。所以扩容对生产者无影响。 b、缩容Broker时，只需要里面的数据全部消费完后在去掉即可，缩容的可能性不大。 ...
rocketmq新扩容的broker没有tps_常见消息中间件之RocketMQ
weixin_39992831的博客
11-22 289
点击上方蓝色字体，选择“标星公众号”优质文章，第一时间送达 作者|胜金来源 | urlify.cn/6zuMr266套java从入门到精通实战课程分享前言　　RocketMQ是一款分布式、队列模型的消息中间件，由阿里巴巴自主研发的一款适用于高并发、高可靠性、海量数据场景的消息中间件。早期开源2.X版本名为MetaQ；2015年迭代3.X版本，更名为RocketMQ，2016年...
Kafka 消息消费---重复消费和丢失消息
紫蝶侠的博客
05-09 1770
Kafka 拉取循环 Kafka 对外暴露了一个非常简洁的 poll 方法，其内部实现了协作、分区重平衡、心跳、数据拉取等功能。 另外需要提醒的是，消费者对象不是线程安全的，也就是不能够多个线程同时使用一个消费者对象；而且也不能够一个线程有多个消费者对象。简而言之，一个线程一个消费者，如果需要多个消费者那么请使用多线程来进行一一对应。 提交（commit）与位移（offset） 当我们调用 poll() 时，该方法会返回我们没有消费的消息。当消息从 broker 返回消费者时，broker 并不跟踪这些消息
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值