rocketMQ之十四 负载均衡

最新推荐文章于 2023-06-27 08:47:27 发布
最新推荐文章于 2023-06-27 08:47:27 发布
阅读量193 收藏
点赞数
分类专栏： rocketMQ 文章标签： rocketMQ 负载均衡 消费者负载均衡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42672777/article/details/103854955
版权

负载均衡

producer负载均衡

  • 生产者在发送消息时,会轮询所有的messageQueue,让消息平均落在不同的queue上,
    而queue可以散落在不同broker上,所以发送到不同broker

consumer负载均衡

  • 集群方式

    • AllocateMessageQueueAveragely:在拉取的时候指定那一条message queue,所以在消费者启动时,会触发一次负载均衡,更加queue的数量和消费者的数量平均分配queue给每个消费者在这里插入图片描述
    • AllocateMessageQueueAvgragelyByCircle,也就是平均分摊每一套queue,用环状轮流分queue的形式在这里插入图片描述
    • 注意事项
      • 集群模式下,queue只允许分配一个消费者,但是一个消费者能分到不同queue
      • 通过增加消费者分摊queue的消费,可以增加消费能力的作用
      • 如果消费者比queue的总数量还多的话,多余的消费者将无法分到queue,也就无法消费,所以需要控制queue总数量大于消费者数量

  • 广播模式

    • 每个消费者都能分到queue,不需要一个queue对应一个消费者,所以是一个queue对应多个消费者在这里插入图片描述
假装自己不胖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
rocketmq消费负载均衡--push消费详解
08-25
主要介绍了rocketmq消费负载均衡--push消费详解，本文介绍了DefaultMQPushConsumerImpl消费者，客户端负载均衡相关知识点。,需要的朋友可以参考下
RocketMQ（十三） RocketMQ负载均衡
weixiaohuai的博客
04-07 6952
目录 一、什么是负载均衡 二、Producer发送消息负载均衡 三、Consumer订阅消息负载均衡 四、Rebalance机制 五、Queue分配算法 一、什么是负载均衡 负载均衡（LB，Load Balance），是一种技术解决方案。用来在多个资源（一般是服务器）中分配负载，达到最优化资源使用，避免单台服务器过载。 RocketMQ中的负载均衡，主要可以分为Producer发送消息的负载均衡和Consumer订阅消息的负载均衡。下面我们分别进行分析。 二、Producer发送消息负载均
15.RocketMQ中的负载均衡
qq_30635523的博客
06-27 2040
1.3负载均衡 1.3.1什么是负载均衡 负载均衡(Load Balance)是一种技术解决方案。用来在多个资源(一般是服务器)中分配负载，达到最优化资源使用，避免单台服务器过载。 RocketMQ中的负载均衡主要可以分为生产者发送消息的负载均衡和消费者订阅消息的负载均衡以及消费者分配队列的负载均衡。 1.3.2生产者发送消息负载均衡:轮询message queue发送 Producer...
RocketMQ系列4——负载均衡
xiaodigua1024的博客
03-29 980
RocketMQ中的负载均衡主要分为Producer端发送消息时候的负载均衡和Consumer端订阅消息的负载均衡。
【有料】RocketMQ 负载均衡机制
daobuxinzi的博客
10-24 558
主要分析 RocketMQ 的负载均衡的实现逻辑。
【消息中间件】RocketMQ如何实现Producer的负载均衡
qq_57756904的博客
12-29 883
具体的容错策略均在MQFaultStrategy这个类中定义。这里有一个sendLatencyFaultEnable开关变量，如果开启，在随机递增取模的基础上，再过滤掉not available的Broker代理。
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡
01-07
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡一. 消息存储1. 存储介质2. 性能对比3. 消息的存储和发送1）消息存储2）消息发送4. 消息存储结构5. 刷盘机制1）同步刷盘2）异步刷盘3）配置二. 高可用性机制1. 消息...
Alibaba SpringCloud集成Nacos、openFeign实现负载均衡-源码
最新发布
05-08
- 服务注册与发现：适配 Spring Cloud 服务注册与发现标准，默认集成对应 Spring Cloud 版本所支持的负载均衡组件的适配。 - 分布式配置管理：支持分布式系统中的外部化配置，配置更改时自动刷新。 详细可参考：...
RocketMQ概念 producer：生产者，消息发送者
10-24
集群消费：消费者负载均衡的消费消息 广播消费：每个消费者都各自消费全部消息，一份消息被多个消费者消费 具有以下特点： 能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅...
1.1.RocketMq课程说明.mp4
05-27
本系列课程从rocketmq基础到高级实战，老师手把手教你如何进行rocketmq集群的搭建，课程体系完整清晰，理论结合实践，且涵盖了高频面试题。...5.4.负载均衡 5.5.消息重试与死信队列 5.6.消息幂等性
Rocket MQ（三）消费模式和消费策略详解
傅红雪的专栏
04-06 5598
首先明确一点，RocketMQ 是基于发布订阅模型的消息中间件。所谓的发布订阅就是说，consumer 订阅了 broker 上的某个 topic，当 producer 发布消息到 broker 上的该 topic 时，consumer 就能收到该条消息。 之前我们讲过 consumer group 的概念，即消费同一类消息的多个 consumer 实例组成一个消费者组，也可以称为一个 consumer 集群，这些 consumer 实例使用同一个 group name。需要注意一点，除了使用同一个 gr
RocketMQ-负载均衡
mxlmxlmxl33的专栏
01-06 5248
RocketMQ是分布式消息服务，生产和消费负载均衡都是在客户端完成，本文分别介绍生产与消费的负载均衡策略。 部署结构拓扑图 一、路由信息      路由记录了broker集群节点的通讯地址、broker名称和读写队列数量等信息。      写队列writequque表示生产者可以写入的队列个数，如果不做特别配置默认是4，队列号从0开始，如果是4个，queueId就是0，1，2，3。br...
RocketMQ生产者和消费者的负载均衡分配策略
张俊杰 的博客
10-30 3119
负载均衡分两块儿,一个是producer的负载均衡,一个是Comsumer的负载均衡 Producer负载均衡 Producer发送消息时，默认会轮询目标Topic下的所有MessageQueue，并采用递增取模的方式往不同的MessageQueue上发送消息，以达到让消息平均落在不同的queue上的目的。而由于MessageQueue是分布在不同的Broker上的，所以消息也会发送到不同的broker上。 同时生产者在发送消息时，可以指定一个MessageQueueSelector。通过这个对象来
深入剖析 RocketMQ 源码 - 负载均衡机制
架构文摘
06-15 437
作者：vivo互联网服务器团队-Wang Zhi一、引言RocketMQ是一款优秀的分布式消息中间件，在各方面的性能都比目前已有的消息队列要好，RocketMQ默认采用长轮询的拉模式， 单机支持千万级别的消息堆积，可以非常好的应用在海量消息系统中。RocketMQ主要由 Producer、Broker、Consumer、Namesvr 等组件组成，其中Producer 负...
全面解剖RocketMQ和项目实战
09-05
RocketMQ 是阿里巴巴在2012年开源的分布式消息中间件，目前已经捐赠给 Apache 软件基金会，并于2017年9月25日成为Apache 的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件，以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。其主要功能有1.灵活可扩展性、2.海量消息堆积能力、3.支持顺序消息、4.多种消息过滤方式、5.支持事务消息、6.回溯消费等常用功能。RocketMQ 核心的四大组件：Name Server、Broker、Producer、Consumer ，每个组件都可以部署成集群进行水平扩展。2、适应人群有一定的Java基础，并且有分布式项目开发经验。3、课程价值可以让初学者对分布式系统解耦有一定认识，并且能够通过快速使用RocketMQ实现分布式服务的异步通信，同时本课程还会通过项目案例实战让学员对RocketMQ的应用场景有所体会，最后再通过源码角度让学员对RocketMQ的原理有所理解，不仅做到“知其然”，亦“知其所以然”。4、课程收获1. 理解消息中间件MQ的优势和应用场景2. 掌握RocketMQ的核心功能，以及各种消息发送案例3. 通过电商项目深刻理解RocketMQ在使用项目中的落地应用4. 通过RocketMQ高级功能和源码学习，对RocketMQ的技术细节和原理有更加透彻的理解5、课程亮点l  核心功能n  MQ介绍n  环境准备n  RocketMQ高可用集群搭建n  各种消息发送样例l  综合练习n  项目背景介绍n  功能分析n  项目环境搭建n  下单功能，保证各服务的数据一致性n  确认订单功能，通过消息进行数据分发n  整体联调l  高级功能n  消息的存储和发送n  消息存储结构n  刷盘机制n  消息的同步复制和异步复制n  负载均衡l  源码分析n  路由中心NameServern  消息生产者Producern  消息存储n  消息消费Consumer6、主讲内容章节一：核心功能1.     快速入门a)     MQ介绍b)     作用c)      注意事项d)     各MQ产品比较2.     RocketMQ环境搭建a)     环境准备b)     安装RocketMQc)      启动RocketMQd)     测试RocketMQe)     关闭RocketMQ3.     RocketMQ高可用集群搭建a)     集群各角色介绍b)     集群搭建方式c)      双主双从集群搭建d)     集群监控平台4.     各种消息发送样例a)     同步消息b)     异步消息c)      单向消息d)     顺序消息e)     批量消息f)      过滤消息g)     事务消息章节二：项目实战1.    项目背景介绍(1)    电商高可用MQ实战2.    功能分析(1)    下单功能(2)    支付功能3.    项目环境搭建(1)    SpringBoot(2)    Dubbo(3)    Zookeeper(4)    RocketMQ(5)    Mysql4.下单功能，保证各服务的数据一致性5.确认订单功能，通过消息进行数据分发章节三：高级功能1. 消息的存储和发送2. 消息存储结构3. 刷盘机制(1)    同步刷盘(2)    异步刷盘4. 消息的同步复制和异步复制5. 负载均衡(1)    Producer负载均衡(2)    Consumer负载均衡章节四：源码分析1.     路由中心NameServera)     NameServer架构设计b)     NameServer启动流程c)      NameServer路由注册和故障剔除2.     消息生产者Producera)     生产者启动流程b)     生产者发送消息流程c)      批量发送3.     消息存储a)     消息存储流程b)     存储文件与内存映射c)      存储文件d)     实时更新消息消费队列和存储文件e)     消息队列与索引文件恢复f)      刷盘机制4.     过期文件删除机制a)     消息消费Consumerb)     消费者启动流程c)      消息拉取d)     消息队列负载均衡和重新分布机制e)     消息消费过程f)      定时消息机制g)     顺序消息
RocketMQ的负载均衡
BuDongOrz的专栏
09-19 2053
在了解了RocketMQ的发送与接收后，也好奇RocketMQ内部是如何处理好生产端、消费端的负载均衡的，下面通过分析源码、查阅相关文档资料以及结合自己的理解，做了下归纳总结。 RocketMQ的消息负载均衡都是下放到Client端来实现的，具体可细分为2块：发送负载（Producer端）、消费负载（Consumer端）。 1、发送负载 1.1 路由信息 消息生产者Producer作...
RocketMQ负载均衡特性
weixin_33978044的博客
06-09 176
Producer生产者 ProducerGroup 用来表示一个发送消息应用，一个 Producer Group 下包含多个 Producer 实例，可以是多台机器，也可以是一台机器的多个进程，或者一个进程的多个 Producer 对象。一个 Producer Group 可以发送多个 Topic 消息。 Producer Group 作用如下: （1）标识一类 Producer （2）可以通...
RocketMq-负载均衡
小城我家
11-18 1221
负载均衡 RocketMQ中的负载均衡都在Client端完成，具体来说的话，主要可以分为Producer端发送消息时候的负载均衡和Consumer端订阅消息的负载均衡。 Producer的负载均衡 5 个队列可以部署在一台机器上，也可以分别部署在 5 台不同的机器上，发送消息通过轮询队列的方式 发送，每个队列接收平均的消息量。通过增加机器，可以水平扩展队列容量。 另外也可以自定义方式选择发往哪个队列 mqadmin updateTopic -n localhost:9876 -t tp_demo_02
rocketmq怎么实现负载均衡
06-13
RocketMQ 实现负载均衡的方式主要有两种： 1. 消费者负载均衡 RocketMQ 基于消费者组（consumer group）实现负载均衡。消费者组内的每个消费者都会接收到相同的消息，但每个消费者消费的消息数量可能不同。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值