RocketMQ源码阅读（十一）AllocateMessageQueueConsistentHash一致性hash

最新推荐文章于 2024-05-04 00:08:13 发布
最新推荐文章于 2024-05-04 00:08:13 发布
阅读量349 收藏
点赞数
分类专栏： 笔记 RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyjy11/article/details/126234056
版权

一致性Hash RocketMQ 消息队列 负载均衡 虚拟节点
关键词由CSDN通过智能技术生成

 AllocateMessageQueueStrategy 是消息消费时对消息队列分配的策略接口AllocateMessageQueueConsistentHash则是一致性hash策略的实现

一致性Hash算法

有N台后台服务节点，通常我们会对请求的关键字做hash(key) % N 来进行负载均衡，将请求发送至某一个节点。对于一般情况可能无所谓，但对于Redis分布式集群缓存等分布式场景，这种方式会引起几乎所有key的重新映射，这影响是非常大的。

所以一致性hash就是为了解决这个问题，它的算法目的是每个key在稳定情况下每次只会映射到同一个节点，在节点数增减的情况下只会影响一部分的key发生重新映射。

链接：什么是一致性hash算法

RocketMQ实现

首先是hash环和服务节点的实现

ConsistentHashRouter

 使用TreeMap来存储节点hash值和节点的对应关系，hash函数默认使用MD5

 在构造函数中，将所有消费者ClientID作为节点，插入到环中

 考虑一致性hash算法的平衡性，采用多个虚拟节点来代替

路由消息队列routeNode

这里计算每个消息队列的hash值，获取环中比它大的第一个节点（利用TreeMap.tailMap视图）

 

AllocateMessageQueueConsistentHash

核心的环和路由代码由ConsistentHashRouter实现，策略类中就比较简单了，首先定义了环中一个物理节点对应10个虚拟节点

 然后将所有消费者节点添加到环，然后依次对消费队列进行hash和分配

 

李有乾
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ消费者端消息列队六种负载均衡算法分析
Soda_lw的博客
11-13 3288
在RocketMQ启动的时候会启动负载均衡线程，过程如下： //DefaultMQPullConsumerImpl.start() mQClientFactory.start(); //上面点进去 ->MQClientInstance.start()，rebalanceService继承了ServiceThread， //ServiceThread实现了Runnable接口 this...
RocketMQ Consumer 负载均衡算法源码学习 -- AllocateMessageQueueConsistentHash
勇往直前的专栏
12-17 287
RocketMQ 提供了一致性hash 算法来做Consumer 和 MessageQueue的负载均衡。 源码中一致性hash 环的实现是很优秀的，我们一步一步分析。 一个Hash环包含多个节点， 我们用 MyNode 去封装节点， 方法 getKey() 封装获取节点的key。我们可以实现MyNode 去描述一个物理节点或虚拟节点。MyVirtualNode 实现 MyNode, 表示一个虚...
源码分析RocketMQ消息消费机制----消费端消息负载均衡机制与重新分布
最新发布
2401_84103216的博客
05-04 678
什么是ActiveMQ?ActiveMQ服务器宕机怎么办？丢消息怎么办？持久化消息非常慢怎么办？消息的不均匀消费怎么办？死信队列怎么办？ActiveMQ中的消息重发时间间隔和重发次数吗？
rocketmq核心源码分析第二十二篇一AllocateMessageQueueStrategy策略
小麒麟的博客
02-08 1138
文章目录AllocateMachineRoomNearby一就近机房源码分析AllocateMessageQueueByMachineRoom一指定机房源码分析AllocateMessageQueueByConfig一配置化源码分析AllocateMessageQueueConsistentHash一一致性hash源码分析AllocateMessageQueueAveragely一平均分配源码分析AllocateMessageQueueAveragelyByCircle一环形平均源码分析总结 Allocat
手撕RocketMQ源码——AllocateMessageQueueStrategy
cjdjcdj的博客
05-24 1591
引言 集群模式消费、推模式下的消息队列的负载均衡算法 策略模式 包括一致性hash、平均分配、平均轮询分配、自定义消费队列、按机房hash算法实现
C/C++ 一致性hash算法
04-09
一致性哈希算法是一种分布式哈希（Distributed Hash Table, DHT）技术，它在处理大量数据分布到多个节点上时，能保持较好的均衡性和可扩展性。在C/C++编程中，一致性哈希通常用于构建分布式系统，如负载均衡、缓存...
解决分布式数据插入数据库~一致性hash算法
10-27
为了解决这个问题，可以采用跳数法（Jump Consistent Hash）或者更高级的一致性哈希变体，如Ketama或libketama。哈希冲突则可以通过开放寻址、链地址法等方法来解决。 此外，一致性哈希算法在分布式缓存如Memcached...
C++实现一致性hash算法
01-03
一致性hash应用于负载均衡算法，本实现由C++语言开发。 一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 1、平衡性(Balance)2、单调性(Monotonicity) 3、分散性(Spread)4、负载(Load)
基于一致性hash算法 C++语言的实现详解
09-05
一致性哈希算法是一种分布式哈希表（DHT）技术，主要设计用来解决分布式系统中数据分片和负载均衡的问题。它的核心思想是在哈希空间中将数据和服务器映射到同一环状空间上，使得数据的分配尽可能均匀，且当服务器...
PHP实现的一致性HASH算法示例
10-18
主要介绍了PHP实现的一致性HASH算法,结合具体实例形式分析了hash算法的具体定义与使用技巧,需要的朋友可以参考下
《深入理解RocketMQ》- MQ消息的投递机制
宇宙浪子的专栏
09-09 470
0. 前言 RocketMQ的消息投递分为两种：一种是生产者往MQ Broker中投递；另外一种则是MQ broker 往消费者投递(这种投递的说法是从消息传递的角度阐述的，实际上底层是消费者从MQ broker 中Pull拉取的)。本文将从模型的角度来阐述这两种机制。 1. RocketMQ的消息模型 RocketMQ 的消息模型整体并不复杂，如下图所示： 一个Topi...
RocketMQ源码阅读（十）Consumer-消息队列负载均衡
xyjy11的博客
08-08 365
简要流程
一致性hash算法
wym1581的专栏
01-13 205
1为啥会有这种算法的诞生，它解决什么问题？ 在说这个算法之前，我们看看以前做缓存（一致性hash算法不仅仅局限在做缓存上）的思路。 假如现在我们有一个网站，redis上数据已经超过了单机的承受能力，现在就要对其做进行分库分表，则分库分表就意味着要有一个路由规则，假设我们的路由规则是hash取模的方式，根据这个路由规则我们就弄一个redis集群，假设集群中有四个节点，节点A，节点B，节点C，节点D，...
RocketMQ原理
Lailai Monkey的博客
01-31 390
基础概念 消息模型（Message Model） RocketMq主要由三部分组成：Producer（发送消息）、Broker（存储消息）、Consumer（消费消息）。Broker实际部署中对应一台服务器，每个Broker可以存储多个Topic消息，每个Topic消息也可以分片存储不同的Broker中，Message Queue用于存储消息的物理地址，每个Topic消息地址存储多个Message Queue中。 生产者（Producer） 负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应
RocketMQ重平衡策略你用过几种？
Java技术攻略的博客
03-17 454
我们简单讲述了RocketMQ消费者是如何实现重平衡的，我们在源码中发现默认的重平衡策略是平均分配策略，另外我们还可以设置其他的重平衡策略，你知道有哪几种嘛？你用过其中的哪些分配策略呢？我们也可以根据自己的实际情况来实现自定义的重平衡策略，只需要实现接口即可，或者继承@Override// TODO​@Override// TODO});
RocketMQ（十三） RocketMQ负载均衡
weixiaohuai的博客
04-07 7151
目录 一、什么是负载均衡 二、Producer发送消息负载均衡 三、Consumer订阅消息负载均衡 四、Rebalance机制 五、Queue分配算法 一、什么是负载均衡 负载均衡（LB，Load Balance），是一种技术解决方案。用来在多个资源（一般是服务器）中分配负载，达到最优化资源使用，避免单台服务器过载。 RocketMQ中的负载均衡，主要可以分为Producer发送消息的负载均衡和Consumer订阅消息的负载均衡。下面我们分别进行分析。 二、Producer发送消息负载均
RocketMQ 关键特性
weixin_33811961的博客
12-09 241
Apache RocketMQ之所以能在众多的消息中间件中脱颖而出，能吸引数千企业用户与RocketMQ的关键特性是分不开的，本文详细介绍RocketMQ中的关键特性。 一、过万的单机队列数 诸如Kafka之类的消息中间件，在队列数上升时性能会产生巨大的损失，RocketMQ之所以能单机支持上万的持久化队列与其独特的存储结构分不开。 如上图所示，所有的...
RocketMQ工作原理_消息的消费
qq_45905724的博客
03-02 1225
然而默认消费下，offset是异步提交的，这个异步行导致提交到Broker的offset与Consumer实际消费的消息的不一致。例如：异步消费过程中，在第500条突然插进来Consumer2，但是Consumer1已经把500后面的queue的100条进行消费，但是Consumer2插入的时机是500条，这时候出现Rebalance，会出现消息的重复消费。，即Consumer向其关联的Queue注册了监听器，一旦发现有新的消息到来就会触发回调的执行，回调方法是Consumer取Queue拉取消息。
一致性哈希算法解析与应用
"一致性Hash算法是一种用于分布式系统的哈希算法，旨在解决分布式缓存中数据分发和容错性的问题。该算法通过哈希函数确保相同的数据总是映射到同一台服务器，即使在服务器增减时也能保持尽可能少的数据迁移。文章...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值