mysql 一致性hash_漫画:什么是一致性哈希?

漫画:什么是一致性哈希?

3ce7bec1818a18868b237ef49a8aad07.png

13658828d00c2def2f18fa5a2def87df.png

0b13141412cf991031fc8c3b067af50b.png

19ed6ddacf547b9d4adfb1b02bc74dde.png

一年之前——

e52f1c58c47fad6726d4ed6b2f93deea.png

f88f8c3102253b0f981fa0c22cba881d.png

未来两年内,系统预估的总订单数量可达一亿条左右。

按Mysql单表存储500万条记录来算,暂时不必分库,单库30个分表是比较合适的水平分表方案。

于是小灰设计了这样的分表逻辑:

订单表创建单库30个分表

对用户ID和30进行取模,取模结果决定了记录存于第几个分表

查询时需要以用户ID作为条件,根据取模结果确定查询哪一个分表

分表方式如下图(为了便于描述,简化为5个分表):

fbf8b3395ebef0be251be65d5f3efb68.png

过了两个月——

bba2af82481b0b4ebaabea9b56482e38.png

cc40492fd8e97dc20054ec4a70c8e7fb.png

又过了半年多——

0a431df07c61e21973251274a636ea59.png

9cb3e555ceda89bffae2731d12a6d2b8.png

14a9a2a6c02ed1e3b4eff5b46d5bbff5.png

156331350316954f382eab76fa97374e.png

0ce228e5f2ac9ed4d7ad497e74512c54.png

62aec91fb2f8b4c3627c5f1f11d5e415.png

40053700e1b78d058ea66c53d63b753f.png

小灰的回忆告一段落——

d14ca4448bffa2ce6cf7c6c28b10da7c.png

1d74fe4cbcf4e1dc84700973eb6a90a5.png

1f89e78cfe10c392b0b20c06b8f8e529.png

783e5d84c681e52f3c7ba5a9ccc1bf2d.png

58082646a6f5be3977a671768487b10a.png

be2b0d04ce1abb144b9c323d782e40df.png

1.首先,我们把全量的缓存空间当做一个环形存储结构。环形空间总共分成2^32个缓存区,在Redis中则是把缓存key分配到16384个slot。

e739333f0f63897cb454c99d9e07ef06.png

2.每一个缓存key都可以通过Hash算法转化为一个32位的二进制数,也就对应着环形空间的某一个缓存区。我们把所有的缓存key映射到环形空间的不同位置。

00551d5c5647996eb759b137cc483357.png

3.我们的每一个缓存节点(Shard)也遵循同样的Hash算法,比如利用IP做Hash,映射到环形空间当中。

110f739dad7795f0f6480ef969852da3.png

4.如何让key和节点对应起来呢?很简单,每一个key的顺时针方向最近节点,就是key所归属的存储节点。所以图中key1存储于node1,key2,key3存储于node2,key4存储于node3。

96a60d34d4a06b331529e03adb67605b.png

0629225198070f3218d07c872151b084.png

a3a5e084bd89bdc37b001285dcd7b643.png

1.增加节点

当缓存集群的节点有所增加的时候,整个环形空间的映射仍然会保持一致性哈希的顺时针规则,所以有一小部分key的归属会受到影响。

165d2ca57f4e7163ace59d0ba0ea01ce.png

有哪些key会受到影响呢?图中加入了新节点node4,处于node1和node2之间,按照顺时针规则,从node1到node4之间的缓存不再归属于node2,而是归属于新节点node4。因此受影响的key只有key2。

97d20cbe10a227a01c12f59c24e0d960.png

最终把key2的缓存数据从node2迁移到node4,就形成了新的符合一致性哈希规则的缓存结构。

2.删除节点

当缓存集群的节点需要删除的时候(比如节点挂掉),整个环形空间的映射同样会保持一致性哈希的顺时针规则,同样有一小部分key的归属会受到影响。

d047f084640504f83a3c6e752eae3b09.png

有哪些key会受到影响呢?图中删除了原节点node3,按照顺时针规则,原本node3所拥有的缓存数据就需要“托付”给node3的顺时针后继节点node1。因此受影响的key只有key4。

9af1edc5b2ff70c9c5e614d9af26d880.png

最终把key4的缓存数据从node3迁移到node1,就形成了新的符合一致性哈希规则的缓存结构。

30aa5eb73d7e0610e627c39790483adf.png

2c6ab1f7c62bd6f54bc40c52b8287db2.png

92c8bf41f4938e9979dff780360dc288.png

206d2dd0fac9cc8e7b1e699858f5cf41.png

193f4f4d3404283ece848877e891e835.png

59391037e9ba970ee381bae2a6bc38b6.png

6dc42aa685f65a7bf805934fcaf88bf9.png

0c8cfd6211fd64ff50f93490c3edd0fc.png

如上图所示,假如node1的ip是192.168.1.109,那么原node1节点在环形空间的位置就是hash(“192.168.1.109”)。

我们基于node1构建两个虚拟节点,node1-1 和 node1-2,虚拟节点在环形空间的位置可以利用(IP+后缀)计算,例如:

hash(“192.168.1.109#1”),hash(“192.168.1.109#2”)

此时,环形空间中不再有物理节点node1,node2,只有虚拟节点node1-1,node1-2,node2-1,node2-2。由于虚拟节点数量较多,缓存key与虚拟节点的映射关系也变得相对均衡了。

1dfdbe16082637aaf0ccfe55aaf35642.png

2416bed6e4c40e65fa673c1d87a51d06.png

ff596e8748aa166661deba757e218bd7.png

36fb14533a4e04b90f5efa5f7d18135b.png

cae861b834aa447c8b730a4830492323.png

—————END—————

喜欢本文的朋友们,欢迎长按下图关注订阅号梦见,收看更多精彩内容

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值