一致性哈希算法

时间:2014.07.17

地点:基地地板

----------------------------------------------------------------------------------------

一、为什么我们须要一致性哈希算法

考虑一个场景:server负载均衡问题。有n台server,比方n台cache。cache编号的选择和object的
匹配应该採取什么用的策略才干满足保证功能的需求。

假设我们採取例如以下简单的哈希映射关系:
hash(object) mod n

看起来这样一个系统工作正常,但考虑周到会有例如以下几个问题:
问题1:有一天我们须要添加一台server。这时我们须要改变哈希映射关系为:
hash(object) mod (n+1)
问题2:有一天我们须要删除一台server,这时我们须要改变哈希映射关系为:
hash(object) mod (n-1)

问题3:怎么样使得server负载分配均匀

如今我们看到麻烦来了,因为hash关系的变化。差点儿全部的object将会被hash到新的位置,即映射到新的server,这是一种灾难,于是我们就须要一致性哈希来改善这样的情况了。

----------------------------------------------------------------------------------------

二、一致性哈希

  一致性哈希能够保证当随意一台server添加到系统或从系统中删除时,只唯独相关的有限个object须要又一次匹配。即一致性哈希最大程度地防止object与server之前的匹配关系。

----------------------------------------------------------------------------------------

三、哈希空间(hash space)

    一般地,哈希函数将object映射到一个位的值上,哈希值取值范围为[0~2^32-1]。例如以下图所看到的。我们把哈希值域首尾相接联合成一个环形。于是也称呼为环形哈希空间。

                                                                   

                                                                    哈希空间

----------------------------------------------------------------------------------------

四、将object映射到哈希空间

如果有4个object,分别为object1~object4,如今我们使用哈希函数获得他们各自的key值。并映射到环形哈希空间中去。例如以下图所看到的:
hash(object1)=key1;
hash(object2)=key2;
hash(object3)=key3;
hash(object4)=key4;

                                      
                                                  

                                                  将object映射到哈希空间

----------------------------------------------------------------------------------------

五、将cache映射到哈希空间

我们採用相同的哈希函数。继续还将server也映射到该环形哈希空间中,
如果我们有3台serverA,B,C,哈希之后例如以下:
hash(cacheA)=keyA;
hash(cacheB)=keyB;
hash(cacheC)=keyC;

                                          

                                           将cache以相同的方式也映射到哈希空间

                                                                         

----------------------------------------------------------------------------------------

六、将object与cache匹配

  经过之前的步骤,如今object和cache都已经成功映射到环形哈希空间去了。

接下来,我们将决定objects怎么和cache形成映射:我们採取的策略是,将object按顺时针方向走。直到找到第一个cache,若果该cache是可用的,即形成object和cache匹配,否则继续寻找下一个cache。依据上述原则,在这里我们得到的匹配结果是:
    object1——>cacheA
    object2——>cacheC
    object3——>cacheC
    object4——>cacheB

----------------------------------------------------------------------------------------

七、添加或删减cache

  如今考虑两种场景:1.当某一cache崩溃移除系统 ,因为object4是映射在cacheB上的,如今cacheB将被移除了。那么如今object4得重现更新这个映射,我们仅仅须要简单的沿顺时针方向找到下一个可用的cache,在这里是cacheC就可以。如图,而不必所以映射关系全盘修改。

                           

                                              cacheB崩溃

当将cacheD增加在object2和object3之间时,B和D之间的object也需又一次映射。在这里object2将绑定到新增加的cacheD上。

例如以下图:

                                  

                                                     添加cacheD

----------------------------------------------------------------------------------------

八、虚节点

    上述情况可以非常好的解决添加删除server节点时对整个系统大动干戈的问题。

但还存在一个问题,那就是假设环形哈希空间上的cache较少的话,object的部署不会那么均匀。于是我们引入虚节点的概念。

 。它可以比較好的改善这一缺点。 虚节点是环形哈希空间上哥cache点的副本,每一个cache关联着几个环形上的虚节点,当我们添加一个节点时,这意味着我们实际上在环形空间上添加了几个这种虚节点,相同删除某一cache时。我们也将移除环形空间上
全部和它相关的虚节点。

继续考虑上面的样例,如今系统中有cachA和cacheC,引入虚节点。并如果各存在2份,于是在环形空间上。一起有4个虚节点。cacheA1和cacheA2代表cacheA。还有cacheC1和cacheC2代表C。例如以下图:于是,如今从object到虚节点的映射为:
     object1——>cacheA2;
     object2——>cacheA1;
     object3——>cacheC1;
     object4——>cacheC2
这样分配就会显得相对均匀。例如以下图:


     

九、一致性哈希算法的应用

  最后来个实际应用的样例。

问题描写叙述: 比如手机朋友网有n个server,为了方便用户的訪问会在server上缓存数据,因此用户每次訪问的时候最好能保持同一台server。

已有的做法是依据ServerIPIndex[QQNUM%n]得到请求的server,这样的方法非常方便将用户分到不同的server上去。可是假设一台server死掉了,那么n就变为了n-1,那么ServerIPIndex[QQNUM%n]与ServerIPIndex[QQNUM%(n-1)]基本上都不一样了,所以大多数用户的请求都会转到其它server,这样会发生大量訪问错误。


问: 怎样改进或者换一种方法,使得:
(1)一台server死掉后。不会造成大面积的訪问错误,
(2)原有的訪问基本还是停留在同一台server上。
(3)尽量考虑负载均衡。


显然,传统的办法题目已经给出,即用模余方法:做法非常easy。但存在非常多问题不满足需求。于是我们考虑一致性哈希算法。正如前面所述。


其他应用场景:
    在做server负载均衡时候可供选择的负载均衡的算法有非常多,包含:  轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。当中哈希算法是最为经常使用的算法.
    最典型的应用场景就是: 有N台server提供缓存服务,须要对server进行负载均衡。将请求平均分发到每台server上,每台机器负责1/N的服务。


    经常使用的算法是对hash结果取余数 (hash() mod N):对机器编号从0到N-1,依照自己定义的hash()算法,对每一个请求的hash()值按N取模,得到余数i。然后将请求分发到编号为i的机器。

但这种算法方法存在致命问题。假设某一台机器宕机,那么应该落在该机器的请求就无法得到正确的处理,这时须要将当掉的server从算法从去除,此时候会有(N-1)/N的server的缓存数据须要又一次进行计算。假设新增一台机器,会有N /(N+1)的server的缓存数据须要进行又一次计算。对于系统而言,这一般是不可接受的颠簸(由于这意味着大量缓存的失效或者数据须要转移)。那么,怎样设计一个负载均衡策略,使得受到影响的请求尽可能的少呢?
    在Memcached、Key-Value Store、Bittorrent DHT、LVS中都採用了Consistent Hashing算法,能够说Consistent Hashing 是分布式系统负载均衡的首选算法。




版权声明:本文博客原创文章,博客,未经同意,不得转载。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值