一致性Hash算法

很早的时候就听过这个算法，也搜过相关的博客，但一直没搞懂这个算法是用来干嘛的；现在的公司面试的时候CTO跟我聊了一下hashcode紧接着问我对一致性hash有没有了解，去随手记面试时，面试官也问了一致性hash，面试的时候都没答出来，面完用手机查了一下一致性hash，看到很多人拿那个圈做比喻也一下子没看懂；直到入职后，有天中午跟CTO一起吃饭，又问了他如何去理解一致性hash， 当时CTO解释了一下，说一致性hash其实很简单，但我也只是听得半懂，还是没完全这算法是个什么鬼；但我记下了他当时说的那句话：

学习一个技术，先想是什么场景下会用到这个技术，它究竟解决了什么问题！

OK，我们进入今天的主题~

1 分布式算法

在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法。

典型的应用场景是： 有N台服务器提供缓存服务，需要对服务器进行负载均衡，将请求平均分发到每台服务器上，每台机器负责1/N的服务。常用的算法是对hash结果取余数 ：对机器编号从0到N-1，按照自定义的 hash()算法，对每个请求的hash()值按N取模，得到余数i，然后将请求分发到编号为i的机器。但这样的算法方法存在致命问题，如果某一台机器宕机，那么应该落在该机器的请求就无法得到正确的处理，这时需要将当掉的服务器从算法从去除，此时候会有(N-1)/N的服务器的缓存数据需要重新进行计算;如果新增一台机器，会有N /(N+1)的服务器的缓存数据需要进行重新计算。对于系统而言，这通常是不可接受的颠簸(因为这意味着大量缓存的失效或者数据需要转移)。那么，如何设计一个负载均衡策略，使得受到影响的请求尽可能的少呢?在Memcached、Key-Value Store 、Bittorrent DHT、LVS中都采用了一致性hash算法，可以说一致性hash是分布式系统负载均衡的首选算法。

2 分布式缓存问题

在大型web应用中，缓存是经常要用到的技术。在大规模的缓存应用中，应运而生了分布式缓存系统。分布式缓存系统的基本原理，大家也有所耳闻。key-value如何均匀的分散到集群中？说到此，最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N，那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。的确，这种结构是简单的，也是实用的。但是在一些高速发展的web系统中，这样的解决方案仍有些缺陷。随着系统访问压力的增长，缓存系统不得不通过增加机器节点的方式提高集群的相应速度和数据承载量。增加机器意味着按照hash取模的方式，在增加机器节点的这一时刻，大量的缓存命不中，缓存数据需要重新建立，甚至是进行整体的缓存数据迁移，瞬间会给DB带来极高的系统负载，设置导致DB服务器宕机。 那么就没有办法解决hash取模的方式带来的诟病吗？

假设我们有一个网站，最近发现随着流量增加，服务器压力越来越大，之前直接读写数据库的方式不太给力了，于是我们想引入Memcached作为缓存机制。现在我们一共有三台机器可以作为Memcached服务器，如下图所示。

如何我们采用随机访问的策略，那么会有两个问题，一个问题是同一份数据存在于不同的服务器上，那么久造成了数据的冗余，二是，数据已经被某台服务器缓存了，但是访问的时候却没有命中；所以随机的访问策略非常不好；

那么一般都会用hash算法 ： h = hash(key) % n   n为服务器台数；

这跟hashmap中计算 节点对象落在哪个桶的位置是一个道理，如果你对hashmap实现原理明白，你一定秒懂~

首先这个算法会将key拿去做hash运算，会算出一个正整数，然后这个正整数和 服务器的台数取余，就可以让每次key代表的这个访问请求 每次都落在它之前参与hash运算时得到的那台服务器上 ，然后去访问；

此时hash算法成功解决了使用随机访问策略遇到的那两个问题，在大规模分布式系统中，我们经常讲究高性能，高可用，那么问题就会不断的出现，那么问题又来了；

设有一台服务器宕机了，那么为了填补空缺，要将宕机的服务器从编号列表中移除，后面的服务器按顺序前移一位并将其编号值减一，此时每个key就要按h = Hash(key) % (N-1)重新计算；同样，如果新增了一台服务器，虽然原有服务器编号不用改变，但是要按h = Hash(key) % (N+1)重新计算哈希值。因此系统中一旦有服务器变更，大量的key会被重定位到不同的服务器从而造成大量的缓存不命中。而这种情况在分布式系统中是非常糟糕的。

一致性hash算法，就是用来解决这个大量缓存不命中的问题的~

3 一致性哈希算法

简单来说，一致性哈希将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0 - (2^32)-1（即哈希值是一个32位无符号整形），整个哈希空间环如下：

整个空间按顺时针方向组织。0和(2^32)-1在零点中方向重合。

下一步将各个服务器使用H进行一个哈希，具体可以选择服务器的ip或主机名作为关键字进行哈希，这样每台机器就能确定其在哈希环上的位置，这里假设将上文中三台服务器使用ip地址哈希后在环空间的位置如下：

接下来使用如下算法定位数据访问到相应服务器：将数据key使用相同的函数H计算出哈希值h，通根据h确定此数据在环上的位置，从此位置沿环顺时针“行走”，第一台遇到的服务器就是其应该定位到的服务器。例如我们有A、B、C、D四个数据对象，经过哈希计算后，在环空间上的位置如下：

根据一致性哈希算法，数据A会被定为到Server 1上，D被定为到Server 3上，而B、C分别被定为到Server 2上；

3.2 容错性与可扩展性分析

下面分析一致性哈希算法的容错性和可扩展性。现假设Server 3宕机了：

可以看到此时A、C、B不会受到影响，只有D节点被重定位到Server 2。一般的，在一致性哈希算法中，如果一台服务器不可用，则受影响的数据仅仅是此服务器到其环空间中前一台服务器（即顺着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。

如果是服务器都很紧张需要额外再加台服务器会怎样呢？

此时A、D、C不受影响，只有B需要重定位到新的Server 4。一般的，在一致性哈希算法中，如果增加一台服务器，则受影响的数据仅仅是新服务器到其环空间中前一台服务器（即顺着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。

综上所述，一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据，具有较好的容错性和可扩展性。

总结：

在什么场景下会用到这个技术？

答：在分布式缓存，负载均衡策略中会用到。

解决了什么问题？

答：最大限度地抑制了hash键的重新分布，最大限度地减小服务器增减时的缓存重新分布，提高了用户请求命中缓存（服务器）的命中率，加快了用户的访问速度，减轻了服务器的压力；