哈希一致性详解

• 一致性哈希是什么，使用场景，解决了什么问题？

  • 如何分配请求

    • 大多数网站背后肯定不是只有一台服务器提供服务，因为单机的并发量和数据量都是有限的，所以都会用多台服务器构成集群来对外提供服务。

    • 现在有那么多个节点（后面统称服务器为节点，因为少一个字），要如何分配客户端的请求呢？

      • 「负载均衡问题」解决方法

        • 引入一个中间的负载均衡层，让它将外界的请求「轮流」的转发给内部的集群。

        • 每个节点的硬件配置有所区别，我们可以引入权重值，将硬件配置更好的节点的权重值设高，然后根据各个节点的权重值，按照一定比重分配在不同的节点上，让硬件配置更好的节点承担更多的请求，这种算法叫做加权轮询。

          • 使用场景是建立在每个节点存储的数据都是相同的前提。所以，每次读数据的请求，访问任意一个节点都能得到结果。

          • 加权轮询算法是无法应对「分布式系统（数据分片的系统）」的，因为分布式系统中，每个节点存储的数据是不同的。

  • 使用哈希算法有什么问题

    • 哈希算法。因为对同一个关键字进行哈希计算，每次计算都是相同的值，这样就可以将某个 key 确定到一个节点了，可以满足分布式系统的负载均衡需求。

    • 哈希算法最简单的做法就是进行取模运算

    • 很致命的问题，如果节点数量发生了变化，也就是在对系统做扩容或者缩容时，必须迁移改变了映射关系的数据

    • 假设总数据条数为 M，哈希算法在面对节点数量变化时，最坏情况下所有数据都需要迁移，所以它的数据迁移规模是 O(M)，这样数据的迁移成本太高了。

  • 使用一致性哈希算法有什么问题

    • 一致哈希算法也用了取模运算，但与哈希算法不同的是，哈希算法是对节点的数量进行取模运算，而一致哈希算法是对 2^32 进行取模运算，是一个固定的值。

    • 把一致哈希算法是对 2^32 进行取模运算的结果值组织成一个圆环

    • 一致性哈希要进行两步哈希：

      • 第一步：对存储节点进行哈希计算，也就是对存储节点做哈希映射，比如根据节点的 IP 地址进行哈希；

      • 第二步：当对数据进行存储或访问时，对数据进行哈希映射；

    • 一致性哈希是指将「存储节点」和「数据」都映射到一个首尾相连的哈希环上。

    • 对「数据」进行哈希映射得到一个结果要怎么找到存储该数据的节点呢？

      • 答案是，映射的结果值往顺时针的方向的找到第一个节点，就是存储该数据的节点。

      • 对要查询的 key-01 进行哈希计算，确定此 key-01 映射在哈希环的位置，然后从这个位置往顺时针的方向找到第一个节点，就是存储该 key-01 数据的节点。

      • 当需要对指定 key 的值进行读写的时候，要通过下面 2 步进行寻址：

        • 对 key 进行哈希计算，确定此 key 在环上的位置；

        • 从这个位置沿着顺时针方向走，遇到的第一节点就是存储 key 的节点

    • 在一致哈希算法中，如果增加或者移除一个节点，仅影响该节点在哈希环上顺时针相邻的后继节点，其它数据也不会受到影响。

    • 一致性哈希算法并不保证节点能够在哈希环上分布均匀，这样就会带来一个问题，会有大量的请求集中在一个节点上。

    • 在这种节点分布不均匀的情况下，进行容灾与扩容时，哈希环上的相邻节点容易受到过大影响，容易发生雪崩式的连锁反应。

    • 一致性哈希算法虽然减少了数据迁移量，但是存在节点分布不均匀的问题。

  • 如何通过虚拟节点提高均衡度

    • 加入虚拟节点，也就是对一个真实节点做多个副本。

    • 不再将真实节点映射到哈希环上，而是将虚拟节点映射到哈希环上，并将虚拟节点映射到实际节点，所以这里有「两层」映射关系。

    • 虚拟节点除了会提高节点的均衡度，还会提高系统的稳定性。当节点变化时，会有不同的节点共同分担系统的变化，因此稳定性更高。

    • 带虚拟节点的一致性哈希方法不仅适合硬件配置不同的节点的场景，而且适合节点规模会发生变化的场景