⼀致性Hash算法

最新推荐文章于 2024-06-29 16:51:42 发布
最新推荐文章于 2024-06-29 16:51:42 发布
阅读量215 收藏
点赞数
分类专栏： Java 文章标签： java 分布式 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mr4569870/article/details/121599329
版权

Hash算法，⽐如说在安全加密领域MD5、SHA等加密算法，在数据存储和查找⽅⾯有Hash表等, 以上都应⽤到了Hash算法。

为什么需要使⽤Hash?

  • Hash算法较多的应⽤在数据存储和查找领域，最经典的就是Hash表，它的查询效率⾮常之⾼，其中的哈希算法如果设计的⽐较ok的话，那么Hash表的数据查询时间复杂度可以接近于O(1)
  • Hash表的查询效率⾼不⾼取决于Hash算法，hash算法能够让数据平均分布，既能够节省空间⼜能提⾼查询效率。
  • 直接寻址法也是⼀种构造Hash的⽅式，只不过更简单，表达式：H(key)=key
    ⽐如H(key)=a*key + b(a,b是常量)
  • hashcode其实也是通过⼀个Hash算法得来的

Hash算法应⽤场景

Hash算法在很多分布式集群产品中都有应⽤，⽐如分布式集群架构Redis、Hadoop、ElasticSearch，Mysql分库分表，Nginx负载均衡等

  • 请求的负载均衡（⽐如nginx的ip_hash策略）
  1. Nginx的IP_hash策略可以在客户端ip不变的情况下，将其发出的请求始终路由到同⼀个⽬标服务器上，实现会话粘滞，避免处理session共享问题
  2. 如果没有IP_hash策略，那么如何实现会话粘滞？
  3. 可以维护⼀张映射表，存储客户端IP或者sessionid与具体⽬标服务器的映射关系<ip,tomcat1>
    缺点
    1）在客户端很多的情况下，映射表⾮常⼤，浪费内存空间
    2）客户端上下线，⽬标服务器上下线，都会导致重新维护映射表，映射表维护成本很⼤

如果使⽤哈希算法，事情就简单很多，我们可以对ip地址或者sessionid进⾏计算哈希值，哈希值与服务
器数量进⾏取模运算，得到的值就是当前请求应该被路由到的服务器编号，如此，同⼀个客户端ip发送
过来的请求就可以路由到同⼀个⽬标服务器，实现会话粘滞。

  • 分布式存储
    以分布式内存数据库Redis为例,集群中有redis1，redis2，redis3 三台Redis服务器那么,在进⾏数据存储时,<key1,value1>数据存储到哪个服务器当中呢？针对key进⾏hash处理hash(key1)%3=index, 使⽤余数index锁定存储的具体服务器节点

普通Hash算法存在的问题

普通Hash算法存在⼀个问题，以ip_hash为例，假定下载⽤户ip固定没有发⽣改变，现在tomcat3出现了问题，down机了，服务器数量由3个变为了2个，之前所有的求模都需要重新计算。
在这里插入图片描述
如果在真实⽣产情况下，后台服务器很多台，客户端也有很多，那么影响是很⼤的，缩容和扩容都会存在这样的问题，⼤量⽤户的请求会被路由到其他的⽬标服务器处理，⽤户在原来服务器中的会话都会丢失。

⼀致性Hash算法

思路
⾸先有⼀条直线，直线开头和结尾分别定为为1和2的32次⽅减1，这相当于⼀个地址，对于这样⼀条线，弯过来构成⼀个圆环形成闭环，这样的⼀个圆环称为hash环。我们把服务器的ip或者主机名求hash值然后对应到hash环上，那么针对客户端⽤户，也根据它的ip进⾏hash求值，对应到环上某个位置，然后如何确定⼀个客户端路由到哪个服务器处理呢？按照顺时针⽅向找最近的服务器节点
在这里插入图片描述
假如将服务器3下线，服务器3下线后，原来路由到3的客户端重新路由到服务器4，对于其他客户端没有影响只是这⼀⼩部分受影响（请求的迁移达到了最⼩，这样的算法对分布式集群来说⾮常合适的，避免了⼤量请求迁移 ）
在这里插入图片描述
增加服务器5之后，原来路由到3的部分客户端路由到新增服务器5上，对于其他客户端没有影响只是这⼀⼩部分受影响（请求的迁移达到了最⼩，这样的算法对分布式集群来说⾮常合适的，避免了⼤量请求迁移 ），如下图
在这里插入图片描述
1）每⼀台服务器负责⼀段，⼀致性哈希算法对于节点的增减都只需重定位环空间中的⼀⼩
部分数据，具有较好的容错性和可扩展性。
但是，⼀致性哈希算法在服务节点太少时，容易因为节点分部不均匀⽽造成数据倾斜问题。例如系统中只有两台服务器，其环分布如下，节点2只能负责⾮常⼩的⼀段，⼤量的客户端请求落在了节点1上，这就是数据（请求）倾斜问题
2）为了解决这种数据倾斜问题，⼀致性哈希算法引⼊了虚拟节点机制，即对每⼀个服务节点计算多个
哈希，每个计算结果位置都放置⼀个此服务节点，称为虚拟节点。

具体做法
可以在服务器ip或主机名的后⾯增加编号来实现。⽐如，可以为每台服务器计算三个虚拟节点，于是可以分别计算 “节点1的ip#1”、“节点1的ip#2”、“节点1的ip#3”、“节点2的ip#1”、“节点2的ip#2”、“节点2的ip#3”的哈希值，于是形成六个虚拟节点，当客户端被路由到虚拟节点的时候其实是被路由到该虚拟节点所对应的真实节点
在这里插入图片描述

⼿写实现⼀致性Hash算法

  • 普通Hash算法实现
/**
 * 普通Hash算法实现
 */
public class GeneralHash {
    public static void main(String[] args) {
        // 定义客户端IP
        String[] clients = new String[]
                {"10.78.12.3", "113.25.63.1", "126.12.3.8"};
        // 定义服务器数量
        int serverCount = 5;// (编号对应0，1，2)
        // hash(ip)%node_counts=index
        //根据index锁定应该路由到的tomcat服务器
        for (String client : clients) {
            int hash = Math.abs(client.hashCode());
            int index = hash % serverCount;
            System.out.println("客户端：" + client + " 被路由到服务器编号为：" + index);
        }
    }
}
  • ⼀致性Hash算法实现（不含虚拟节点）
import java.util.SortedMap;
import java.util.TreeMap;

public class ConsistentHashNoVirtual {
    public static void main(String[] args) {
        //step1 初始化：把服务器节点IP的哈希值对应到哈希环上
        // 定义服务器ip
        String[] tomcatServers = new String[]{"123.111.0.0", "123.101.3.1", "111.20.35.2", "123.98.26.3"};
        SortedMap<Integer, String> hashServerMap = new TreeMap<>();
        for (String tomcatServer : tomcatServers) {
            // 求出每⼀个ip的hash值，对应到hash环上，存储hash值与ip的对应关系
            int serverHash = Math.abs(tomcatServer.hashCode());
            // 存储hash值与ip的对应关系
            hashServerMap.put(serverHash, tomcatServer);
        }
        //step2 针对客户端IP求出hash值
        // 定义客户端IP
        String[] clients = new String[]{"10.78.12.3", "113.25.63.1", "126.12.3.8"};
        for (String client : clients) {
            int clientHash = Math.abs(client.hashCode());
            //step3 针对客户端,找到能够处理当前客户端请求的服务器（哈希环上顺时针最近）
            // 根据客户端ip的哈希值去找出哪⼀个服务器节点能够处理（）
            SortedMap<Integer, String> integerStringSortedMap = hashServerMap.tailMap(clientHash);
            if (integerStringSortedMap.isEmpty()) {
                // 取哈希环上的顺时针第⼀台服务器
                Integer firstKey = hashServerMap.firstKey();
                System.out.println("==========>>>>客户端：" + client + " 被路由到服务器：" + hashServerMap.get(firstKey));
            } else {
                Integer firstKey = integerStringSortedMap.firstKey();
                System.out.println("==========>>>>客户端：" + client + " 被 路由到服务器：" + hashServerMap.get(firstKey));
            }
        }
    }
}
  • ⼀致性Hash算法实现（含虚拟节点）
import java.util.SortedMap;
import java.util.TreeMap;

public class ConsistentHashWithVirtual {
    public static void main(String[] args) {
        //step1 初始化：把服务器节点IP的哈希值对应到哈希环上
        // 定义服务器ip
        String[] tomcatServers = new String[]{"123.111.0.0", "123.101.3.1", "111.20.35.2", "123.98.26.3"};
        SortedMap<Integer, String> hashServerMap = new TreeMap<>();
        // 定义针对每个真实服务器虚拟出来⼏个节点
        int virtaulCount = 3;
        for (String tomcatServer : tomcatServers) {
            // 求出每⼀个ip的hash值，对应到hash环上，存储hash值与ip的对应关系
            int serverHash = Math.abs(tomcatServer.hashCode());
            // 存储hash值与ip的对应关系
            hashServerMap.put(serverHash, tomcatServer);
            // 处理虚拟节点
            for (int i = 0; i < virtaulCount; i++) {
                int virtualHash = Math.abs((tomcatServer + "#" + i).hashCode());
                hashServerMap.put(virtualHash, "----由虚拟节点" + i + "映射过 来的请求："+ tomcatServer);
            }
        }
        //step2 针对客户端IP求出hash值
        // 定义客户端IP
        String[] clients = new String[]{"10.78.12.3", "113.25.63.1", "126.12.3.8"};
        for (String client : clients) {
            int clientHash = Math.abs(client.hashCode());
            //step3 针对客户端,找到能够处理当前客户端请求的服务器（哈希环上顺时针最近）
            // 根据客户端ip的哈希值去找出哪⼀个服务器节点能够处理（）
            SortedMap<Integer, String> integerStringSortedMap =
                    hashServerMap.tailMap(clientHash);
            if (integerStringSortedMap.isEmpty()) {
                // 取哈希环上的顺时针第⼀台服务器
                Integer firstKey = hashServerMap.firstKey();
                System.out.println("==========>>>>客户端：" + client + " 被 路由到服务器：" + hashServerMap.get(firstKey));
            } else {
                Integer firstKey = integerStringSortedMap.firstKey();
                System.out.println("==========>>>>客户端：" + client + " 被 路由到服务器：" + hashServerMap.get(firstKey));
            }
        }
    }
}

Nginx 配置⼀致性Hash负载均衡策略

ngx_http_upstream_consistent_hash 模块是⼀个负载均衡器，使⽤⼀个内部⼀致性hash算法来选择合适的后端节点。
该模块可以根据配置参数采取不同的⽅式将请求均匀映射到后端机器，

  • consistent_hash $remote_addr：可以根据客户端ip映射
  • consistent_hash $request_uri：根据客户端请求的uri映射
  • consistent_hash $args：根据客户端携带的参数进⾏映

ngx_http_upstream_consistent_hash 模块是⼀个第三⽅模块，需要我们下载安装后使⽤
1）github下载nginx⼀致性hash负载均衡模块 https://github.com/replay/ngx_http_consistent_hash
在这里插入图片描述
2）将下载的压缩包上传到nginx服务器，并解压
3）我们已经编译安装过nginx，此时进⼊当时nginx的源码⽬录，执⾏如下命令
./configure —add-module=/root/ngx_http_consistent_hash-master
make
make install

注意：/root/ngx_http_consistent_hash-master为你自己的目录
4）Nginx就可以使⽤啦，在nginx.conf⽂件中配置
在这里插入图片描述

青铜攻城狮
关注
专栏目录
Unity 面试篇|（六）数据结构和算法篇 【全面总结 | 持续更新】
游戏开发小Y的博客
01-20 5万+
先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样遍历完后，堆中的10000个数就是所需的最大的10000个。桶排序是计数排序的升级版。它的工作原理：首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。这样处理就可以分别在每个文件的10^6个数据中找出最大的10000个数，合并到一起在再找出1000*10000中的最终的结果。
一致性Hash算法与虚拟节点
记录与分享
06-05 1764
图文并茂，一篇文章吃透《一致性 Hash 算法与虚拟节点》。
一致性Hash问题和解决方案
FDXCG_X的博客
03-16 374
一.一致性Hash算法 Hash算法，⽐如说在安全加密领域MD5、SHA等加密算法，在数据存储和查找⽅⾯有Hash表等, 以上 都应⽤到了Hash算法 1.为什么需要使⽤Hash? 较多运用在存储和查找领域，最经典的就是Hash表，查询效率⾮常之⾼，哈希算法如果设计的⽐较ok的话，那么Hash表的数据查询时间复杂度可以接近于O(1)。 **Hash表的查询效率⾼不⾼取决于Hash算** 2.Hash算法应⽤场景 Hash算法在分布式集群架构中的应用场景。分布式集群架构Redis、Hadoop、El
一致性哈希算法——虚拟节点
weixin_34309543的博客
03-12 169
2019独角兽企业重金招聘Python工程师标准>>> ...
一致性hash算法释义
weixin_33964094的博客
12-10 804
一致性Hash算法背景 　　一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 　　但现在一致性hash算法在分布式系统中也得到了广泛应用，研究过memcached缓存数据库的人...
一致性哈希
freeRoad
10-10 237
写得很好到一篇文章，学习下。 原文地址：https://www.jianshu.com/p/735a3d4789fc 前言 伴随着系统流量的增大,出现了应用集群。在 Redis 中为了保证 Redis 的高可用也为 Redis 搭建了集群对数据进行分槽存放。在 Mysql数据库要存储的量达到一个很高的地步的时候,我们会对数据库进行分库分表操作。OK，到这儿先假设我们不知道什么是集群、什么是分库分表,我们先来看一个数据库水平切分演变的例子: 假设我们的系统中有一张会员表 customer_in.
一致性HASH算法笔记
ksisn的博客
02-09 634
title: 一致性HASH算法笔记 comments: true toc: true categories: 分布式方案 tags: 一致性HASH HASH算法 date: 2020-12-29 02:09:47 ​ 散列算法（Hash Algorithm），又称哈希算法，杂凑算法，是一种从任意文件中创造小的数字「指纹」的方法。也可以理解为空间映射函数，是从一个非常大的取值空间映射到一个非常小的取值空间，由于不是一对一的映射，Hash 函数转换后不可逆，意思是不可能通过逆操作和 Hash 值还原.
SpringBoot整合SSS框架+sessionId已一致性
weixin_41359873的博客
10-13 597
分布式主要内容 第⼀部分：⼀致性Hash算法 第⼆部分：集群时钟同步问题 第三部分：分布式ID解决⽅案 数据表A（ID），A的数据量很⼤的情况下，我们会进⾏分表操作，A（ID）表拆分成了A1表 （ID）+A2表(ID)，需要⼀种在分布式集群架构中能够产⽣全局唯⼀ID的⽅案 第四部分：分布式调度问题（定时任务的分布式） 第五部分：Session共享（⼀致性）问题 浏览器—>Nginx—>Tomcat1（Session中记录⽤户信息） —>Tomcat2 —>Tomcat3 分布式⼀定是
趣谈哈希表优化：从规避 Hash 冲突到利⽤ Hash 冲突
lt_xiaodou的博客
09-05 351
导读： 本文从哈希表传统设计与解决思路入手，深入浅出地引出新的设计思路：从尽量规避哈希冲突，转向了利⽤合适的哈希冲突概率来优化计算和存储效率。新的哈希表设计表明 SIMD 指令的并⾏化处理能⼒的有效应⽤能⼤幅度提升哈希表对哈希冲突的容忍能⼒，进⽽提升查询的速度，并且能帮助哈希表进⾏极致的存储空间压缩。哈希表是⼀种查找性能⾮常优异的数据结构，它在计算机系统中存在着⼴泛的应⽤。
密钥协商算法的演变 —— RSA算法 - DH算法 - DHE算法 - ECDHE算法
m0_75280563的博客
04-22 267
分享一套阿里大牛整理的前端资料给大家，点击前端校招面试题精编解析大全即可免费下载由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：前端）[外链图片转存中…(img-1NyYhDtX-1713779924608)]分享一套阿里大牛整理的前端资料给大家，点击前端校招面试题精编解析大全即可免费下载。
一致性Hash算法
lmm2003的专栏
12-21 742
http://blog.csdn.net/sparkliang/article/details/5279393 3 consistent hashing 算法的原理 consistent hashing 是一种 hash 算法，简单的说，在移除 / 添加一个 cache 时，它能够尽可能小的改变已存在 key 映射关系，尽可能的满足单调性的要求。 下面就来按照 5 个步骤简单讲讲 con
一致性hash和虚拟节点
chenxijie1985的专栏
08-10 486
转自：https://www.cnblogs.com/yixiwenwen/p/3580646.html consistent hashing算法的原理 consistent hashing是一种hash算法，简单的说，在移除/添加一个cache时，它能够尽可能小的改变已存在key映射关系，尽可能的满足单调性的要求。 下面就来按照5个步骤简单讲讲consistent hashing算法的基本原理。 1环形hash空间 考虑通常的hash算法都是将value映...
一致性hash算法虚拟节点_一致性哈希虚拟节点
weixin_35693055的博客
01-17 780
采用固定哈希算法平衡负载在大规模的缓存应用中，应运而生了分布式缓存系统。key-value如何均匀的分散到集群中？最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N，那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。但是在一些高速发展的web系统中，这样的解决方案仍有些缺陷。随着系统访问压力的增长，缓存系统不得不通过增加机器节点的方式提高集群的相应速...
一致性哈希算法
沐雨金鳞
09-13 149
在了解一致性哈希算法之前，最好先了解一下缓存中的一个应用场景，了解了这个应用场景之后，再来理解一致性哈希算法，就容易多了，也更能体现出一致性哈希算法的优点，那么，我们先来描述一下这个经典的分布式缓存的应用场景。 场景描述 假设，我们有三台缓存服务器，用于缓存图片，我们为这三台缓存服务器编号为0号、1号、2号，现在，有3万张图片需要缓存，我们希望这些图片被均匀的缓存到这3台服务器上，以便它们能够分摊缓存的压力。也就是说，我们希望每台服务器能够缓存1万张左右的图片，那么，我们应该怎样做呢？如果我们没有任何规
深入理解一致性Hash和虚拟节点
最新发布
辣香牛肉面的博客
06-29 653
通过LA可以定位数据A在圆环上的位置，然后顺时针方便找距离数据A最近的服务器，发现是服务器A，那么我们将数据A存放到服务器A上。此时数据A定位是没有问题，数据C从原先的服务器C上定位到服务器A上，数据C是无法获取到的。将数据的key计算一个hash值，然后将这个hash值和服务器的台数取模，取模之后的结果就决定当前的数据存放在哪台服务器上。通过轮询缓存服务器的方式读取缓存的热点数据，此时效率就非常的低了，接口的响应时间也会变长，从而导致用户的体验非常差。通过这个X值可以定位服务器在圆环上的位置。
一致性hash算法虚拟节点_一致性hash和虚拟节点
weixin_35375774的博客
01-17 1512
consistent hashing算法的原理consistent hashing是一种hash算法，简单的说，在移除/添加一个cache时，它能够尽可能小的改变已存在key映射关系，尽可能的满足单调性的要求。下面就来按照5个步骤简单讲讲consistent hashing算法的基本原理。1环形hash空间考虑通常的hash算法都是将value映射到一个32...
一致性hash算法虚拟节点_一致性hash算法
weixin_39944595的博客
12-21 262
Hash 算法也叫做散列算法，他可以让任意长度的数据M映射成为长度固定的值H。Hash算法的作用Hash算法的第一个作用就是数据的快速存储与查找。写过程序的人都知道，基本上主流的编程语言里面都有个数据结构叫做Map（dictionary或者 hash table）。它是根据key来直接访问结果的数据结构。key的种类多种多样，形式各异，怎么通过key来快速查找结果呢？如果将key通过一定的Hash...
一致性hash算法虚拟节点_一致性 Hash 算法
weixin_39747595的博客
01-17 84
一致性哈希算法在1997年由麻省理工学院提出，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。(来自百度百科)现在一致性哈希算法广泛的运用于分布式系统中，它不仅有良好的平衡性，而且有很好的单调性；这样它让分布式系统能够平摊所有的计算，并且在增加和减少集群中的机器是也不会...
一致性Hash算法在分布式存储中的应用解析
"一致性Hash算法，也称一致性cache算法，是一种在分布式系统中解决缓存映射问题的方法，尤其在面对服务器增减时，能有效减少数据映射的变动。这种算法最早在1997年的论文《Consistent Hashing and Random Trees》中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值