一致性hash算法与手写简易版一致性hash算法

一致性hash算法：

一致性Hash算法是在Hash算法的基础上实现的，用于解决互联网中热点Hotspot问题，将来自网络上的流量动态的划分到不同的服务器处理。使用一致性Hash算法将流量均匀分发到不同服务器的做法是：

1、求出不同服务器的哈希值，然后映射到一个范围为0 — 2^32-1的数值空间的圆环中，即将首(0)和尾(2^32-1)相接的圆环，如下图。

数据倾斜问题：

在服务节点太少时，容易因为节点分部不均匀而造成数据倾斜（被缓存的对象大部分集中缓存在某一台服务器上）

 

为了解决数据倾斜问题，引入了虚拟节点机制

即对每一个服务节点计算多个哈希，每个计算结果位置都放置一个此服务节点，称为虚拟节点。具体做法可以在服务器IP或主机名的后面增加编号来实现。

 

下面是手写hash算法的实现

不带虚拟节点的

//1.初始化：把服务器节点ip的哈希值对应到哈希环上
        //定义服务器ip
        String[] tomcatServers = new String[]{"123.111.0.0","123.101.3.1","111.20.35.2","123.98.26.3"};

        SortedMap<Integer,String> hashServerMap = new TreeMap<Integer, String>();
        for (String tomcatServer : tomcatServers) {
            //求出每个IP的hash值，对应到hash环上，存储hash值与IP的对应关系
            int serverHash = Math.abs(tomcatServer.hashCode());
            //存储hash值与IP的对应关系
            hashServerMap.put(serverHash,tomcatServer);
        }
        //2.针对客户端ip求出哈希值
        //定义客户端IP
        String[] clients = new String[]{"10.78.12.3","113.25.63.1","126.12.3.8"};
        for (String client : clients)
        {
            int clientHash = Math.abs(client.hashCode());
            //3.针对客户端，找到能够处理当前客户端请求的服务器（哈希环上顺时针最近）
            //根据客户端IP的hash值去找出哪个服务器节点能够处理
            SortedMap<Integer, String> integerStringSortedMap = hashServerMap.tailMap(clientHash);
            if (integerStringSortedMap.isEmpty()){
                //取hash环上顺时针的第一台服务器
                Integer firstKey = hashServerMap.firstKey();
                System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey));
            }
            else {
                Integer firstKey = integerStringSortedMap.firstKey();
                System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey));
            }
        }

带虚拟节点

        //1.初始化：把服务器节点ip的哈希值对应到哈希环上
        //定义服务器ip
        String[] tomcatServers = new String[]{"123.111.0.0","123.101.3.1","111.20.35.2","123.98.26.3"};

        SortedMap<Integer,String> hashServerMap = new TreeMap<Integer, String>();
        
        //定义针对每个真实服务器虚拟出来几个节点
        int virtaulCount = 3;
        
        for (String tomcatServer : tomcatServers) {
            //求出每个IP的hash值，对应到hash环上，存储hash值与IP的对应关系
            int serverHash = Math.abs(tomcatServer.hashCode());
            //存储hash值与IP的对应关系
            hashServerMap.put(serverHash,tomcatServer);
            for (int i = 0; i < virtaulCount; i++) {
                int virtualHash = Math.abs((tomcatServer+"#"+ i).hashCode());
                //存储hash值与IP的对应关系
                hashServerMap.put(virtualHash,"---由虚拟节点"+i+"映射过来的请求"+tomcatServer);
            }
        }
        //2.针对客户端ip求出哈希值
        //定义客户端IP
        String[] clients = new String[]{"10.78.12.3","113.25.63.1","126.12.3.8"};
        for (String client : clients)
        {
            int clientHash = Math.abs(client.hashCode());
            //3.针对客户端，找到能够处理当前客户端请求的服务器（哈希环上顺时针最近）
            //根据客户端IP的hash值去找出哪个服务器节点能够处理
            SortedMap<Integer, String> integerStringSortedMap = hashServerMap.tailMap(clientHash);
            if (integerStringSortedMap.isEmpty()){
                //取hash环上顺时针的第一台服务器
                Integer firstKey = hashServerMap.firstKey();
                System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey));
            }
            else {
                Integer firstKey = integerStringSortedMap.firstKey();
                System.out.println("======>>客户端："+client+ "被路由到服务器："+hashServerMap.get(firstKey));
            }
        }