一致性hash java实现

前言

之前讲了 一致性hash算法的原理，现在撸代码。

1. 环的数据结构，可能首先想到的是常用的List。一致性hash需要找比当前元素大的节点，那么list要么排好序然后比较找到对应的节点，要么是不排序直接遍历算差值。显然在这种查找比较频繁的场景树结构更适合，所以我们用有序的树结构TreeMap。
2. 节点的hash冲突时我们再取一次hash值

/**一致性hash
 * Created by szk on 2018/9/10.
 */
public class ConsistentHashWithVirtualNode {

    /**
     * 待添加入Hash环的服务器列表
     */
    private static String[] SERVERS = {"192.168.1.2:6379", "192.168.1.3:6379", "192.168.1.4:6379"};

    /**
     * key表示服务器的hash值，value表示虚拟节点的名称
     */
    private static SortedMap<Integer, String> HASH_CIRCLE = new TreeMap<Integer, String>();
    /**
     * 用于结果统计
     */
    private static Map<String,Integer> result = new HashMap<String,Integer>();
    /**
     * 每个真实节点对应虚拟节点数
     */
    private static Integer VIRTUAL_NODES_NUM = 150;

    /**
     * 使用FNV1_32_HASH算法计算服务器的Hash值
     */
    private static int getHash(String str) {
        final int p = 16777619;
        int hash = (int) 2166136261L;
        for (int i = 0; i < str.length(); i++)
            hash = (hash ^ str.charAt(i)) * p;
        hash += hash << 13;
        hash ^= hash >> 7;
        hash += hash << 3;
        hash ^= hash >> 17;
        hash += hash << 5;

        // 如果值为负数则取其绝对值
        if (hash < 0)
            hash = Math.abs(hash);
        return hash;
    }

    static {
        for (int i = 0; i < SERVERS.length; i++)
        {
            for (Integer j = 0; j < VIRTUAL_NODES_NUM; j++) {
                setServer(SERVERS[i]+"vn"+j);
            }
        }
    }

    private static void setServer(String ip){
        setServer(ip,null);
    }


    private static void setServer(String ip, Integer hash){
        hash = hash != null ?getHash(hash.toString()) : getHash(ip);
        if(StringUtils.isBlank(HASH_CIRCLE.get(hash))){
            HASH_CIRCLE.put(hash, ip);
            System.out.println("[" + ip + "]加入sortedMap中, 其Hash值为" + hash);
        }else {
            //解决hash碰撞
            setServer(ip,hash);
        }
    }


    public static void main(String[] args) {
        for (int i = 0; i < 50; i++) {
            long nodes = RandomUtils.nextLong();
            String server = getServer(nodes);
            String realServer = server.split("vn")[0];
            System.out.println("[" + nodes + "]的hash值为"+ getHash(""+nodes) + ", 被路由到虚拟结点[" + server+ "], 真实结点[" + realServer + "]");
            result.put(realServer,(result.get(realServer)==null?0:result.get(realServer))+1);
        }
        result.forEach((k,v)->{
            System.out.println("结点["+k+"]上有"+v);
        });
    }

    public static String getServer(Object node) {
        String ip = HASH_CIRCLE.get(HASH_CIRCLE.firstKey());
        // 得到带路由的结点的Hash值
        int hash = getHash(node.toString());
        // 得到大于该Hash值的所有Map
        SortedMap<Integer, String> subMap = HASH_CIRCLE.tailMap(hash);

        if(!subMap.isEmpty()){
            // 第一个Key就是顺时针过去离node最近的那个结点
            Integer i = subMap.firstKey();
            ip = subMap.get(i);
        }
        // 返回对应的服务器名称
        return ip;
    }
}

150个虚拟节点，50个元素去匹配，结果如下

[4506423623011963877]的hash值为2076651453, 被路由到虚拟结点[192.168.1.2:6379vn31], 真实结点[192.168.1.2:6379]
[5570050191736927528]的hash值为852645907, 被路由到虚拟结点[192.168.1.3:6379vn3], 真实结点[192.168.1.3:6379]
[8129699418679179907]的hash值为487796751, 被路由到虚拟结点[192.168.1.2:6379vn40], 真实结点[192.168.1.2:6379]
[477939724802787766]的hash值为1916940123, 被路由到虚拟结点[192.168.1.2:6379vn139], 真实结点[192.168.1.2:6379]
[2237405063640190973]的hash值为1033214343, 被路由到虚拟结点[192.168.1.2:6379vn65], 真实结点[192.168.1.2:6379]
[3378009287555310246]的hash值为1664158122, 被路由到虚拟结点[192.168.1.3:6379vn123], 真实结点[192.168.1.3:6379]
[8357430545483250147]的hash值为1498249592, 被路由到虚拟结点[192.168.1.2:6379vn66], 真实结点[192.168.1.2:6379]
[6575662240925929638]的hash值为299745323, 被路由到虚拟结点[192.168.1.2:6379vn147], 真实结点[192.168.1.2:6379]
[5834994408022173056]的hash值为1060475722, 被路由到虚拟结点[192.168.1.4:6379vn118], 真实结点[192.168.1.4:6379]
[1553332217396956129]的hash值为401533392, 被路由到虚拟结点[192.168.1.3:6379vn122], 真实结点[192.168.1.3:6379]
[7171179586727756331]的hash值为1578420313, 被路由到虚拟结点[192.168.1.2:6379vn81], 真实结点[192.168.1.2:6379]
[72466124520548464]的hash值为1891754379, 被路由到虚拟结点[192.168.1.4:6379vn10], 真实结点[192.168.1.4:6379]
[4099801649503227100]的hash值为618254540, 被路由到虚拟结点[192.168.1.2:6379vn61], 真实结点[192.168.1.2:6379]
[7654612135449452049]的hash值为1208151474, 被路由到虚拟结点[192.168.1.2:6379vn63], 真实结点[192.168.1.2:6379]
结点[192.168.1.2:6379]上有18
结点[192.168.1.3:6379]上有15
结点[192.168.1.4:6379]上有17

虚拟节点越少真实节点的数据越不平均，当有3个节点时结果如下

[6094804543108026584]的hash值为1366915723, 被路由到虚拟结点[192.168.1.4:6379vn1], 真实结点[192.168.1.4:6379]
[9205709025822673541]的hash值为411619076, 被路由到虚拟结点[192.168.1.3:6379vn0], 真实结点[192.168.1.3:6379]
[1181294636832362331]的hash值为872509053, 被路由到虚拟结点[192.168.1.2:6379vn1], 真实结点[192.168.1.2:6379]
[7030493889213866656]的hash值为784132161, 被路由到虚拟结点[192.168.1.3:6379vn0], 真实结点[192.168.1.3:6379]
结点[192.168.1.2:6379]上有12
结点[192.168.1.3:6379]上有29
结点[192.168.1.4:6379]上有9