一致性hash java_使用guava 实现java的一致性hash

使用guava 实现java的一致性hash

一致性hash算法,顾名思义,尽量让hash结果能一致。可以应用在分布式、集群环境中的请求分发,分布式缓存等场景之中。为了在集群节点的动态调整的时候,不会在rehash的时候导致大量的前后hash运算结果不同问题,这就是要解决的hash一致性问题,而hash一致性算法要解决的就是这种动态调整hash容器大小这后保证尽可能小的影响到hash结果。关于这个问题的一些基本概念可以参考 http://en.wikipedia.org/wiki/Consistent_hashing 上的解释,本文介绍一种源自guava中的实现,看了代码后,整体思路特别简单,和大家分享一下。

通过guava实现consistent hash特别的简单,如下代码就可以了,为了方便测试,我将guava的实现源码一并粘贴如下:final public class Hashing {

public static int consistentHash(long input, int buckets) {

LinearCongruentialGenerator generator =

new LinearCongruentialGenerator(input);

int candidate = 0;

int next;

while (true) {

next = (int) ((candidate + 1) / generator.nextDouble());

if (next >= 0 && next 

candidate = next;

} else {

return candidate;

}

}

}

public static void main(String[] args) {

int bucket = 5;

{

Multimap map = ArrayListMultimap.create();

for (int i = 0; i 

map.put(consistentHash(i, bucket), i);

}

System.out.println(bucket + ":" + map);

}

bucket = 3;

{

Multimap map = ArrayListMultimap.create();

for (int i = 0; i 

map.put(consistentHash(i, bucket), i);

}

System.out.println(bucket + ":" + map);

}

bucket = 4;

{

Multimap map = ArrayListMultimap.create();

for (int i = 0; i 

map.put(consistentHash(i, bucket), i);

}

System.out.println(bucket + ":" + map);

}

}

private static class LinearCongruentialGenerator {

private long state;

public LinearCongruentialGenerator(long seed) {

this.state = seed;

}

public double nextDouble() {

state = 2862933555777941757L * state + 1;

return ((double) ((int) (state >>> 33) + 1)) / (0x1.0p31);

}

}

}

如果上述的解决办法不是很符合你的需求,可以参考java.net上的这篇博文。另外,关于hash 一致性的描述,我觉得csdn上的这篇文章解释的比较不错,有兴趣的话可以去看看。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一致性哈希算法是一种分布式算法,用于将数据分布到多个服务器节点,同时具有较好的负载均衡和容错性。下面是一致性哈希算法的Java实现: ```java import java.util.SortedMap; import java.util.TreeMap; public class ConsistentHashing<T> { private final HashFunction hashFunction; private final int numberOfReplicas; private final SortedMap<Integer, T> circle = new TreeMap<>(); public ConsistentHashing(HashFunction hashFunction, int numberOfReplicas, Iterable<T> nodes) { this.hashFunction = hashFunction; this.numberOfReplicas = numberOfReplicas; for (T node : nodes) { add(node); } } public void add(T node) { for (int i = 0; i < numberOfReplicas; i++) { int hash = hashFunction.hash(node.toString() + i); circle.put(hash, node); } } public void remove(T node) { for (int i = 0; i < numberOfReplicas; i++) { int hash = hashFunction.hash(node.toString() + i); circle.remove(hash); } } public T get(Object key) { if (circle.isEmpty()) { return null; } int hash = hashFunction.hash(key); if (!circle.containsKey(hash)) { SortedMap<Integer, T> tailMap = circle.tailMap(hash); hash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey(); } return circle.get(hash); } } ``` 这里的关键在于实现一个哈希函数HashFunction,可以使用Java中的MessageDigest类实现SHA-1哈希算法。具体实现可以参考以下代码: ```java import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; public class HashFunction { private final MessageDigest digest; public HashFunction() throws NoSuchAlgorithmException { this.digest = MessageDigest.getInstance("SHA-1"); } public int hash(Object key) { digest.reset(); byte[] bytes = digest.digest(key.toString().getBytes()); int result = 0; for (int i = 0; i < 4; i++) { result <<= 8; result |= (bytes[i] & 0xFF); } return result; } } ``` 使用示例: ```java import java.security.NoSuchAlgorithmException; import java.util.Arrays; import java.util.List; public class Main { public static void main(String[] args) throws NoSuchAlgorithmException { HashFunction hashFunction = new HashFunction(); ConsistentHashing<String> consistentHashing = new ConsistentHashing<>(hashFunction, 3, Arrays.asList("server1", "server2", "server3")); System.out.println("Key \"test\" is assigned to server: " + consistentHashing.get("test")); System.out.println("Key \"test2\" is assigned to server: " + consistentHashing.get("test2")); consistentHashing.remove("server1"); System.out.println("After removing server1, key \"test\" is assigned to server: " + consistentHashing.get("test")); } } ``` 这个例子中,我们使用了3个虚拟节点来表示每个实际节点,当有新的节点加入到集群中时,会将其对应的虚拟节点分布到哈希环上。当查询某个键值时,会根据哈希值在哈希环上查找对应的节点。如果某个节点离开了集群,它对应的所有虚拟节点也会被移除。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值