一致性hash作为一个负载均衡算法,可以用在分布式缓存、数据库的分库分表等场景中,还可以应用在负载均衡器中作为作为负载均衡算法。在有多台服务器时,对于某个请求资源通过hash算法,映射到某一个台服务器,当增加或减少一台服务器时,可能会改变这些资源对应的hash值,这样可能导致一部分缓存或数据失效了。一致性hash就是尽可能在将同一个资源请求路由到同一台服务器中。
本篇文章将模拟实现一个分布式缓存系统来探讨在使用了一致性hash以及普通hash在增加、删除节点之后,对数据分布、缓存命中率的影响
节点&集群设计
在一个分布式缓存系统中,每台机器可以认为是一个节点,节点作为数据存储的地方,由一些节点来组成一个集群。我们先来设计我们的节点和集群。
节点
@Data
public class Node {
private String domain;
private String ip;
private Map<String, Object> data;
public <T> void put(String key, T value) {
data.put(key, value);
}
public void remove(String key){
data.remove(key);
}
public <T> T get(String key) {
return (T) data.get(key);
}
}
一个节点包括domain(域名),ip(IP地址),data(节点存储数据),节点可以存放、删除、获取数据。
集群
public abstract class Cluster {
protected List<Node> nodes;
public Cluster() {
this.nodes = new ArrayList<>();
}
public abstract void addNode(Node node);
public abstract void removeNode(Node node);
public abstract Node get(String key);
}
在一个集群中包含多个节点,可以在一个集群中,增加、删除节点。还可以通过key获取数据存储的节点。
取模
在使用取模的场景中,当一个请求资源,请求某个集群时,通过对请求资源进行hash得到的值,然后对存储集群的节点数取模来得到,该请求资源,应该存储到哪一个存储节点。
具体实现如下: