1. 实现原理
实现原理:将key映射到 2^32 的空间中,将这个数字的首尾相连,形成一个环
- 计算节点(使用节点名称、编号、IP地址)的hash值,放置在环上
- 计算key的hash值,放置在环上,顺时针寻找到的第一个节点,就是应选取的节点
例如:p2、p4、p6三个节点,key11、key2、key27按照顺序映射到p2、p4、p6上面,假设新增一个节点p8在p6节点之后,这个时候只需要将key27从p6调整到p8就可以了也就是说,每次新增删除节点时,只需要重新定位该节点附近的一小部分数据
2. 数据倾斜问题
如果服务器的节点过少,容易引起key的倾斜。例如上面的例子中p2、p4、p6分布在环的上半部分,下半部分是空的。那么映射到下半部分的key都会被分配给p2,key过度倾斜到了p2缓存间节点负载不均衡;
为了解决这个问题,引入了虚拟节点的概念,一个真实的节点对应多个虚拟的节点
假设1个真实的节点对应3个虚拟节点,那么p1对应的就是p1-1、p1-2、p1-3
- 计算虚拟节点的Hash值,放置在环上
- 计算key的Hash值,在环上顺时针寻找到对应选取的虚拟节点,例如:p2-1,对应真实的节点p2
虚拟节点扩充了节点的数量,解决了节点较少的情况下数据倾斜的问题,而且代价非常小,只需要新增一个字典(Map)维护真实的节点与虚拟节点的映射关系就可以了
3. 代码实现
3.1 consistenthash
//Hash 定义计算hash的函数
type Hash func(data []byte) uint32
type Map struct {
//自定义的hash函数
hash Hash
//虚拟节点数
replicas int
//hash环,每个节点映射的hash值
keys []int
//映射虚拟节点
hashMap map[int]string
}
// New 创建一个Map实例,作为一致性hash算法的主要结构
func New(replicas int, fn Hash) *Map {
//创建实例
m := &Map{
replicas: replicas,
hash: fn,
hashMap: make(map[int]string),
}
if m.hash == nil {
//采用默认的hash算法
m.hash = crc32.ChecksumIEEE
}
return m
}
//Add 添加节点,可以传入一个或者多个真实节点的名称
func (m *Map) Add(keys ...string) {
for _, key := range keys {
//根据指定的虚拟节点数量进行创建
for i := 0; i < m.replicas; i++ {
//计算hash值,根据 id+key 的格式来进行不同虚拟节点的区分 (strconv.Itoa(i)格式化成string类型)
hash := int(m.hash([]byte(strconv.Itoa(i) + key)))
//将对应的hash值,添加进行
m.keys = append(m.keys, hash)
//映射虚拟节点和真实节点的关系
m.hashMap[hash] = key
}
}
sort.Ints(m.keys)
}
//Get 获取到节点信息
func (m *Map) Get(key string) string {
if len(key) == 0 {
return ""
}
//根据key计算节点的hash
hash := int(m.hash([]byte(key)))
//Search方法,根据keys的数量进行遍历
idx := sort.Search(len(m.keys), func(i int) bool {
//顺时针寻找第一个匹配的虚拟节点对应的下标,为什么要大于等于呢,因为上面对keys进行了排序,并且顺时针获取到环上面的第一个节点
return m.keys[i] >= hash
})
// 如果 idx == len(m.keys) 说明应该选择 m.keys[0],因为keys是一个环状结构,所以用取余数的方式来处理;
return m.hashMap[m.keys[idx%len(m.keys)]]
}
3.2 consistenthash_test
func TestHashing(t *testing.T) {
m := New(3, func(data []byte) uint32 {
i, _ := strconv.Atoi(string(data))
return uint32(i)
})
m.Add("6", "2", "4")
//测试通过对应的key对应真实的节点
testCases := map[string]string{
"2": "2",
"11": "2",
"23": "4",
"27": "2",
}
for k, v := range testCases {
if m.Get(k) != v {
t.Errorf("Asking for %s, shuold have yielded %s", k, v)
}
}
m.Add("8")
testCases["27"] = "8"
for k, v := range testCases {
if m.Get(k) != v {
t.Errorf("Asking for %s, should have yielded %s", k, v)
}
}
}
参考文档:https://geektutu.com/post/geecache-day4.html