Consistent Hashing 一致性哈希算法
小计:一致性hash在分布式缓存中的应用可以在服务器拓扑结构,添加机器发生变化时,影响最小,避免大量的缓存失效,都落在数据硬件上,从小导致当机,只影响到添加机器的后面一台机器
今天看豆瓣的架构PPT,其中有谈到Consistent Hashing的算法,网上搜了下,发现这方面的介绍也不算多。
通常比较常用的使用地方就是memcache分布式的时候,例如我有三台memcache,那么普通的hash算法,直接用你要取的key的hash值模取memcache的数量。
server = hash(key) mod server num;
但是如果要增加一台,那么将会有大量的缓存信息失效。所以更好的办法Consistent Hashing.
Consistent hashing算法:环状结构。虚拟节点来替换实体节点被分配到环状某一位置上(根据处理能力不同可以将一个实体节点映射到多个虚拟节点上)。主键为key的节点position = hash(key),在环上按照顺时针查找value大于position的第一个虚拟节点,由它对应的实体节点处理。下图中k就优先由虚拟节点 B来处理。
按照我的理解方式 就是将所有的cache服务器的标识分别hash到的值分布到0-pow(2,32)中. 然后将你要取的key的hash值进行比较。取第一个大于key的hash值的服务器。 如果从0-pow(2,32)也没有找到,那么则取最小hash值的服务器。
例如 上图中, 服务器 a 的hash值 为 1, b的hash值为 10, c的hash值为20, 我们取 key K 的hash值为5的位置,发现key K 大于 a 小于 b , 那么key k就存放于服务器b上, 如果 我们取 key x 的hash值为30的位置,发现 a,b,c三个服务器的hash值都小于 key x的hash值 , 那么 我们取 a 服务器作为存放服务器。
这样的存放方法,只会影响你最后一台服务器存放的key.而不会像取模方法的全局影响。
当然这样取key的效率就没有取模的高了,至于采用哪种方法,还是要根据你当前业务的规模来选择的。
另附上简单的算法
<?php
function consistent_hash_key($key,$servers){
if(empty($servers)){
return false;
}
$hash_serv = array();
$hash_key = sprintf("%u\n",crc32($key));
foreach ($servers as $server){
$hash_serv[sprintf("%u",crc32($server))] = $server;
}
ksort($hash_serv,SORT_REGULAR);
if(count($hash_serv) == 1){
return array_pop($hash_serv);
}
$maxHash = pow(2,32);
foreach ($hash_serv as $k => $v){
if($hash_key < $k){
return $v;
}
}
return array_shift($hash_serv);
}
for ($i=0;$i<100;$i++){
echo consistent_hash_key('s:'.$i,array('a','b','c','d','e'))."\t".consistent_hash_key('s:'.$i,array('a','b','c','d','e','f'))."\n";
}
?>
通常比较常用的使用地方就是memcache分布式的时候,例如我有三台memcache,那么普通的hash算法,直接用你要取的key的hash值模取memcache的数量。
server = hash(key) mod server num;
但是如果要增加一台,那么将会有大量的缓存信息失效。所以更好的办法Consistent Hashing.
Consistent hashing算法:环状结构。虚拟节点来替换实体节点被分配到环状某一位置上(根据处理能力不同可以将一个实体节点映射到多个虚拟节点上)。主键为key的节点position = hash(key),在环上按照顺时针查找value大于position的第一个虚拟节点,由它对应的实体节点处理。下图中k就优先由虚拟节点 B来处理。
![](https://i-blog.csdnimg.cn/blog_migrate/b1e93eb6cd1bc482b930236101f58595.jpeg)
按照我的理解方式 就是将所有的cache服务器的标识分别hash到的值分布到0-pow(2,32)中. 然后将你要取的key的hash值进行比较。取第一个大于key的hash值的服务器。 如果从0-pow(2,32)也没有找到,那么则取最小hash值的服务器。
例如 上图中, 服务器 a 的hash值 为 1, b的hash值为 10, c的hash值为20, 我们取 key K 的hash值为5的位置,发现key K 大于 a 小于 b , 那么key k就存放于服务器b上, 如果 我们取 key x 的hash值为30的位置,发现 a,b,c三个服务器的hash值都小于 key x的hash值 , 那么 我们取 a 服务器作为存放服务器。
这样的存放方法,只会影响你最后一台服务器存放的key.而不会像取模方法的全局影响。
当然这样取key的效率就没有取模的高了,至于采用哪种方法,还是要根据你当前业务的规模来选择的。
另附上简单的算法
<?php
function consistent_hash_key($key,$servers){
if(empty($servers)){
return false;
}
$hash_serv = array();
$hash_key = sprintf("%u\n",crc32($key));
foreach ($servers as $server){
$hash_serv[sprintf("%u",crc32($server))] = $server;
}
ksort($hash_serv,SORT_REGULAR);
if(count($hash_serv) == 1){
return array_pop($hash_serv);
}
$maxHash = pow(2,32);
foreach ($hash_serv as $k => $v){
if($hash_key < $k){
return $v;
}
}
return array_shift($hash_serv);
}
for ($i=0;$i<100;$i++){
echo consistent_hash_key('s:'.$i,array('a','b','c','d','e'))."\t".consistent_hash_key('s:'.$i,array('a','b','c','d','e','f'))."\n";
}
?>
HRegion是Hbase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Hregion可以分布在不同的HRegion server上。但一个Hregion是不会拆分到多个server上的。