[摘选]memcached全面剖析—— 客户端选择(一致性哈希算法)

参考： memcached完全剖析–1. memcached的基础 http://tech.idv2.com/2008/07/10/memcached-001/

 

memcached本身是集中式的缓存系统，要搞多节点分布，只能通过客户端实现。

memcached的分布算法一般有两种选择：
1、hash模余算法：

     根据hash(key)的结果，模连接数的余数决定存储到哪个节点（键的整数哈希值，根据服务器个数取余来选定服务器节点），也就是hash(key)% sessions.size()，这个余数计算的方法简单，数据的分散性也相当优秀。

    但也有其缺点 。那就是当添加或移除服务器时，缓存重组的代价相当巨大。添加/删除服务器后（特别是某台服务器down机之后 ），余数就会产生巨变，这样就无法保证获取时计算的服务器节点与保存时相同，从而影响缓存的命中率——造成原有的缓存数据将大规模失效。

 

2、Consistent Hashing，一致性哈希算法：
    首先求出memcached服务器（节点）的哈希值，并将其配置到0～2³² 的圆（continuum）上。然后用同样的方法求出存储数据的键的哈希值，并映射到圆上。然后从数据映射到的位置开始顺时针查找 ，将数据保存到找到的第一个服务器上。如果超过2³² 仍然找不到服务器，就会保存到第一台memcached服务器上。

从上图的状态中添加一台memcached服务器。余数分布式算法由于保存键的服务器会发生巨大变化而影响缓存的命中率，但Consistent Hashing中，只有在continuum上增加服务器的地点逆时针方向的第一台服务器上的键会受到影响。

 

本文以上内容选摘自 memcached全面剖析–4. memcached的分布式算法

 

 

目前支持 "一致性哈希算法" 的 java版memcached客户端： spymemcached、xmemcached。

 

 

Memcached在大型网站中的应用：http://www.douban.com/group/topic/2064584/

一致性哈希算法 http://baike.baidu.com/view/1588037.htm