数据切分其实有一个很巧妙的方法。 在memcached中用到了。 因为涉及到负载均衡等情况.所以有很大的优化.
其实完全是数学层面的东西。 但是比前一篇文章的三种切分方法都要好一些。 其实数据切分的最好算法是能够根据新加入的节点(由于性能不够而重新加入新节点)能够动态加入到水平切分的数据库集群之中,并且承载均衡的负载。
其实完全是数学层面的东西。 但是比前一篇文章的三种切分方法都要好一些。 其实数据切分的最好算法是能够根据新加入的节点(由于性能不够而重新加入新节点)能够动态加入到水平切分的数据库集群之中,并且承载均衡的负载。
引用
Consistent Hashing
Consistent Hashing 的简单说明:
Consistent Hashing 如下所示:首先求出 memcached 服务器(节点)的哈希值,并将其配置到 0~2^32
的圆(continuum)上。然后用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数
据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过 2^32 仍然找不到
服务器,就会保存到第一台 memcached 服务器上。
Consistent Hashing 最大限度地抑制了键的重新分布。而且,有的 Consistent Hashing 的实现方
法还采用了虚拟节点的思想。使用一般的 hash 函数的话,服务器的映射地点的分布非常不均匀。
因此,使用虚拟节点的思想,为每个物理节点(服务器)在 continuum 上分配 100~200 个点。这样
就能抑制分布不均匀,最大限度地减小服务器增减时的缓存重新分布。
Consistent Hashing 的简单说明:
Consistent Hashing 如下所示:首先求出 memcached 服务器(节点)的哈希值,并将其配置到 0~2^32
的圆(continuum)上。然后用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数
据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过 2^32 仍然找不到
服务器,就会保存到第一台 memcached 服务器上。
Consistent Hashing 最大限度地抑制了键的重新分布。而且,有的 Consistent Hashing 的实现方
法还采用了虚拟节点的思想。使用一般的 hash 函数的话,服务器的映射地点的分布非常不均匀。
因此,使用虚拟节点的思想,为每个物理节点(服务器)在 continuum 上分配 100~200 个点。这样
就能抑制分布不均匀,最大限度地减小服务器增减时的缓存重新分布。
可以把 memcached的缓存. 当成数据做类似处理.
通过Consistent Hashing的初步资源分配.
增加节点后的重新分配.
可以看出来影响是非常之小的. 这就体现了这种资源分配的优势所在。