常用分库算法的介绍与分析

2019独角兽企业重金招聘Python工程师标准>>>

水平分库的算法应当保证：

1、平衡性（Balance）: 平衡性是指哈希的结果能够尽可能分布到所有的节点中去、这样可以使得所有的存储节点都能得到利用。

2、单调性（Monotonicity）：单调性是指如果已经有一些内容通过哈希分派到了相应的节点上，在新的节点加入到系统中时，算法能够保证原有已分配的内容可以被映射到原有的或者新的节点上去，而不会映射到旧节点中的其他节点上。

一、取模哈希

       平衡字段%模数来获取数据存储节点：

        如：oid%2 = 0为0库，oid%2 = 1为1库

• 优点：简单、数据均衡、负载均衡。
• 缺点：扩容困难，要迁移数据，模数改变时，对原有储存节点上的数据影响较大。

二、 一致性哈希

        一致性哈希算法早在1997年由麻省理工学院提出的一种分布式哈希实现算法，设计目标是为了解决因特网中的热点（Hot spot）问题。

         大体思想也十分简单：将存储对象和存储节点分别利用常用的hash算法将其映射到一个桶空间（可以想象成一个闭合的环形或者环形队列）中，然后将存储对象存储到通空间中按顺时针方向最近的存储节点上去。

        当有节点出现故障被删除时，那么原有映射到故障节点上的对象，将会存储到故障节点的下一个节点中去（至于原存储到故障节点中的数据，可利用备库或者其他手段将数据迁移到新映射的节点上去）。

        新节点加入到系统中时，按照桶空间顺时针的原则将会有部分存储对象映射存储到上面，新增节点动作只会影响到系统中的一个存储节点，也就是在加入新节点前，原对象映射到的存储节点，系统中其他的存储节点并不会受到影响。

•  优点：简单、数据均衡、扩容简单。
•  缺点：负载不均衡，解决不了热点数据问题。

三、一致性哈希 + 虚拟节点

    其实还是一致性哈希，只不过映射到桶空间中的存储节点多了（部分节点是机器节点虚拟出来的），采用这种方式可以进一步降低数据存储的粒度，从而减少对某个被影响节点的数据迁移工作，提高存储系统的健壮性。

             

四、取模哈希+虚拟节点

    进过前面的介绍，取模哈希+虚拟节点应该不难理解了，就是将传统取模哈希中的模数变为虚拟后的节点数，而不是真实的机器数，这里需要维护一个虚拟节点和实际存储实例的对应关系。

    在减少或增加存储实例时，只要相应的调整存储实例和机器节点的映射关系就好，不会影响到存储系统中与需调整的虚拟机点没有关系的其他节点。

    网易的数据库中间件DDB就是这么做的。

•  优点：扩容简单、数据均衡、负载均衡。
•  缺点：欢迎评论区留言讨论。

 

 

 

 

 

博客处女篇，写的不到位的地方，还请见谅，真诚欢迎您提出宝贵建议~

 

 

转载于:https://my.oschina.net/u/3345762/blog/856792