一致性哈希分片与取余分片扩容指南

小小哭包

于 2023-08-14 15:24:07 发布

阅读量138

点赞数

分类专栏：开发技巧经验分享文章标签：哈希算法算法

本文链接：https://blog.csdn.net/caryxp/article/details/132276838

版权

本文介绍了在数据分片中，一致性哈希和取余分片两种方法的扩容效果。当数据量达到1000万，节点数10个时，一致性哈希在扩容时能保持数据分布均匀，仅少量数据迁移；而取余分片在扩容时会将原节点数据平均分配，导致大量数据迁移。文章通过实例展示了两种方法的优缺点。

摘要由CSDN通过智能技术生成

一致性哈希分片与取余分片扩容指南

假设有10个分片节点，1000万的数据量，主键从100万开始自增。下面是分别以一致性哈希和取余分片的结果

一致性哈希分片

执行PartitionByMurmurHash的main方法，按上述假设会得到以下结果
index bucket ratio
0 1001836 0.1001836
1 1038892 0.1038892
2 927886 0.0927886
3 972728 0.0972728
4 1086100 0.10861
5 908616 0.0908616
6 1024269 0.1024269
7 1018029 0.1018029
8 995581 0.0995581
9 1026063 0.1026063
第一列是分片节点的编号，第二列是hash到每个节点的数据量，第三列是每个hash到每个节点的数据量与总数据量的比值。第三列的和是1.0，第十五列的和是10000000。
如果数据量相当少，会发现一致性哈希的分布不够均匀，而只要数据量在10000以上一致性哈希的分布比率就能保持在0.1左右，数据越多分布越均匀，每个节点的数据量越接近。

现在假设增加二个新节点，对0号节点执行rehash，会出现以下结果
index bucket ratio
0 853804 0.8522392886660092
1 0 0.0
2 0 0.0
3 0 0.0
4 0 0.0
5 0 0.0
6 0 0.0
7 0 0.0
8 0 0.0
9 0 0.0
10 70075 0.06994657808264028