分布式系统：一致性hash算法 & 在分布式系统中的应用

 

前段时间在了解分布式，发现firefoxbug在博客中写的这篇《一致性hash在分布式系统中的应用》对这个问题说明得比较清晰易懂，本文主要是自己的理解和实践。

在后端一般会遇到这样的场景：随着应用系统的访问量或者DB/文件存储系统的数据量增大，系统由于负载增大而出现响应延迟甚至down掉的情况。为了解决这个问题，往往会对系统采用垂直扩展和水平扩展的架构设计，而分布式系统正是水平扩展架构的一种应用实践。

1 分布式系统要求

分布式设计的初衷就是为了解决单一服务端负载过大的问题，所以在对系统做水平扩展后，数据要尽量均匀地分布在每台服务器节点的上（即不会出现热点数据节点）。其次，如果后期需要扩容或者某一节点发生故障需要从集群中剔除，那么处理后的分布式系统应该做到对已存储的数据影响最小，降低数据迁移的成本和风险。

2 解决方法

由于机器的数量不可能是无限的，所以水平扩展的时候，要考虑把无限的数据通过一定的算法平衡、有序、易扩展地分布在这些机器上。

常见的做法是利用把要处理的数据进行编号，然后对机器的数据进行取模运算。例如，假设有10个数据（编号为0~9），机器数量为3（编号为0~2），那么每个数据编号对机器数3取模后，0号机器存放了编号为0,3,6,9的数据；1号机器存了编号为1,4,7的数据；2号机器存放了编号为2,5,8的数据。

取模算法比较简单，但是当某个服务器节点出现故障或者新增节点后，