分布式系统数据分布的几种方式

参考《分布式系统原理介绍》 作者：刘杰

简介

分布式系统和单机系统最大的区别在于问题的规模。当规模大到一定程度，单机无法再支撑时，就得转向分布式服务（多机模式）。单机迁移到分布式，要解决的问题还是同一个，那么我们要思考的就是如何将问题拆分，使得分布式系统中的每台机器负责其中的一个子集，并且保证一定的可扩展性。

下面部分讨论分布式系统数据分布的方式。解决的核心问题为如何将数据分配到多个节点上（此处的节点为虚拟概念）。

哈希方式

方法：利用数据的某些特征值计算哈希值，然后将哈希值映射到节点组中的某个节点。

优点：

• 散列特性号的哈希函数可以让数据较为均匀的分布
• 简单，元信息只需要维护哈希函数和节点列表，即可进行数据的分发

缺点：

1. 可扩展性不高，一旦扩容，可能要迁移大量的数据（具体迁移量取决于扩容的方式）。
2. 数据倾斜：某些数据特征值的数据量超多，导致大量的数据都存储在某个节点上面，单个节点压力大。而且，扩容无法解决此问题。

解决缺点1的几种思路：

1. 上述取模的方式，扩容时直接*2，则只需要迁移一半的数据（可以举个例子分析下）
2. 哈希的结果不再对应到实际的节点组，而是映射到一个远大于实际节点数的虚拟节点组。一个实际的节点托管多个虚拟节点的数据，这样扩容时，只需迁移一部分虚拟节点的数据。 需要维护比较复杂的元数据。

按数据范围分布

方法：按特征值的值范围划分，每个节点处理一个范围区间的数据。

注意：范围不一定均衡，可以根据范围内的数据量来决定区间的范围

优点：

• 扩展性好，任意扩展。并且对于数据量大的区间，可以将其拆分为两个更小的区间，保证区间的数据量始终在一个合理阈值之下。

缺点：

• 元数据比较复杂，需要维护所有的范围区间和对应的节点信息。

一致性哈希

方法：使用一个哈希函数计算数据或数据特征的哈希值，该哈希函数的输出值域为一个封闭的环。节点在环上随机分布，每个节点处理从自己开始顺时针到下一个节点的全部哈希值域上的数据。

优点：

• 可以任意动态的添加或者删除节点，只会影响到相邻的节点

缺点：

• 随机分布的节点使得数据很难均匀的分布。即使数据已经均匀的分布了，节点的动态增加或者删除也使得原先的均匀分布很难继续保持。
• 新增或者删除节点时，只能影响到相邻的节点。更希望的是节点删除或者增加导致的压力的变化均匀的分散到所有节点上。

针对以上缺点的一种常见的改进方式：

• 使用虚拟节点。创建数量远大于实际节点的虚拟节点，并将其均匀的分布在哈希环上面，然后给一个节点分配很多的虚拟节点。定位时，先定位到虚拟节点，再找到实际的节点进行操作。这样，当一个实际节点失效时，对应的虚拟节点失效，查询压力会转移到相邻的虚拟节点上面，而相邻的虚拟节点对应了多个实际节点（区别于原来的一个），压力均匀分散。当新增一个实际节点时，可以分配多个来自不同已有节点的虚节点，使得新节点可以分担多个原有节点的压力。