分布式系统原理（2）--数据分布方式

二、分布式系统原理

1、数据分布方式

如何将分布式系统的输入数据拆解为可疑使用多机分布式处理的过程，成为数据分布方式。

（1）哈希方式（最常见）

按照数据的某一特征计算哈希值，并将哈希值与机器建立映射关系，从而将不同的数据分布到不同的机器上。如按数据属于的用户id计算哈希值，集群中的服务器按0-机器数减一编号，哈希值除以服务器的个数，余数为处理该数据的服务器编号。

l  优点：只要哈希函数的散列特性好，哈希方式可以较为均匀的将数据分布到集群中去，要记录的元信息也很简单，任何时候，任何节点只要知道哈希函数的计算方式及模的服务器总数就可以计算出处理具体数据的机器是哪台。

l  缺点：

l  可扩展性不高，一旦集群规模需要扩展，则几乎所有的数据需要被迁移并重新分布。工程上会成倍扩展，这样原本一台机器上的数据只需迁移一半到另一机器上。

改进：使用专门的元数据服务器管理对应关系，让哈希值取模个数大于机器个数，同一机器需负责多个哈希取模的余数，使得扩容不依赖于机器数的成倍增长。问题：需较复杂的机制维护大量的元数据

l  一旦数据特征值严重不均，容易出现“数据倾斜”（data skew）问题。

 

（2）按数据范围分布

将数据按特征值的值域范围划分不同的区间，使得集群中每台（组）服务器处理不同区间的数据。为数据迁移等负载均衡操作的方便，往往利用动态划分区间的方式，使得每个区间中服务的数据量尽量的一样多。若某区间数据量较大，则可将区间“分裂”拆成两个区间。

l  优点：可以