0. 前言
随着数据规模的不断扩展,单机已经不能存储和处理如此大的数据量,只能依靠大规模的集群进行存储和处理。扩展的方式分为两种,一种是scale up类型,即通过升级改造单机的处理能力来扩展,例如装配更多的CPU和内存;另外一种是scale out类型,即通过增加机器的方式进行,这种方式是目前主流的方式。
对于海量数据的存储和处理,需要通过数据分片来将数据进行切分分配到各个机器中去,数据分片之后还需要按照一定的规则找到数据,这就称为路由。通常数据分片和复制是紧密相关的两个概念。数据分片实现系统的水平扩展,而数据复制主要保证数据的高可靠性,因为在大型集群中,某些机器节点会因为一些不可知的原因出现问题,这个时候如果没有数据备份就会导致部分数据丢失,这对于系统和用户来说都是不可接受的。下面将介绍分片和路由的一些常用算法。
1. 抽象模型
分片和路由的抽象模型主要包含两步:
- 数据key通过一定的映射策略将其映射到一个分片;
- 一个分片再按照一定的映射策略映射到具体的机器;
- 这里面的映射策略包括哈希分片和范围分片,哈希分片主要通过一个哈希函数进行分片,而范围分片不仅支持点查询还支持范围查询。
- 举个简单的例子,例如现在有海量的数据需要存储,我们第一步可以根据某个哈希函数将这些数据切割成100个文件,然后再将这100个文件映射到具体的机器上。
- 在进行数据路由时,首先由key得到其所在的分片,然后根据分片找到其对应的机器,然后去机器上寻找所需要找的数。
2. 哈希分片
哈希分片的核心思想是通过哈希