大数据基础理论—数据分片与路由

0. 前言

随着数据规模的不断扩展，单机已经不能存储和处理如此大的数据量，只能依靠大规模的集群进行存储和处理。扩展的方式分为两种，一种是scale up类型，即通过升级改造单机的处理能力来扩展，例如装配更多的CPU和内存；另外一种是scale out类型，即通过增加机器的方式进行，这种方式是目前主流的方式。

对于海量数据的存储和处理，需要通过数据分片来将数据进行切分分配到各个机器中去，数据分片之后还需要按照一定的规则找到数据，这就称为路由。通常数据分片和复制是紧密相关的两个概念。数据分片实现系统的水平扩展，而数据复制主要保证数据的高可靠性，因为在大型集群中，某些机器节点会因为一些不可知的原因出现问题，这个时候如果没有数据备份就会导致部分数据丢失，这对于系统和用户来说都是不可接受的。下面将介绍分片和路由的一些常用算法。

1. 抽象模型

分片和路由的抽象模型主要包含两步：

• 数据key通过一定的映射策略将其映射到一个分片；
• 一个分片再按照一定的映射策略映射到具体的机器；
• 这里面的映射策略包括哈希分片和范围分片，哈希分片主要通过一个哈希函数进行分片，而范围分片不仅支持点查询还支持范围查询。
• 举个简单的例子，例如现在有海量的数据需要存储，我们第一步可以根据某个哈希函数将这些数据切割成100个文件，然后再将这100个文件映射到具体的机器上。
• 在进行数据路由时，首先由key得到其所在的分片，然后根据分片找到其对应的机器，然后去机器上寻找所需要找的数。

2. 哈希分片

哈希分片的核心思想是通过哈希