Redis在多实例下对数据分区

分区是将数据分割到不同的Redis实例中的过程，所以每个Redis实例只包含所有key的一部分（子集）。这篇文章的第一部分介绍分区的概念，第二部分介绍Redis分区的方案。

分区的好处

Redis的分区主要有两个目的：

1、让数据库存储空间更大了，使用了所有服务器的内存之和。如果不使用分区，将受一台服务器的内存限制。

2、将多个服务器，计算能力，网络带宽等规模化了。

分区基本概念

分区有不同的标准。试想我们现在有4个Redis实例：R0，R1，R2，R3，以及很多代表用户的key：user:1，user:2，…。我们可以使用不同的方式来选择将key存在哪个实例中。 其中最简单的分区方法是范围分区，根据对象的范围将其匹配到相应的实例中。例如：用户ID从0到10000将会存到实例R0中，ID10001到20000存到实例R1中，以此类推。 这种方法在实际应用中，有个缺点是需要一个表存储范围匹配到实例。并且要为每种对象对应一张表，并可被管理，通常这种情况使用Redis并不是个好主意。 另一种方法是使用Hash来进行范围分区（哈希分区）。这种方案适用任何key，不需要像object_name:这种结构的key： ·将key的name哈希生产一个数值number(hash值) ·使用按模计算（求余）hash值得到0~3之间的数，将key对应匹配到R0~R3。 还有更多的方法可以实现分区，通过上面说的两个例子可能你能发现更好的方法。一些Redis client和代理，已经实现了哈希分区。

不同的分区实现

分区可以为软件的不同部分的堆栈分配空间。

1、客户端分区：客户端client能直接选择正确的节点，将key存到相应实例中。很多client都实现了分区功能。

2、代理协助分区：client发送请求道代理，代理能支持Redis协议，能直接将请求发送到正确的Redis实例。代理根据配置好的分区规则，将请求发送到正确的Redis实例，然后发送响应回client。Redis和Memcache代理Twemproxy实现了这个机制。

3、查询路由：将查询随机发送到一个实例，这个实例会确保这个查询到正确的节点。Redis集群实现了一个混合的查询路由，不过这也需要client的帮助（这个实例找到正确节点后会将请求重定向到正确的节点）。

分区的缺点

Redis的一些特性导致分区并完美：

1、操作涉及多个键通常是不允许的。比如你无法匹配两个分别存在不同实例的集合（Sets）的交集。

2、Redis事务涉及到多个键就不能使用。

3、分区，分的是key。所以不可能将一个存储很多数据的集合key共享和分开。

4、使用分区后，数据的处理更复杂了。例如如果要备份数据的话，你必须去各个实例服务器上处理RDB和AOD文件，将聚集起来。

5、添加和删除的操作性能可能很麻烦。例如Redis集群本来希望能在运行时保证数据的传输，同时很能增删节点，但是在client或者代理部分不支持这样。然而预分布的技术解决了这个问题，后面会讲到预分布式。

数据存储还是缓存？

将Redis作为数据库或缓存进行分区，概念上是一样的，实际上却有很大的不同。当Redis作为一个数据库时你要保证key总是匹配到相同的Redis实例，当Redis作为一个缓存时如果所给节点是不可用的并不是一个大问题，可以使用另一个节点，为了改善系统可用性可以修改key-instance匹配的map。 一致性哈希的实现，如果首选节点无法使用的话，一般能够更换节点。同样地，如果你添加了个新的节点，一部分新的key将会添加到这个新的节点上。 主要概念：Redis作为缓存，使用一致性哈希，对于扩展性和伸缩性都是是否容易的；Redis作为数据库的话，我们需要把key和节点连接起来，每个节点有个固定的数字。否则，当我们添加删除节点的时候，就需要一个系统来平衡key和节点的对于map了，目前的Redis集群能够做到这点，但还不足以作为产品上线使用。

预分布式

从上面可以知道，Redis作为缓存分区，除了增删节点会非常棘手，其他都会比使用固定的key-instance的map会简单很多。然而作为数据库，会经常进行修改数据，今天可能只需要10个实例，明天可能又要50个实例。 虽然Redis只会需要很小的内存（一个备用实例只使用1M内存），简单的办法是一开始就启动很多个实例。使用分区，你可以再分布式的架构中部署一个实例，也可以再一台服务器上部署多个实例。 你可以选择一开始启动的实例数量，例如32或64个，就适合大多数人的要求，这个数量还能提供很大的增长空间。 这种方式下当你数据量增长，要更多的Redis server时，你只需将一个实例从一个servier移植到另一个server上。当你添加第一个server时，需要将原server上一半的Redis实例移到新server上，以此类推。

使用Redis复制会使你以最小代价来移动：

在新的server上启动空的实例集；

将这些信的实例集配置为原实例集的slaves；

停止client；

更新移动的实例配置到新的IP；

在新的server上发送SLAVEOF NO ONE命令道slaves；

重启client更新配置；

最后关闭不在使用的老的server。