redis集群搭建

Redis集群介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

• 自动分割数据到不同的节点上。
• 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

Redis 集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

• 节点 A 包含 0 到 5500号哈希槽.
• 节点 B 包含5501 到 11000 号哈希槽.
• 节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后，集群是不可用的.

Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

第一个原因是因为集群是用了异步复制. 写操作过程:

• 客户端向主节点B写入一条命令.
• 主节点B向客户端回复命令状态.
• 主节点将写操作复制给他得从节点 B1, B2 和 B3.

主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理命令请求都需要等待复制操作完成的话， 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意：Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1 为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .

Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.

注意， 在网络分裂出现期间， 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的， 这一时间限制称为节点超时时间（node timeout）， 是 Redis 集群的一个重要的配置选项

搭建并使用Redis集群

1.准备工作

1.安装ruby环境
redis集群管理工具redis-trib.rb依赖ruby环境，首先需要安装ruby环境：

yum -y install ruby
yum -y install rubygems

2.安装ruby和redis的接口程序
拷贝redis-3.0.0.gem至/usr/local下；
执行安装：
gem install /usr/local/redis-3.0.0.gem

2.集群规划:

2.1Redis集群最少需要6个节点，可以分布在一台或者多台主机上。在教案在一台主机上创建伪分布式集群，不同的端口表示不同的redis节点，如下：
主节点：192.168.56.3:7001 192.168.56.3:7002 192.168.56.3:7003
从节点：192.168.56.3:7004 192.168.56.3:7005 192.168.56.3:7006 
2.2在/usr/local/redis下创建redis-cluster目录，其下创建7001、7002。。7006目录，如下：

2.3将redis解压路径下的配置文件redis.conf，依次拷贝到每个700X目录内，并修改每个700X目录下的redis.conf配置文件：
port 700X
bind 192.168.56.3    
cluster-enabled yes 
建议配置：开启后台模式  daemonized  yes
指定日志输出的文件    logfile  /usr/local/redis/redis-cluster/7001/node1.log

3.执行创建集群命令

进入到redis源码存放目录/home/redis/redis-4.10.3/src下，执行redis-trib.rb，此脚本是ruby脚本，它依赖ruby环境。

4.查询集群信息

集群创建成功登陆任意redis结点查询集群中的节点情况。 
./redis-cli -c -h 192.168.56.3 -p 7001
 

说明：

./redis-cli -c -h 192.168.56.3 -p 7001 ，其中:

-c表示以集群方式连接redis，

-h指定ip地址，

-p指定端口号

cluster nodes 查询集群结点信息；

cluster info 查询集群状态信。

5.添加主节点

5.1节点规划

集群创建成功后可以向集群中添加节点，下面是添加一个master主节点

添加7007节点，参考集群结点规划章节添加一个“7007”目录作为新节点。

添加节点，执行下边命令：

./redis-trib.rb add-node  192.168.23.20:7007 192.168.23.20:7001

查看集群结点发现7007已添加到集群中:

5.2hash槽重新分配

添加完新的主节点后，需要对主节点进行hash槽分配，这样该主节才可以存储数据。

redis集群有16384个槽，被所有的主节点共同分配，通过查看集群结点可以看到槽占用情况。

给刚添加的7007结点分配槽：

第一步：连接上集群

./redis-trib.rb reshard 192.168.23.20:7001（连接集群中任意一个可用节点都行）

 

第二步：输入要分配的槽数量

输入 500表示要分配500个槽

 

第三步：输入接收槽的结点id

这里准备给7007分配槽，通过cluster nodes查看7007结点id为79bbb30bba66b4997b9360dd09849c67d2d02bb9

输入：79bbb30bba66b4997b9360dd09849c67d2d02bb9

 

第四步：输入源结点id

这里输入all

 

第五步：输入yes开始移动槽到目标结点id

添加从节点

集群创建成功后可以向集群中添加节点，下面是添加一个slave从节点。

添加7008从结点，将7008作为7007的从结点。

          新增从节点命令格式：

./redis-trib.rb add-node --slave --master-id masterID newNodIP:port MasterIP:port

masterID       主节点id，从cluster  nodes信息中查看

newNodIP:port     新增节点的ip：端口

MasterIP:port        主节点的ip：端口

 

执行如下命令：

./redis-trib.rb add-node --slave --master-id 909c349f5f2d4db015101fb7c4e3c227a74ad382 192.168.4.253:7008 192.168.4.253:7007

79bbb30bba66b4997b9360dd09849c67d2d02bb9  是7007结点的id，可通过cluster nodes查看。

 

 

注意：

如果原来该结点在集群中的配置信息已经生成cluster-config-file指定的配置文件中（如果cluster-config-file没有指定则默认为nodes.conf），这时可能会报错：

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

解决方法：

删除生成的配置文件nodes.conf，删除后再执行./redis-trib.rb add-node指令。

 

查看集群中的结点，刚添加的7008为7007的从节点：

6.删除节点

删除节点命令格式：

./redis-trib.rb del-node nodeIP:port nodeID

nodeIP:port    待删除节点的ip:端口

nodeID             待删除节点的id，从cluster node中查看

 

删除已经占有hash槽的结点会失败，报错如下：

[ERR] Node 127.0.0.1:7005 is not empty! Reshard data away and try again.

需要将该结点占用的hash槽分配出去（参考hash槽重新分配）

转载于:https://my.oschina.net/u/4117400/blog/3040064