redis5.0集群搭建实例

Redis Cluster的架构图

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
(4)redis-cluster把所有的物理节点映射到[0-16383]slot上(哈希槽),cluster 负责维护

Redis 集群中内置了 16384 个哈希槽，当需要在Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

2.  redis-cluster投票:容错

          

        (1)领着投票过程是集群中所有master参与,如果半数以上master节点与其中一个master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.
         (2):什么时候整个集群不可用(cluster_state:fail)? 
         a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.
        b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态.
        ps:当集群不可用时,所有对集群的操作做都不可用，收到((error)CLUSTERDOWN The cluster is down)错误。

3安装步骤

        

本次为实验教程，所以在一台虚拟机中进行搭建，跟在多台真机上搭建其实没有什么区别，只要保证网络通信ok就可以了！
我们在几台机器上通过端口号的不同，搭建一个伪集群。在一个服务器上创建多个redis实例。端口号如下所示
主节点：127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003
从节点：127.0.0.1:7004127.0.0.1:7005127.0.0.1:7006
在/Usres/mazhen下创建redis-cluster目录，其下创建redis01、redis02...redis06目录.

       将redis安装到redis01目录下，步骤如下：

下载5.0版本之后的rsbi压缩包，打开命令行工具，执行解压命令，如

tar zxvf redis-5.0.4.tar.gz

然后把解压得到所有内容拷贝到/Users/mazhen/rsbi01上。切换目录 cd /Users/mazhen/rsbi01，

编译测试 sudo make test

编译安装sudo make install

在redis01下建bin目录，redis/src目录下的mkreleasehdr.sh，redis-benchmark， redis-check-rdb， redis-cli， redis-server拷贝到bin目录。现在rebi01目录应该如图：

  然后我们将redis01文件夹的文件分别复制到redis02……redis06文件夹中。同时将redis源码目录bin下的redis-cli拷贝到redis-cluster目录下。

        修改每个文件夹下的配置文件，有三点需要修改，每个配置文件都要配置自己的端口号（7001-7006），不能重复。

        

 

        准备好以上工作以后，我们分别启动每个redis进行的实例。假设启动redis01:先进入redis01目录，然后执行 ./bin/redis-server redis.conf.别的实例类似。

启动完毕以后我们输入命令ps ax|grep redis ，查看实例是否启动，出现如下所以图片，表示所有的实例都启动了。

       

6个redis都启动成功了即可。注意：此时他们之间还没有建立集群的关系，执行下面语句即可建立集群：
redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1
如下说明成功：
$ redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1

>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 127.0.0.1:7005 to 127.0.0.1:7001
Adding replica 127.0.0.1:7006 to 127.0.0.1:7002
Adding replica 127.0.0.1:7004 to 127.0.0.1:7003
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 49f14dd2f325a9c8aa7b99c679771e130b9894ed 127.0.0.1:7001
   slots:[0-5460] (5461 slots) master
M: 41559284550eeba6907f79d550dfc981acc44c6d 127.0.0.1:7002
   slots:[5461-10922] (5462 slots) master
M: 6cefb52da34c19ffca1cbc8dcadb14ed8cedc7e2 127.0.0.1:7003
   slots:[10923-16383] (5461 slots) master
S: 6fe0a4f01a3296818930013cab0bbd1bffc2abc4 127.0.0.1:7004
   replicates 6cefb52da34c19ffca1cbc8dcadb14ed8cedc7e2
S: 8368de18151237413714c0c2c9d765ef7ac3cf43 127.0.0.1:7005
   replicates 49f14dd2f325a9c8aa7b99c679771e130b9894ed
S: 89e0b7ba49ab1edf3eb7d1a2bf226557b6335b22 127.0.0.1:7006
   replicates 41559284550eeba6907f79d550dfc981acc44c6d
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
...
>>> Performing Cluster Check (using node 127.0.0.1:7001)
M: 49f14dd2f325a9c8aa7b99c679771e130b9894ed 127.0.0.1:7001
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 6fe0a4f01a3296818930013cab0bbd1bffc2abc4 127.0.0.1:7004
   slots: (0 slots) slave
   replicates 6cefb52da34c19ffca1cbc8dcadb14ed8cedc7e2
S: 89e0b7ba49ab1edf3eb7d1a2bf226557b6335b22 127.0.0.1:7006
   slots: (0 slots) slave
   replicates 41559284550eeba6907f79d550dfc981acc44c6d
S: 8368de18151237413714c0c2c9d765ef7ac3cf43 127.0.0.1:7005
   slots: (0 slots) slave
   replicates 49f14dd2f325a9c8aa7b99c679771e130b9894ed
M: 6cefb52da34c19ffca1cbc8dcadb14ed8cedc7e2 127.0.0.1:7003
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 41559284550eeba6907f79d550dfc981acc44c6d 127.0.0.1:7002
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

5.  集群测试

        我们输入redis01/redis-cli -h 127.0.0.1  -p 7002–c命令后，切忌要加入-c，否则我们进入的不是集群环境。进入客户端以后，我们输入set a 100 发现他会进行跳转，这就是因为他经过计算以后，要存储100的hash槽在7003 实例上。这样就表示我们的集群成功了！

        

 

         关闭redis集群不能直接kill掉进程，或者关机，我们要通过命令redis01/redis-cli -p 7001 shutdown进行关闭，这样在关闭之前，数据才能够进行保存。

查看集群状态

$ ./redis-cli  --cluster check 127.0.0.1:7001

上图含义是7001是主，且7005是7001的从节点。类似可以知道7004是7003的从节点。

下面进行一些测试：

1主节点机器故障

关闭redis01
redis01/bin/redis-cli -p 7003 shutdown
在redis03上尝试：
127.0.0.1:7003> set a 11
Could not connect to Redis at 127.0.0.1:7003: Connection refused
说明 03确实关掉了，然后连接到03对应的slave，04
127.0.0.1:7004> keys *
1) "a"
说明查看并不影响，此时04还是slave，只能查看，不能写入
主从有效。
而且过了一小会(不到一分钟时间)，发现redis04自动升为主节点了
127.0.0.1:7004> set a 99
OK
机器故障对系统影响
1. 如果半数以上 Master 处于关闭状态那么整个集群处于不可用状态。
2. 关闭任意一对主从节点会导致部分（大约为整个集群的1/3）失败。
3. 关闭任意一主，会导致部分写操作失败，是由于从节点不能执行写操作，在Slave升级为Master期间会有少量的失败。
4. 关闭从节点对于整个集群没有影响

2重新将redis03加到集群中

先手动启动03
redis03路径下：./bin/redis-server redis.conf
./redis-cli  --cluster check 127.0.0.1:7001
很神奇 ，这个时候你会发现redis03已经作为slave添加到集群中去了。原本我还以为需要执行以下指令呢。

./redis-cli --cluster add-node 127.0.0.1:7003  127.0.0.1:7004 --cluster-slave --cluster-master-id 6fe0a4f01a3296818930013cab0bbd1bffc2abc4
说明 6fe0a4f01a3296818930013cab0bbd1bffc2abc4是7004的master-id

redis操作指令，可以参考
https://redis.io/topics/cluster-tutorial

总结下
1）哨兵自动开启了，有主节点挂掉的时候，1分钟左右从节点会自动成为主节点
2）挂掉的机器，你启动后，会自动加入集群中

在说明一点：代码访问集群，应该是连接集群中任意节点即可。

说明：以前的redis集群采用codis或者Twemproxy都比较麻烦，推荐最新版本的redis，并采用上面的方式来搭建。