linux下redis3.0集群搭建，不使用ruby

linux下redis3.0集群搭建

背景

为什么不用ruby

由于需要指定主节点的哈希槽分配，以及指定主节点和从节点，故不使用ruby搭建集群;
如果不需要指定这些信息，建议使用ruby搭建，尤其是主从节点比较多的情况下，不然搭建起来很痛苦，不要问怎么知道的，笔者就是手动搭建了主从（50+50）的集群；在此感谢同事给予的帮助；

Redis集群介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。
Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.
Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:
自动分割数据到不同的节点上。
整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

Redis 集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

Redis
集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

节点 A 包含 0 到 5500号哈希槽.
节点 B 包含5501 到 11000 号哈希槽.
节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上.
如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可.
由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

步骤1:修改配置文件conf/redis.conf

以下是一个最少选项的集群的配置文件，如果配置文件种没有这些选项请手动添加。根据项目需求谁用合理的主从端口数量；本文以3主3从为例；将redis.conf复制5份，分别命名为redis_7001.conf，redis_7002.conf，redis_7003conf，redis_7004.conf，redis_7005.conf，redis_70016conf；

port 7001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

步骤3: 使用命令启动6个端口

使用redis-server命令分别启动6个端接口

./redis-server  ./redis_7001.conf

步骤4: 使用命令添加集群主节点

1.进入控制台：./redis-cli -h 127.0.0.1 -p 7001 -c
2.使用命令添加主节点：./cluster meet 127.0.0.1 7002
3.依次添加其他节点；

./redis-cli -h 127.0.0.1 -p 7001 -c
127.0.0.1:7001> cluster meet 127.0.0.1 7002
OK
127.0.0.1:7001> cluster meet 127.0.0.1 7003
OK
节点添加成功

步骤5: 分配各个集群节点的哈希槽

使用以下脚本给主节点分配哈希槽，一共16384个哈希槽，请根据主节点数量按需分配。

#!/bin/bash

n=0
for ((i=n;i<n + 5461;i++))
do
   ./redis-cli -h 127.0.0.1 -p 7001  CLUSTER ADDSLOTS $i
done
n=`expr $n + 5461`
for ((i=n;i<n + 5461;i++))
do
   ./redis-cli -h 127.0.0.1 -p 7002  CLUSTER ADDSLOTS $i
done
n=`expr $n + 5461`
for ((i=n;i<n + 16384;i++))
do
   ./redis-cli -h 127.0.0.1 -p 7003  CLUSTER ADDSLOTS $i
done

步骤6: 查看集群信息

1.进入控制台：./redis-cli -h 1270.0.1 -p 7001 -c
2.查看集群信息：./cluster info

127.0.0.1:7001> cluster info
cluster_state:ok                       #集群状态
cluster_slots_assigned:16384                  #被分配的槽位数
cluster_slots_ok:16384                        #正确分配的槽位             
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3                     #当前3个节点
cluster_size:0
cluster_current_epoch:2                  
cluster_my_epoch:1
cluster_stats_messages_sent:83
cluster_stats_messages_received:83

步骤7: 添加集群从节点

1.添加从节点

127.0.0.1:7001> cluster meet 127.0.0.1 7003
OK
127.0.0.1:7001> cluster meet 127.0.0.1 7004
OK
127.0.0.1:7001> cluster meet 127.0.0.1 7005
OK
127.0.0.1:7001> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6     #当前集群下的所有节点，包括主从节点
cluster_size:3            #当前集群下的有槽位分配的节点，即主节点
cluster_current_epoch:5
cluster_my_epoch:1
cluster_stats_messages_sent:13438
cluster_stats_messages_received:13438

2.创建从节点

127.0.0.1:7005> cluster nodes #查看节点信息
7438368ca8f8a27fdf2da52940bb50098a78c6fc 127.0.0.1:7004 master - 0 1488255023528 5 connected
e1b78bb74970d0353832b2913e9b35eba74a2a1a 127.0.0.1:7005 myself,master - 0 0 0 connected
05e72d06edec6a920dd91b050c7a315937fddb66 127.0.0.1:7003 master - 0 1488255022526 2 connected 10923-16383
b461a30fde28409c38ee6c32db1cd267a6cfd125 127.0.0.1:7002 master - 0 1488255026533 3 connected 5462-10922
11f9169577352c33d85ad0d1ca5f5bf0deba3209 127.0.0.1:7001 master - 0 1488255025531 1 connected 0-5461
2b8b518324de0990ca587b47f6316e5f07b1df59 127.0.0.1:7006 master - 0 1488255024530 4 connected

#成为127.0.0.1:7002的从节点
127.0.0.1:7005> cluster replicate b461a30fde28409c38ee6c32db1cd267a6cfd125
OK

处理剩余2个节点：

#成为127.0.0.1:7003的从节点
127.0.0.1:7006> cluster replicate 05e72d06edec6a920dd91b050c7a315937fddb66
OK
#成为127.0.0.1:7001的从节点
127.0.0.1:7004> cluster replicate 11f9169577352c33d85ad0d1ca5f5bf0deba3209
OK

查看节点状态：cluster nodes

127.0.0.1:7001> cluster nodes
2b8b518324de0990ca587b47f6316e5f07b1df59 127.0.0.1:7006 slave 05e72d06edec6a920dd91b050c7a315937fddb66 0 1488255859347 4 connected
11f9169577352c33d85ad0d1ca5f5bf0deba3209 127.0.0.1:7001 myself,master - 0 0 1 connected 0-5461
05e72d06edec6a920dd91b050c7a315937fddb66 127.0.0.1:7003 master - 0 1488255860348 2 connected 10923-16383
e1b78bb74970d0353832b2913e9b35eba74a2a1a 127.0.0.1:7005 slave b461a30fde28409c38ee6c32db1cd267a6cfd125 0 1488255858344 3 connected
7438368ca8f8a27fdf2da52940bb50098a78c6fc 127.0.0.1:7004 slave 11f9169577352c33d85ad0d1ca5f5bf0deba3209 0 1488255856341 5 connected
b461a30fde28409c38ee6c32db1cd267a6cfd125 127.0.0.1:7002 master - 0 1488255857343 3 connected 5462-10922

遇到的问题

1.配置文件里面的配置项修改遗漏，导致集群搭建失败；
2.主节点哈希槽的分配要经过计算，按需分配，哈希槽分配不完，集群搭建失败；

参考文章：

1. http://www.redis.cn/topics/cluster-tutorial.html
2. https://www.cnblogs.com/zhoujinyi/p/6477133.html