redis高可用集群搭建和详解

一.搭建

        redis集群需要至少三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节点，总共6个redis节点，这里用三台机器部署6个redis实例，每台机器一主一从。

                第一步：在第一台机器的/usr/local（redis的同级目录）下创建文件夹redis-cluster，然后在其下面分别创建2个文件夾如下

                        （1）mkdir -p /usr/local/redis-cluster

                        （2）mkdir 8001 8004

                第二步：把redis中的redis.conf配置文件copy到8001下，修改如下内容： 

                        （1）daemonize yes

                        （2）port 8001（分别对每个机器的端口号进行设置）

                        （3）pidfile /var/run/redis_8001.pid # 把pid进程号写入pidfile配置的文件

                        （4）dir /usr/local/redis-cluster/8001/（指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据）

                        （5）cluster-enabled yes（启动集群模式）

                        （6）cluster-config-file nodes-8001.conf（集群节点信息文件，这里800x最好和port对应上）

                        （7）cluster-node-timeout 10000

                          (8)# bind 127.0.0.1（bind绑定的是自己机器网卡的ip，如果有多块网卡可以配多个ip，代表允许客户端通过机器的哪些网卡ip去访问，内网一般可以不配置bind，注释掉即可）       

                        (9)protected-mode no （关闭保护模式）

                        (10)appendonly yes

                        如果要设置密码需要增加如下配置：

                        (11)requirepass yang(设置redis访问密码)

                        (12)masterauth yang(设置集群节点间访问密码，跟上面一致)

                第三步：把修改后的配置文件，copy到8004，修改第2、3、4、6项里的端口号，可以用批量替换：

                        :%s/源字符串/目的字符串/g

                第四步：另外两台机器也需要做上面几步操作，第二台机器用8002和8005，第三台机器用8003和8006

                第五步：分别启动6个redis实例，然后检查是否启动成功

                        /usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8001/redis.conf                         /usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8002/redis.conf                         /usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8003/redis.conf                         /usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8004/redis.conf                         /usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8005/redis.conf                         /usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8006/redis.conf

                        ps -ef|grep redis

                第六步：用redis-cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis-trib.rb实现)

                        /usr/local/redis-5.0.3/src/redis-cli -a yang --cluster create --cluster-replicas 1 192.168.120.123:8001 192.168.120.124:8002 192.168.120.125:8003 192.168.120.123:8004 192.168.120.124:8005 192.168.120.125:8006

                        注意点：

                        1）三台机器可以互相访问，保证防火墙是关闭状态，如果不关闭防火墙则需要打开redis服务端口和集群节点gossip通信端口16379(默认是在redis端口号上加1W)

                        2）--cluster-replicas 后面的参数1是代表每个主节点有1个从节点备份

                        3）注意这是创建命令，如果服务重启不需要在执行此命令，只需要重启主节点即可，redis会根据上一步中第六个设置cluster-config-file中的信息自动连接集群。

                        4）我们创建集群的命令有6个ip，根据参数1，判断出是三主三从结构，那前三个ip大概率会是主节点。

                        5）创建成功后，会出现下图绿色字体。其中信息：M代表主节点，后面跟的是此节点在系统内部的唯一标识，接着是ip地址。slots（槽位），其值就是hash值取16384的模，其是一个逻辑内存，redis集群存储是分片的，所有的主从节点合在一起才是整个存储内容。所以每个主从节点的数量其实就相当于n分之16384，在我们这里大概就相当于三分之16384.                     

                        6）yes后，出现如下绿色文字内容则说明redis集群搭建完毕。

                 第七步：验证集群：

                        （1）连接任意一个客户端即可：./redis-cli -c -h -p (-a访问服务端密码，-c表示集群模式，指定ip地址和端口号）

                        例如：/usr/local/redis-5.0.3/src/redis-cli -a yang -c -h 192.168.120.123 -p 8001

                        （2）进行验证： cluster info（查看集群信息）、cluster nodes（查看节点列表）

                        

                         通过唯一标识我们会发现同一台机配置的两个redis实例，不是一个主从节点，这样就能在服务器宕机时保证数据的安全性。

                        （3）关闭集群则需要逐个进行关闭，使用命令：

                                /usr/local/redis-5.0.3/src/redis-cli -a yang -c -h 192.168.0.60 -p 800* shutdown

二.Redis集群原理分析

        1.槽位定位算法

                Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。

        2.跳转重定位

                当客户端向一个错误的节点发出了指令，该节点会发现指令的 key 所在的槽位并不归自己管理，这时它会向客户端发送一个特殊的跳转指令携带目标操作的节点地址，告诉客户端去连这个节点去获取数据。客户端收到指令后除了跳转到正确的节点上去操作，还会同步更新纠正本地的槽位映射表缓存，后续所有 key 将使用新的槽位映射表。

        

        3.Redis集群节点间的通信机制

                维护集群的元数据(集群节点信息，主从角色，节点数量，各节点共享的数据等)有两种方式：集中式和gossip,redis cluster节点间采取gossip协议进行通信。

                （1）集中式

                        优点在于元数据的更新和读取，时效性非常好，一旦元数据出现变更立即就会更新到集中式的存储中，其他节点读取的时候立即就可以立即感知到；不足在于所有的元数据的更新压力全部集中在一个地方，可能导致元数据的存储压力。 很多中间件都会借助zookeeper集中式存储元数据。

                （2）gossip

                        gossip协议的优点在于元数据的更新比较分散，不是集中在一个地方，更新请求会陆陆续续，打到所有节点上去更新，有一定的延时，降低了压力；缺点在于元数据更新有延时可能导致集群的一些操作会有一些滞后。所以一般一个集群我们也不会布置太多的节点，避免节点变动带来的心跳压力。

                        gossip通信的10000端口 

                        每个节点都有一个专门用于节点间gossip通信的端口，就是自己提供服务的端口号+10000，比如7001，那么用于节点间通信的就是17001端口。

        4.网络抖动

                真实世界的机房网络往往并不是风平浪静的，它们经常会发生各种各样的小问题。比如网络抖动就是非常常见的一种现象，突然之间部分连接变得不可访问，然后很快又恢复正常。

                为解决这种问题，Redis Cluster 提供了一种选项cluster-node-timeout，表示当某个节点持续 timeout 的时间失联时，才可以认定该节点出现故障，需要进行主从切换。如果没有这个选项，网络抖动会导致主从频繁切换 (数据的重新复制)。

        5.Redis集群选举原理分析

                当slave发现自己的master变为FAIL状态时，便尝试进行Failover，以期成为新的master。由于挂掉的master可能会有多个slave，从而存在多个slave竞争成为master节点的过程， 其过程如下：

                1.slave发现自己的master变为FAIL

                2.将自己记录的集群currentEpoch（选举周期）加1，并广播FAILOVER_AUTH_REQUEST 信息

                3.其他节点收到该信息，只有master响应，判断请求者的合法性，并发送FAILOVER_AUTH_ACK，对每一个epoch只发送一次ack

                4.尝试failover的slave收集master返回的FAILOVER_AUTH_ACK

                5.slave收到超过半数master的ack后变成新Master(这里解释了集群为什么至少需要三个主节点，如果只有两个，当其中一个挂了，只剩一个主节点是不能选举成功的)

                6.slave广播Pong消息通知其他集群节点。

                

                从节点并不是在主节点一进入 FAIL 状态就马上尝试发起选举，而是有一定延迟，一定的延迟确保我们等待FAIL状态在集群中传播，slave如果立即尝试选举，其它masters或许尚未意识到FAIL状态，可能会拒绝投票

                延迟计算公式：

                        DELAY = 500ms + random(0 ~ 500ms) + SLAVE_RANK * 1000ms

                SLAVE_RANK表示此slave已经从master复制数据的总量的rank。Rank越小代表已复制的数据越新。这种方式下，持有最新数据的slave将会首先发起选举（理论上），也能有效避免因平票造成多个选举周期。

        6.集群脑裂数据丢失问题

                redis集群没有过半机制会有脑裂问题，网络分区导致脑裂后多个主节点对外提供写服务，一旦网络分区恢复，会将其中一个主节点变为从节点，这时会有大量数据丢失。规避方法可以在redis配置里加上参数(这种方法不可能百分百避免数据丢失，参考集群leader选举机制)：

                min-replicas-to-write 1         //写数据成功最少同步的slave数量，这个数量可以模仿大于半数机制配置，比如集群总共三个节点可以配置1，加上leader就是2，超过了半数

                注意：这个配置在一定程度上会影响集群的可用性，比如slave要是少于1个，这个集群就算leader正常也不能提供服务了，需要具体场景权衡选择。

        7.集群是否完整才能对外提供服务

                当redis.conf的配置cluster-require-full-coverage为no时，表示当负责一个插槽的主库下线且没有相应的从库进行故障恢复时，集群仍然可用，如果为yes则集群不可用。

        8.Redis集群为什么至少需要三个master节点，并且推荐节点数为奇数？

                因为新master的选举需要大于半数的集群master节点同意才能选举成功，如果只有两个master节点，当其中一个挂了，是达不到选举新master的条件的。

                奇数个master节点可以在满足选举该条件的基础上节省一个节点，比如三个master节点和四个master节点的集群相比，大家如果都挂了一个master节点都能选举新master节点，如果都挂了两个master节点都没法选举新master节点了，所以奇数的master节点更多的是从节省机器资源角度出发说的。

       

        9.Redis集群对批量操作命令的支持

                对于类似mset，mget这样的多个key的原生批量操作命令，redis集群只支持所有key落在同一slot的情况，如果有多个key一定要用mset命令在redis集群上操作，则可以在key的前面加上{XX}，这样参数数据分片hash计算的只会是大括号里的值，这样能确保不同的key能落到同一slot里去，示例如下：

                mset {user1}:1:name zhuge {user1}:1:age 18

                假设name和age计算的hash slot值不一样，但是这条命令在集群下执行，redis只会用大括号里的 user1 做hash slot计算，所以算出来的slot值肯定相同，最后都能落在同一slot。

三.Redis集群之水平扩展

        1.增加redis实例

                在/usr/local/redis-cluster下创建8007和8008文件夹，并拷贝8001文件夹下的redis.conf文件到8007和8008这两个文件夹下

                

mkdir 8007 8008
cd 8001
cp redis.conf /usr/local/redis-cluster/8007/
cp redis.conf /usr/local/redis-cluster/8008/

# 修改8007文件夹下的redis.conf配置文件
vim /usr/local/redis-cluster/8007/redis.conf
# 修改如下内容：
port:8007
dir /usr/local/redis-cluster/8007/
cluster-config-file nodes-8007.conf

# 修改8008文件夹下的redis.conf配置文件
vim /usr/local/redis-cluster/8008/redis.conf
修改内容如下：
port:8008
dir /usr/local/redis-cluster/8008/
cluster-config-file nodes-8008.conf

# 启动8007和8008俩个服务并查看服务状态
/usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8007/redis.conf
/usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8008/redis.conf
ps -el | grep redis

        2.配置8007为集群主节点

                使用add-node命令新增一个主节点8007(master)，前面的ip:port为新增节点，后面的ip:port为已知存在节点，看到日志最后有"[OK] New node added correctly"提示代表新节点加入成功

                /usr/local/redis-5.0.3/src/redis-cli -a yang --cluster add-node 192.168.0.61:8007 192.168.0.61:8001

                注意：当添加节点成功以后，新增的节点不会有任何数据，因为它还没有分配任何的slot(hash槽)，我们需要为新节点手工分配hash槽。

                使用redis-cli命令为8007分配hash槽，找到集群中的任意一个主节点，对其进行重新分片工作。

                /usr/local/redis-5.0.3/src/redis-cli -a yang --cluster reshard 192.168.0.61:8001

                输出如下：

                How many slots do you want to move (from 1 to 16384)? 600

                (ps:需要多少个槽移动到新的节点上，自己设置，比如600个hash槽)

                What is the receiving node ID? 2728a594a0498e98e4b83a537e19f9a0a3790f38

                (ps:把这600个hash槽移动到哪个节点上去，需要指定我们新增的节点id)

                Please enter all the source node IDs.

                  Type 'all' to use all the nodes as source nodes for the hash slots.

                  Type 'done' once you entered all the source nodes IDs.

                Source node 1:all

                (ps:输入all为从所有主节点(8001,8002,8003)中分别抽取相应的槽数指定到新节点中，抽取的总槽数为600个)

                Do you want to proceed with the proposed reshard plan (yes/no)? yes

                (ps:输入yes确认开始执行分片任务)

        3.配置8008为8007的从节点

                /usr/local/redis-5.0.3/src/redis-cli -a yang --cluster add-node 192.168.0.61:8008 192.168.0.61:8001

                我们需要执行replicate命令来指定当前节点(从节点)的主节点id为哪个,首先需要连接新加的8008节点的客户端，然后使用集群命令进行操作，把当前的8008(slave)节点指定到一个主节点下(这里使用之前创建的8007主节点)

        

/usr/local/redis-5.0.3/src/redis-cli -a zhuge -c -h 192.168.0.61 -p 8008
192.168.0.61:8008> cluster replicate 2728a594a0498e98e4b83a537e19f9a0a3790f38  #后面这串id为8007的节点id

        

        4.删除8008从节点 

                用del-node删除从节点8008，指定删除节点ip和端口，以及节点id(红色为8008节点id)

                

/usr/local/redis-5.0.3/src/redis-cli -a zhuge --cluster del-node 192.168.0.61:8008 a1cfe35722d151cf70585cee21275565393c0956

        5.删除8007主节点

                 最后，我们尝试删除之前加入的主节点8007，这个步骤相对比较麻烦一些，因为主节点的里面是有分配了hash槽的，所以我们这里必须先把8007里的hash槽放入到其他的可用主节点中去，然后再进行移除节点操作，不然会出现数据丢失问题(目前只能把master的数据迁移到一个节点上，暂时做不了平均分配功能)，执行命令如下：

/usr/local/redis-5.0.3/src/redis-cli -a zhuge --cluster reshard 192.168.0.61:8007

                输出如下

                        How many slots do you want to move (from 1 to 16384)? 600

                        What is the receiving node ID? dfca1388f124dec92f394a7cc85cf98cfa02f86f

                        (ps:这里是需要把数据移动到哪？8001的主节点id)

                        Please enter all the source node IDs.

                          Type 'all' to use all the nodes as source nodes for the hash slots.

                          Type 'done' once you entered all the source nodes IDs.

                        Source node 1:2728a594a0498e98e4b83a537e19f9a0a3790f38

                        (ps:这里是需要数据源，也就是我们的8007节点id)

                        Source node 2:done

                        (ps:这里直接输入done 开始生成迁移计划)

                        Do you want to proceed with the proposed reshard plan (yes/no)? Yes

                最后我们直接使用del-node命令删除8007主节点即可

                        /usr/local/redis-5.0.3/src/redis-cli -a zhuge --cluster del-node 192.168.0.61:8007 2728a594a0498e98e4b83a537e19f9a0a3790f38