Redis集群

Redis集群的基本原理概述

一、Redis集群产生的背景：

根源：单节点Redis服务器容易带来问题。
1、单点故障，导致服务不可用；
2、无法处理大量的并发数据请求；
—>纵向：开启多个Redis进程，但是cpu容易压力过大
横向：增加Redis服务器数量，非单一增加，组合集群
3、数据丢失—大灾难。

如何解决？

搭建Redis集群！

二、Redis集群介绍：

1、Redis集群是一个提供在多个Redis间节点间共享数据的程序集；
2、Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误；
3、Redis集群通过分区来提供一定程度的可用性，在实际环境中当某个节点宕机或者不可达的情况下课继续处理命令；
即：
高可用、节点间共享数据；
没法像单台Redis一样，获取数据那么高性能；

三、Redis集群优势：

1、自动分割数据到不同的节点上；
2、整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

四、Redis集群的模式：

Redis集群主要有三种模式：主从同步、哨兵模式、Cluster，下面会主要介绍这三种模式。

在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和集群：

1、主从复制：

主从复制是高可用的Redis的基础，哨兵和集群都是基于主从复制来实现的。
主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。
缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受单机限制。

2、哨兵：自动化的故障恢复

在主从复制的基础上，实现了自动化的故障恢复。
缺点：写操作无法负载均衡；存储能力受单机限制。

3、集群：****

通过集群，完美解决了写操作无法负载均衡，存储能力受到单机限制的问题，实现了较为完善的高可用方案。

五、Redis集群：

1、Redis是一个开源的key-value存储系统，受到了广大互联网公司的青睐。Redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群redis集群采用P2P模式，是完全去中心化的，不存在中心节点或者代理节点;
其中：
中心化：即类似主从复制的区分主次关系的集群；
—>冗余备份、高性能、单点故障
去中心化：服务器直接不存在主次关系；
—>共享—挂掉一个不会有太大影响、方便横向扩容增加服务器、没有典型的单点故障、HA方式是分布式

2、为了实现集群的高可用，即判新节点是否健康(能否正常使用)，redis-cluster有一个投票容错机制:
即如果集群中超过半数的节点投票认为某个节点挂了，那么这个节点就挂了(fail)。这是判断节点是否挂了的方法:
判新集群是否正常:
如果集群中任意一个节点挂了，而且该节点没有从节点(备份节点)，那么这个集群就挂了。
这是判断集群是否挂了的方法。

PS：
那么为什么任意一个节点挂了(没有从节点)这个集群就挂了？
因为集群内置了16384个哈希槽，并且把所有的物理节点映射到了这[0-16383]个哈希槽上，或者说把哈希槽均匀的分配给各节点。
当需要在Redis集群存放一个数据时，Redis会先对这个key进行crc16算法，然后得到一个结果再把这个结果对16384进行求余，这个余数会对应[0-16383]中一个槽，进而决定key-value存储到哪个节点。所以一单某个节点挂了，对应的哈希槽就没法用了，集群就无法工作了。

示例(三个节点):
  节点A覆盖0-5460;
  节点B覆盖5461-10922;
  节点c覆盖10923-16383
  即:每个节点有5460个哈希槽
新增一个节点:
  节占A覆盖1365-5460
  节占B覆盖6827-10922
  节点c覆盖12288-16383
  节点D覆盖0-1364.5461-6826.10923-12287
  即:每个节点有4095个哈希槽
  --->从每个节点取出一部分给新的节点
综上所述，每个Redis集群理论上最多可以有16384个节点。

六、Redis主从复制：

1、主从模式：

通过持久化功能，redis保证了即使在服务器重启的情况下也不会丢失(或少量丢失)数据，因为持久化会把内存中的数据保存到硬盘上，重启会从硬盘上加载数据，但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出现故障，其他服务器依然可以继续提供服务，为此，redis提供了复制(replication)功能，可以实现当一台数据库中的数据更新后，自动将更新的数据同步到其他数据库上。
在复制的概念中，数据库分为两类，一类是主数据库(master)，另一类是从数据(slave)。主数据可以进行读写操作，当写操做导致数据变化时自动把数据同步给从数据库，而从数据库一般是只读的，并接收主数据同步过来的数据。一个主数据库可以拥有多个从数据库，而一个从数据库只能拥有一个主数据库。

2、主从复制流程：

①redis-主：
1、缓存写入操作的命令
2、主redis派生一个子进程，触发RDB持久化，生成RDB快照文件
在触发RDB持久化到完成的过程中，客户端在持续写入，这段数据是保存在内存、缓存，这类的数据，靠AOF进行持久化
3、在ADB持久化完成，生成.rdb文件后，主会将.rdb文件和aof持久化的缓存命令，全部交给redis-从服务
4、在持续的主从同步过程中，客户端会持续进行写入命令操作，命令操作也会由主安按照一定的规则来同步给从服务器

②redis-从：
rdb文件和缓存的命令
基于以上部分进行加载以达到与master趋于一致的状态

七、哨兵模式：

1、哨兵模式集群架构：

哨兵是Redis集群架构中非常重要的一个组件，哨兵的出现主要是解决了主从复制出现故障时需要人为干预的问题。

2、哨兵模式主要功能：

①：集群监控：负责监控Redis的master和slave进程是否正常工作
②：消息通知：如果某个Redis实例有故障，那么哨兵负责发送消息作为告警通知给管理员
③：故障转移：如果master node(master角色)挂掉了，会自动转移到slave node上
④：配置中心：如果故障转移发生了，通知client客户端新的master地址
使用一个或者多个哨兵(Sentinel)实例组成的系统，对redis节点进行监控在主节点出现故障的情况下，能将从节点中的一个从节点角色升级为主节点，进行故障转义，保证系统的可用性

3、哨兵们监控整个系统节点的过程

①：哨兵之间相互进行命令连接目的为了在同一频道进行信息共享和监控
②：哨兵们向master发送命令连接和订阅连接(周期性)
③：哨兵10/s向master发送info,iR-M会回应哨兵本节点的信息状态+从节点的位置
④：哨兵收到回复之后,知晓R-S01 R-S02的位置
⑤：然后再向slaves发送命令连接和订阅连接(周期性) ,以达到监控整个集群的目的

4、哨兵模式下的故障迁移

①：主观下线
哨兵(Sentinel)节点会每秒一次的频率向建立了命令连接的实例发送PING命令，如果在down-after-milliseconds毫秒内没有做出有效响应包括(PONG/ LOADING/MASTERDOWN)以外的响应，哨兵就会将该实例在本结构体中的状态标记为SRI_s_DOWN主观下线
②：客观下线
当一个哨兵节点发现主节点处于主观下线状态是，会向其他的哨兵节点发出询问，该节点是不是已经主观下线了。如果超过配置参数quorum个节点认为是主观下线时，该哨兵节点就会将自己维护的结构体中该主节点标记为SRIO DOWN客观下线询问命令SENTINEL is-master-down-by-addr
③：master选举
在认为主节点客观下线的情况下，哨兵节点节点间会发起一.次选举，命令为:SENTINEL is-master-down-by-addr只是runid这次会将自己的runid带进去， 希望接受者将自己设置为主节点。如果超过半数以.上的节点返回将该节点标记为leacer的情况下，会有该leader对故障进行迁移
⑥：故障转移
在从节点中挑选出新的主节点
通讯正常
优先级排序
优先级相同时选择offset最大的( 最接近master的)
将该节点设置成新的主节点SLAVEOFnoone,并确保在后续的INGO命令时该节点返回状态为master
将其他的从节点设置成从新的主节点的从节点，SLAVEQF命令
将旧的主节点变成新的主节点的从节点

八、Cluster集群模式：

主节点负责读写请求和集群信息的维护，从节点只进行主节点数据和状态信息的复制。

作用：

1、数据分区：

数据分区( 或称数据分片)是集群最核心的功能( 分布式)
集群将数据分散到多个节点，一方面突破了Redis
单机内存大小的限制，存储容量大大增加，另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力
Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及
例如，如果单机内存太大，bgsave 和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出

2、高可用

集群支持主从复制(模式)和主节点的自动故障转移(与哨兵类似)，当任意节点发送故障时，集群仍然可以对外提供服务

3、数据分片

Redis 集群引入了哈希槽的概念，有16384 个哈希槽(编号0~16383)
集群的每个节点负责一部分哈希槽，每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存
取操作
以3个节点组成的集群为例:
节点A包含0~5469号的哈希槽
节点B包含5461~10922号的哈希槽
节点C包含10923~16383 号的哈希槽