redis学习(三)——集群实现容纳大数据量原理

redis 实现高并发主要依靠主从架构，一主多从。要高可用，就要加哨兵，可以实现任何一个实例宕机，可进行主备切换。高并发高可用后想容纳大数据，要redis集群
主从架构：连接
哨兵：连接
1.redis cluster 介绍

• 自动将数据进行分片，每个 master 上放一部分数据
• 提供内置的高可用支持，部分 master 不可用时，还是可以继续工作的

redis cluster 架构下，每个 redis 要放开两个端口号，比如一个是 6379，另外一个就是 加1w 的端口号，比如 16379。16379 端口号是用来进行**节点间通信（cluster bus）**的，该通信用来进行故障检测、配置更新、故障转移授权
2.redis cluster 的高可用与主从切换原理
redis cluster 的高可用的原理，几乎跟哨兵是类似的。
判断节点宕机：如果一个节点认为另外一个节点宕机，那么就是 pfail，主观宕(sdown)。如果多个节点都认为另外一个节点宕机了，那么就是 fail，客观宕机(odown)，跟哨兵的原理几乎一样
从节点过滤:对宕机的 master node，从其所有的 slave node 中，选择一个切换成 master node
从节点选举:个从节点，都根据自己对 master 复制数据的 offset，来设置一个选举时间，offset 越大（复制数据越多）的从节点，选举时间越靠前，优先进行选举
3.节点间的内部通信机制
（1）基本通信原理：集群元数据的维护有两种方式：集中式、Gossip 协议（redis cluster 节点间采用）
集中式：将集群元数据（节点信息、故障等等）几种存储在某个节点上，底层基于 zookeeper（分布式协调的中间件）对所有元数据进行存储维护。
gossip 协议模式：所有节点都持有一份元数据，不同的节点如果出现了元数据的变更，就不断将元数据发送给其它的节点，让其它节点也进行元数据的变更

集中式的好处在于，元数据的读取和更新，时效性非常好，一旦元数据出现了变更，就立即更新到集中式的存储中，其它节点读取的时候就可以感知到；不好在于，所有的元数据的更新压力全部集中在一个地方，可能会导致元数据的存储有压力。

gossip 好处在于，元数据的更新比较分散，不是集中在一个地方，更新请求会陆陆续续打到所有节点上去更新，降低了压力；不好在于，元数据的更新有延时，可能导致集群中的一些操作会有一些滞后。
（2）gossip 协议深入理解：gossip 协议包含多种消息，包含 meet,ping,pong,fail

• meet：某个节点发送 meet 给新加入的节点，让新节点加入集群中，然后新节点就会开始与其它节点进行通信
• ping：每个节点都会频繁给其它节点发送 ping，其中包含自己的状态还有自己维护的集群元数据，互相通过 ping 交换元数据
• pong：返回 ping 和 meeet，包含自己的状态和其它信息，也用于信息广播和更
• fail：某个节点判断另一个节点 fail之后，就发送 fail 给其它节点，通知其它节点说，某个节点宕机了

4.分布式寻址算法

• hash 算法（大量缓存重建）
• 一致性 hash 算法（自动缓存迁移）+ 虚拟节点（自动负载均衡）
• redis cluster 的hash slot 算法
  hash算法：来了一个 key，首先计算 hash 值，然后对节点数取模然后打在不同的 master 节点上，一旦某一个 master 节点宕机，所有请求过来，都会基于最新的剩余 master 节点数去取模尝试取数据，导致大部分的请求过来，全部无法拿到有效的缓存，导致大量的流量涌入数据库
  一致性 hash 算法：将整个 hash 值空间组织成一个顺时针方向虚拟圆环，下一步将各个 master 节点（使用服务器的 ip 或主机名）进行 hash。这样就能确定每个节点在其哈希环上的位置
  来了一个 key，首先计算 hash 值，并确定此数据在环上的位置，从此位置沿环顺时针“行走”，遇到的第一个 master 节点就是 key 所在位置。
  如果一个节点挂了，受影响的数据仅仅是此节点到环空间前一个节点（沿着逆时针方向行走遇到的第一个节点）之间的数据，其它不受影响。增加一个节点也同理
  虚拟节点机制：解决节点太少时容易因为节点分布不均匀而造成缓存热点的问题，即对每一个节点计算多个 hash，每个计算结果位置都放置一个虚拟节点。这样就实现了数据的均匀分布，负载均衡。
  redis cluster 的 hash slot 算法：redis cluster 有固定的 16384 个 hash slot，对每个 key 计算 CRC16 值，然后对 16384 取模，可以获取 key 对应的 hash slot。任何一台机器宕机，另外两个节点不影响，因为 key 找的是 hash slot，不是机器