Redis篇-02-集群搭建&结构比较

最新推荐文章于 2024-09-28 20:30:01 发布

只喝冰拿铁

最新推荐文章于 2024-09-28 20:30:01 发布

阅读量459

点赞数

分类专栏： java 文章标签： redis 数据库 java

本文链接：https://blog.csdn.net/weixin_44888252/article/details/126756033

版权

java 专栏收录该内容

14 篇文章

订阅专栏

三、Redis—集群搭建

1、哨兵模式

①、哨兵模式架构图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uYT9iGPe-1662564514239)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fe8a67be09b2475bb7b44764ab2f04cf~tplv-k3u1fbpfcp-zoom-1.image)]

缺点性能和高可用行等表现一般，特别是主从切换的瞬间存在访问瞬断情况，单节点内存不宜过大，否则会导致持久化文件过大，影响数据恢复或主从同步的效率。

②、哨兵leader选举流程

当一个master服务器被某sentinel视为下线状态后，该sentinel会与其他sentinel协商选出sentinel的leader进行故障转移工作。每个发现master服务器进入下线的sentinel都可以要求其他sentinel选自己为sentinel的leader，选举是先到先得。同时每个sentinel每次选举都会自增配置纪元(选举周期)，每个纪元中只会选择一个sentinel的leader。如果所有超过一半的sentinel选举某sentinel作为leader。之后该sentinel进行故障转移操作，从存活的slave中选举出新的master，这个选举过程跟集群的master选举很类似。哨兵集群只有一个哨兵节点，redis的主从也能正常运行以及选举master，如果master挂了，那唯一的那个哨兵节点就是哨兵leader了，可以正常选举新master。

不过为了高可用一般都推荐至少部署三个哨兵节点。为什么推荐奇数个哨兵节点原理跟集群奇数个master节点类似。

2、Redis主从架构

①、主从架构图（普通）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JZdFnAQ6-1662564514240)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fbc7478b45204c86b238fd44ba539b4d~tplv-k3u1fbpfcp-zoom-1.image)]

②、主从数据复制原理图(全量)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-57JlJY3P-1662564514240)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/13770c94b2e4440981e33323c7e38847~tplv-k3u1fbpfcp-zoom-1.image)]

③、主从数据复制原理图(局部-数据复制(断点续传))

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SsiCrcpR-1662564514240)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5374379e32b249459722b7cbfd364a83~tplv-k3u1fbpfcp-zoom-1.image)]

④、PSYNC命令

有完整重同步（full resynchronization 也就是 SYNC）和部分重同步（partial resynchronizationl）两种模式。

部分重同步功能由以下三个部分构成：

1、主服务的复制偏移量（replication offset）和从服务器的复制偏移量。

2、主服务器的复制积压缓冲区（replication backlog），默认大小为1M。

3、服务器的运行ID（run ID），用于存储服务器标识，如从服务器断线重新连接，取到主服务器的运行 ID 与重接后的主服务器运行 ID 进行对比，从而判断是执行部分重同步还是执行完整重同步。

⑤、主从复制风暴解决方式（从节点从从节点同步）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7wr8NWxS-1662564514241)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ac7f8edb91fe4a448b907b9edfac1147~tplv-k3u1fbpfcp-zoom-1.image)]

⑥、搭建步骤

Redis实例配置

--- 本机启动多个redis实例需要使用不同的配置文件启动
--- 修改配置文件，以守护进程模式启动
daemonize yes 
--- 指定数据文件存放位置，不然会丢失数据
dir /usr/local/redis-cluster/8001/
--- 启动集群模式
cluster-enabled yes
--- 集群节点信息文件（对应实例存储集群节点的文件）
cluster-config-file nodes-8001.conf
--- 集群节点通信超时时间
cluster-node-timeout 5000
--- 去掉bind绑定访问ip信息
# bind 127.0.0.1
--- 关闭保护模式（内网）
protected-mode  no
--- 开启持久化的模式（AOF和混合模式）
appendonly yes
aof-use-rdb-preamble yes
--- 设置Redis访问密码
requirepass password
--- 设置集群节点间访问密码
masterauth password

---- 配置主从复制
replicaof 192.168.0.60 6379 # 从本机6379的redis实例复制数据，Redis 5.0之前使用slaveof
 # 配置从节点只读
replica‐read‐only yes


--- 启动实例
redis-server redis.conf
--- 查看是否启动成功
ps -ef | grep redis

集群启动：

--- 用redis-cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis-trib.rb实现) 
--- cluster-replicas指定从节点个数
redis-cli -a password --cluster create --cluster-replicas 1 ip:port ip:port ip:port

集群验证：

--- 参数c:集群模式 a:密码
redis-cli -c -h 域名/ip -p 端口 -a 
--- 查看集群信息
cluster info
---查看节点列表
cluster nodes

--- 关闭集群需要逐个退出Redis
redis-cli -a zhuge -c -h host -p port shutdown

3、Redis主从结构的集群扩容

--- add-node命令新增一个主节点
redis-cli --cluster add-node host:port

--- 新节点手工分配hash槽,找到集群中的任意一个主节点
redis-cli --cluster reshard host:port

--- 需要多少个槽移动到新的节点上，自己设置，比如600个hash槽
How many slots do you want to move (from 1 to 16384)? 600
--- 输入all为从所有主节点中分别抽取相应的槽数指定到新节点中，抽取的总槽数为600个
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node 1:
--- 输入yes确认开始执行分片任务
Do you want to proceed with the proposed reshard plan (yes/no)? yes


--- 我们需要执行replicate命令来指定当前节点(从节点)的主节点id为哪个,首先需要连接新加节点的客户端，
--- 然后使用集群命令进行操作，把当前的slave节点指定到一个主节点下(这里使用之前创建主节点，红色表示节点id)
redis-cli -c -h host -p port
cluster replicate eb57a5700ee6f9ff099b3ce0d03b1a50ff247c3c

--- 用del-node删除从节点8008，指定删除节点ip和端口，以及节点id
redis-cli --cluster del-node host:port 1805b6339d91b0e051f46845eebacb9bc43baefe

4、Redis主从结构删除主节点

最后，我们尝试删除之前加入的主节点8007，这个步骤相对比较麻烦一些，因为主节点的里面是有分配了hash槽的，所以我们这里必须先把8007里的hash槽放入到其他的可用主节点中去，然后再进行移除节点操作，不然会出现数据丢失问题(目前只能把master的数据迁移到一个节点上，暂时做不了平均分配功能)，执行命令如下：

redis-cli --cluster reshard host:port
----
输出如下：
 ... ...
How many slots do you want to move (from 1 to 16384)? 600
What is the receiving node ID? deedad3c34e8437baa6ff013fd3d1461a0c2e761
(ps:这里是需要把数据移动到哪？8001的主节点id)
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node 1:eb57a5700ee6f9ff099b3ce0d03b1a50ff247c3c
(ps:这里是需要数据源，也就是我们的8007节点id)
Source node 2:done
(ps:这里直接输入done 开始生成迁移计划)
 ... ...
Do you want to proceed with the proposed reshard plan (yes/no)? Yes
(ps:这里输入yes开始迁移)


----
# 最后我们直接使用del-node命令删除8007主节点即可（红色表示8007的节点id）。
/usr/local/redis-5.0.2/src/redis-cli --cluster del-node 192.168.0.64:8007

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DVjlx0nS-1662564514241)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b94c2209779a442b8821a61399017e7f~tplv-k3u1fbpfcp-zoom-1.image)]

5、Redis—集群槽位概念

Redis Cluster 将所有数据划分为 16384 的 slots(槽位)，每个节点负责其中一部分槽位。槽位的信息存储于每个节点中，。

当 Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息并将其缓存在客户端本地。这样当客户端要查找某个 key 时，可以直接定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不一致的情况，还需要纠正机制来实现槽位信息的校验调整。

6、Redis—槽位定位算法

Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。

HASH_SLOT = CRC16(key) mod 16384

7、Redis—跳转重定位

当客户端向一个错误的节点发出了指令，该节点会发现指令的 key 所在的槽位并不归自己管理，这时它会向客户端发送一个特殊的跳转指令携带目标操作的节点地址，告诉客户端去连这个节点去获取数据。客户端收到指令后除了跳转到正确的节点上去操作，还会同步更新纠正本地的槽位映射表缓存，后续所有 key 将使用新的槽位映射表

8、Redis—网络抖动

真实世界的机房网络往往并不是风平浪静的，它们经常会发生各种各样的小问题。比如网络抖动就是非常常见的一种现象，突然之间部分连接变得不可访问，然后很快又恢复正常。

为解决这种问题，Redis Cluster 提供了一种选项cluster-node-timeout，表示当某个节点持续 timeout 的时间失联时，才可以认定该节点出现故障，需要进行主从切换。如果没有这个选项，网络抖动会导致主从频繁切换 (数据的重新复制)。

9、Redis—集群选举原理分析

当slave发现自己的master变为FAIL状态时，便尝试进行Failover，以期成为新的master。由于挂掉的master可能会有多个slave，从而存在多个slave竞争成为master节点的过程，其过程如下：

①、slave发现自己的master变为FAIL

②、将自己记录的集群currentEpoch加1，并广播FAILOVER_AUTH_REQUEST 信息

③、其他节点收到该信息，只有master响应，判断请求者的合法性，并发送FAILOVER_AUTH_ACK，对每一个epoch只发送一次ack

④、尝试failover的slave收集FAILOVER_AUTH_ACK

⑤、超过半数后变成新Master

⑥、广播Pong通知其他集群节点。

从节点并不是在主节点一进入 FAIL 状态就马上尝试发起选举，而是有一定延迟，一定的延迟确保我们等待FAIL状态在集群中传播，slave如果立即尝试选举，其它masters或许尚未意识到FAIL状态，可能会拒绝投票。

延迟计算公式：

DELAY = 500ms + random(0 ~ 500ms) + SLAVE_RANK * 1000ms

SLAVE_RANK表示此slave已经从master复制数据的总量的rank。Rank越小代表已复制的数据越新。这种方式下，持有最新数据的slave将会首先发起选举（理论上）。

四、Redis—部分结构比较

1、记录每日登陆页面的用户统计

统计登录数
		优点	缺点
Hash		简单，容易实现，查询也是方便，数据准确性非常高	占用内存过大。key增多，性能变差
Bitset	setbit key offset 0/1getbit key offsetbitcount key	占用内存小，查询方便，可以指定查询某个用户。	如果用户稀疏，那么占用的内存可能比Hash更大
概率算法	PFADD key a b c dPFCOUNT key	占用内存极小，对于一个key，只需要12KB。对于超多用户特别适用。	查询指定用户的时候，可能出错，存的不是具体的数据。总数也存在一定的误差
实现的 HyperLogLog（高级数据结构），只需要12K内存就能统计2^64个数据原理伯努利试验：是数学概率论中的一部分内容，它的典故来源于抛硬币HyperLogLog 和 LogLog 的区别就是，它采用的不是平均数，而是调和平均数

①、setbit key offset 0/1操作相关

使用场景：签到，连续签到有抽奖活动。

--- setbit set操作 O(1)
setbit key offset 0/1

--- getbit get操作 O(1)
getbit key offset

--- 统计出现1的个数 O(n)
bitcount key
--- bitop 统计操作(and、or、xor、not) O(n)
bitop or destkey key01 key02 ...

②、PFADD相关操作

--- pfadd 添加操作
PFADD key a b c d
--- 统计
PFCOUNT key

2、Redis性能测试

性能测试

redis-benchmark -h 127.0.0.1 -p 6379 -t set,lpush -n 10000 -q

查看配置，部分可能不行

config get *