一 集群原理
集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。
集群由多个节点(Node)组成，Redis的数据分布在这些节点中。
集群中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；从节点只进行主
节点数据和状态信息的复制。
Cluster模式是Redis的一种高级集群模式，它通过数据分片和分布式存储实现了负载均衡和高可用
性。
在Cluster模式下，Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据，称为
槽位。通过对数据的分片，Cluster模式可以突破单节点的内存限制，实现更大规模的数据存储。
1 集群的作用
（1）数据分区：
数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一
方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。
Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，
bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长
时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。
（2）高可用：
集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障
时，集群仍然可以对外提供服务。
2 Redis集群的作用和优势
高可用性：Redis集群可以在某个节点发生故障时，自动进行故障转移，保证服务的持续可用。
负载均衡：Redis集群可以将客户端请求分发到不同的节点上，有效地分摊节点的压力，提高系统
的整体性能。
容灾恢复：通过主从复制或哨兵模式，Redis集群可以在主节点出现故障时，快速切换到从节点，
实现业务的无缝切换。
数据分片：在Cluster模式下，Redis集群可以将数据分散在不同的节点上，从而突破单节点内存限
制，实现更大规模的数据存储。
易于扩展：Redis集群可以根据业务需求和系统负载，动态地添加或移除节点，实现水平扩展
3 Redis集群的数据分片：
- Redis集群引入了哈希槽的概念
- Redis集群有16384个哈希槽（编号0-16383）
- 集群的每个节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽
所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作
4 以3个节点组成的集群为例：
- 节点A包含0到5460号哈希槽
- 节点B包含5461到10922号哈希槽
- 节点C包含10923到16383号哈希槽
5 Redis集群的主从复制模型
集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽
而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节
点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用。
6 Redis集群的工作原理
集群有多组节点，每组节点负责一部分哈希槽。
读写数据时，先针对key根据crc16的算法得出一个结果，然后把结果对 16384 取余。通过这个值
去找到对应的哈希槽的节点，进行数据读写。
集群每组节点内做主从复制，当主节点宕机的时候，就会启用从节点。主节点负责读写请求和集群
信息的维护；从节点负责主节点数据和状态信息的复制。
二 搭建Redis 群集模式
redis的集群一般需要6个节点，3主3从。方便起见，这里所有节点在同一台服务器上模拟：
1 以端口号进行区分：
3个主节点端口号：6001/6002/6003，
对应的从节点端口号：6004/6005/6006。
cluster ①读写可以负载均衡 ②自动故障转移 ③突破了单机存储限制
master作用 ①可读、可写 ②利用分布式特性 存储上限 ③进行故障转移
slave作用 ①同步自身的master ②提供可读 ③冗余 备份 准备 顶替
2 搭建redis 集群
①关闭防火墙 进行解压
[root@mcb-11-14 ~]# cd /opt
[root@mcb-11-14 opt]# ls
rh
[root@mcb-11-14 opt]# rz -E
rz waiting to receive.
[root@mcb-11-14 opt]# ls
redis-5.0.7.tar.gz rh
[root@mcb-11-14 opt]# tar zxvf r
redis-5.0.7.tar.gz rh/
[root@mcb-11-14 opt]# tar zxvf redis-5.0.7.tar.gz
[root@mcb-11-14 opt]# cd redis-5.0.7/
[root@mcb-11-14 redis-5.0.7]# ls
00-RELEASENOTES COPYING Makefile redis.conf runtest-moduleapi src
BUGS deps MANIFESTO runtest runtest-sentinel tests
CONTRIBUTING INSTALL README.md runtest-cluster sentinel.conf utils
[root@mcb-11-14 redis-5.0.7]# rm -rf /var/run/yum.pid
[root@mcb-11-14 redis-5.0.7]# yum install gcc gcc-c++ make -y
[root@mcb-11-14 redis-5.0.7]# make PREFIX=/usr/local/redis install
[root@mcb-11-14 redis-5.0.7]# cd utils/
[root@mcb-11-14 utils]# ls
build-static-symbols.tcl graphs redis-copy.rb speed-regression.tcl
cluster_fail_time.tcl hashtable redis_init_script whatisdoing.sh
corrupt_rdb.c hyperloglog redis_init_script.tpl
create-cluster install_server.sh redis-sha1.rb
generate-command-help.rb lru releasetools
[root@mcb-11-14 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379]
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
[root@mcb-11-14 utils]# /etc/init.d/redis_6379 stop
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
[root@mcb-11-14 utils]# cd /etc/redis
[root@mcb-11-14 redis]# mkdir -p redis-cluster/redis600{1..6}
[root@mcb-11-14 redis6006]# ln -s /usr/local/redis/bin/* /usr/local/bin/ #不做这一步，会报错
②搭建Redis 群集模式
[root@mcb-11-14 utils]# cd /etc/redis/
[root@mcb-11-14 redis]# ls
6379.conf
[root@mcb-11-14 redis]# cd redis-cluster/
[root@mcb-11-14 redis-cluster]# ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@mcb-11-14 redis-cluster]# cd ..
[root@mcb-11-14 redis]# ls
6379.conf redis-cluster
[root@mcb-11-14 redis]# for i in {1..6}
> do
> cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
> cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
> done
[root@mcb-11-14 redis]# ll redis-cluster/redis6001
总用量 12704
-rwxr-xr-x. 1 root root 4808824 4月 7 14:29 redis-cli
-rw-r--r--. 1 root root 61797 4月 7 14:29 redis.conf
-rwxr-xr-x. 1 root root 8127288 4月 7 14:29 redis-server
[root@mcb-11-14 redis]# ls
6379.conf redis-cluster
[root@mcb-11-14 redis]# cd redis-cluster/
[root@mcb-11-14 redis-cluster]# ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@mcb-11-14 redis-cluster]# cd redis6001
[root@mcb-11-14 redis6001]# ls
redis-cli redis.conf redis-server
[root@mcb-11-14 redis6001]# vim redis.conf
③编译master节点配置文件
#bind 127.0.0.1 #69行，注释掉bind 项，默认监听所有网卡
protected-mode no #88行，修改，关闭保护模式
port 6001 #92行，修改，redis监听端口，
daemonize yes #136行，开启守护进程，以独立进程启动
cluster-enabled yes #832行，取消注释，开启群集功能
cluster-config-file nodes-6001.conf #840行，取消注释，群集名称文件设置
cluster-node-timeout 15000 #846行，取消注释群集超时时间设置
appendonly yes #700行，修改，开启AOF持久化
[root@mcb-11-14 redis6001]# vim redis.conf
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6002
cp：是否覆盖"../redis6002/redis.conf"？ yes
[root@mcb-11-14 redis6001]# vim ../redis6002/redis.conf 修改文本内容
92 port 6002
840 cluster-config-file nodes-6002.conf
继续拷贝
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6003
cp：是否覆盖"../redis6003/redis.conf"？ yes
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6004
cp：是否覆盖"../redis6004/redis.conf"？ yes
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6005
cp：是否覆盖"../redis6005/redis.conf"？ yes
[root@mcb-11-14 redis6001]# cp redis.conf ../redis6006
cp：是否覆盖"../redis6006/redis.conf"？ yes
92行 port 6002
840行 cluster-config-file nodes-6002.conf
[root@mcb-11-14 redis6001]# vim ../redis6003/redis.conf
92行 port 6003
840行 cluster-config-file nodes-6003.conf[root@mcb-11-14 redis6001]# vim ../redis6004/redis.conf
92行 port 6004
840行 cluster-config-file nodes-6004.conf
[root@mcb-11-14 redis6001]# vim ../redis6005/redis.conf
92 port 6005
840 cluster-config-file nodes-6005.conf
[root@mcb-11-14 redis6001]# vim ../redis6006/redis.conf
92 port 6006
840 cluster-config-file nodes-6006.conf
④启动redis节点
[root@mcb-11-14 redis-cluster]# for d in {1..6}
> do
> cd /etc/redis/redis-cluster/redis600$d
> redis-server redis.conf
> done
这样也行
[root@mcb-11-14 redis6006]# ln -s /usr/local/redis/bin/* /usr/local/bin/
[root@mcb-11-14 redis6006]# for d in {1..6}; do cd /etc/redis/redis-cluster/redis600$d; redis-server redis.conf; done
10398:C 07 Apr 2024 17:25:52.747 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10398:C 07 Apr 2024 17:25:52.747 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10398, just started
10398:C 07 Apr 2024 17:25:52.747 # Configuration loaded
10400:C 07 Apr 2024 17:25:52.754 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10400:C 07 Apr 2024 17:25:52.754 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10400, just started
10400:C 07 Apr 2024 17:25:52.754 # Configuration loaded
10402:C 07 Apr 2024 17:25:52.762 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10402:C 07 Apr 2024 17:25:52.762 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10402, just started
10402:C 07 Apr 2024 17:25:52.762 # Configuration loaded
10410:C 07 Apr 2024 17:25:52.770 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10410:C 07 Apr 2024 17:25:52.770 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10410, just started
10410:C 07 Apr 2024 17:25:52.770 # Configuration loaded
10415:C 07 Apr 2024 17:25:52.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10415:C 07 Apr 2024 17:25:52.775 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10415, just started
10415:C 07 Apr 2024 17:25:52.775 # Configuration loaded
10420:C 07 Apr 2024 17:25:52.779 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10420:C 07 Apr 2024 17:25:52.779 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=10420, just started
10420:C 07 Apr 2024 17:25:52.779 # Configuration loaded
[root@mcb-11-14 redis6006]# ps -ef | grep redis
root 10399 1 0 17:25 ? 00:00:00 redis-server *:6001 [cluster]
root 10401 1 0 17:25 ? 00:00:00 redis-server *:6002 [cluster]
root 10409 1 0 17:25 ? 00:00:00 redis-server *:6003 [cluster]
root 10414 1 0 17:25 ? 00:00:00 redis-server *:6004 [cluster]
root 10419 1 0 17:25 ? 00:00:00 redis-server *:6005 [cluster]
root 10424 1 0 17:25 ? 00:00:00 redis-server *:6006 [cluster]
root 10493 3574 0 17:33 pts/1 00:00:00 grep --color=auto redis
⑤启动集群
[root@mcb-11-14 redis6006]# redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 127.0.0.1:6005 to 127.0.0.1:6001
Adding replica 127.0.0.1:6006 to 127.0.0.1:6002
Adding replica 127.0.0.1:6004 to 127.0.0.1:6003
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: ab3223cc1465bb79bd5310b5044286eab261c593 127.0.0.1:6001
slots:[0-5460] (5461 slots) master
M: 7843a1fe4eeb70acc4915176284c3b1e583a6f65 127.0.0.1:6002
slots:[5461-10922] (5462 slots) master
M: c8bafedba2552472b5bfc1725d7e30879bda2302 127.0.0.1:6003
slots:[10923-16383] (5461 slots) master
S: 6a608dd808a72f735152f942e74caaaa7c2fa38f 127.0.0.1:6004
replicates 7843a1fe4eeb70acc4915176284c3b1e583a6f65
S: 7d08f9ff9aab477327776a5566546db608024739 127.0.0.1:6005
replicates c8bafedba2552472b5bfc1725d7e30879bda2302
S: 6f0f84e0e897edf9955da23f7c57ed989128a2ae 127.0.0.1:6006
replicates ab3223cc1465bb79bd5310b5044286eab261c593
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
......
>>> Performing Cluster Check (using node 127.0.0.1:6001)
M: ab3223cc1465bb79bd5310b5044286eab261c593 127.0.0.1:6001
slots:[0-5460] (5461 slots) master
1 additional replica(s)
M: c8bafedba2552472b5bfc1725d7e30879bda2302 127.0.0.1:6003
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: 7d08f9ff9aab477327776a5566546db608024739 127.0.0.1:6005
slots: (0 slots) slave
replicates c8bafedba2552472b5bfc1725d7e30879bda2302
M: 7843a1fe4eeb70acc4915176284c3b1e583a6f65 127.0.0.1:6002
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: 6a608dd808a72f735152f942e74caaaa7c2fa38f 127.0.0.1:6004
slots: (0 slots) slave
replicates 7843a1fe4eeb70acc4915176284c3b1e583a6f65
S: 6f0f84e0e897edf9955da23f7c57ed989128a2ae 127.0.0.1:6006
slots: (0 slots) slave
replicates ab3223cc1465bb79bd5310b5044286eab261c593
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@mcb-11-14 redis6006]#⑥集群测试
[root@mcb-11-14 redis6006]# redis-cli -p 6001 -c
127.0.0.1:6001> cluster slots
1) 1) (integer) 0
2) (integer) 5460
3) 1) "127.0.0.1"
2) (integer) 6001
3) "ab3223cc1465bb79bd5310b5044286eab261c593"
4) 1) "127.0.0.1"
2) (integer) 6006
3) "6f0f84e0e897edf9955da23f7c57ed989128a2ae"
2) 1) (integer) 10923
2) (integer) 16383
3) 1) "127.0.0.1"
2) (integer) 6003
3) "c8bafedba2552472b5bfc1725d7e30879bda2302"
4) 1) "127.0.0.1"
2) (integer) 6005
3) "7d08f9ff9aab477327776a5566546db608024739"
3) 1) (integer) 5461
2) (integer) 10922
3) 1) "127.0.0.1"
2) (integer) 6002
3) "7843a1fe4eeb70acc4915176284c3b1e583a6f65"
4) 1) "127.0.0.1"
2) (integer) 6004
3) "6a608dd808a72f735152f942e74caaaa7c2fa38f"
127.0.0.1:6001> set name mcb
-> Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002> cluster keyslot name #查看name键的槽编号
(integer) 5798
127.0.0.1:6002>
总结
三者应该连贯一起做实验
①redis主从复制
reids 主从复制是一种同步机制，主服务器数据的修改，会实时同步到从服务器上，实现数据备份和读写分离
②哨兵模式
redis 哨兵是一个用于管理多个redis 服务器的系统 ，它提供监控 、通知、自动故障转移和配置服务，来实现redis高可用性。
哨兵功能
1）监控
2）通知
3）自动故障转移
4）配置提供服务(客户端做为验证)
③集群cluster
redis 集群 是一个提供高性能、 高可用、数据分片、 故障转移特性的 分布式 分数据库模式
1)数据分片
2）故障转移
3）高性能
4）高可用
扫一扫
739
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
