45.Redis分布式集群(NoSQL数据库)---配置搭建Redis集群Cluster

1.Redis集群介绍

Redis 集群 是一个提供在多个Redis间节点间共享数据的程序集。
Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误。Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令

Redis 集群的优势:

  • 自动分割数据到不同的节点上。
  • 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

2.Redis 集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了 **哈希槽**的概念
  Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽。
  集群的每个节点负责一部分hash槽,举个例子,例如当前集群有3个节点,那么:

节点 A 包含 0 到 5500号哈希槽.
节点 B 包含5501 到 11000 号哈希槽.
节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点。
例如若想新添加个节点D,则需要从节点 A、B、C中得部分槽到D上;若想移除节点A,则需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可。
由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态。

3.Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品
 具有A、B、C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-11000这个范围的槽而不可用;然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1、B1、C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了。不过当B和B1 都失败后,集群是不可用的

4.Redis 的一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作。
 第一个原因是因为集群是用了 异步复制 ,写操作过程:

客户端向主节点B写入一条命令
主节点B向客户端回复命令状态
主节点将写操作复制给它的从节点 B1, B2 和 B3

主节点对命令的复制工作发生在返回命令回复之后, 因为如果每次处理命令请求都需要等待复制操作完成的话, 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意:Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区, 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举例:
假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点, 其中 A 、B 、C 为主节点, A1 、B1 、C1 为A、B、C的从节点, 还有一个客户端 Z1 假设集群中发生网络分区,那么集群可能会分为两方,大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ,小部分的一方则包含节点 B 和客户端 Z1 .
 Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master,那么Z1写入B中得数据便丢失了.
注意:在网络分裂出现期间, 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的, 这一时间限制称为节点超时时间(node timeout), 是 Redis 集群的一个重要的配置选项

5.配置搭建Redis集群Cluster

搭建集群的第一件事情我们需要一些运行在 集群模式的Redis实例,这意味这集群并不是由一些普通的Redis实例组成的,集群模式需要通过配置启用,开启集群模式后的Redis实例便可以使用集群特有的命令和特性了
 下面是一个最少选项的集群的配置文件:

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

文件中的 cluster-enabled 选项用于开实例的集群模式, 而 cluster-conf-file 选项则设定了保存节点配置文件的路径, 默认值为 nodes.conf,节点配置文件无须人为修改, 它由 Redis 集群在启动时创建, 并在有需要时自动进行更新。

 要让集群正常运作至少需要三个主节点,不过在刚开始试用集群功能时, 强烈建议使用六个节点: 其中三个为主节点, 而其余三个则是各个主节点的从节点。

server1中:进入一个新目录, 并创建六个以端口号为名字的子目录, 稍后我们在将每个目录中运行一个 Redis 实例

yum install -y ruby
mkdir /usr/local/rediscluster
cd /usr/local/rediscluster/
ls
mkdir 700{1..6}
ls

在这里插入图片描述
在这里插入图片描述

server1中:进入六个以端口号为名字的子目录,编辑配置文件

port 7001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
pidfile "/usr/local/rediscluster/7001/redis.pid"
logfile "/usr/local/rediscluster/7001/redis.log"
dir "/usr/local/rediscluster/7001"
daemonize yes

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

server1中:在每个标签页中打开一个实例

cd 7001/
redis-server redis.conf 	#执行以下命令,在每个标签页中打开一个实例
ps ax

在这里插入图片描述
在这里插入图片描述

搭建集群:使用这些正在运行的 Redis 实例来创建集群, 并为每个节点编写配置文件
通过使用 Redis 集群命令行工具 redis-trib ,编写节点配置文件的工作可以非常容易地完成:redis-trib 位于 Redis 源码的 src 文件夹中, 它是一个 Ruby 程序, 这个程序通过向实例发送特殊命令来完成创建新集群,检查集群,或者对集群进行重新分片(reshared)等工作

redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

这个命令在这里用于创建一个新的集群, 选项**–replicas 1** 表示为集群中的每个主节点创建一个从节点,其后所跟着的其他参数则是这个集群实例的地址列表,3个master,3个slave,redis-trib 会打印出一份预想中的配置,输入 yes,redis-trib就会将这份配置应用到集群当中,让各个节点开始互相通讯,最后可以得到如下信息:
[OK] All 16384 slots covered:集群中的 16384 个槽都有至少一个主节点在处理,集群运作正常
在这里插入图片描述
在这里插入图片描述
可以看到在集群中:7001、7002、7003示例为主节点,7004、7005、7006分别为对应的从节点

查看整体状态信息

redis-cli --cluster info 127.0.0.1:7001	#可以使用该命令查看整体状态信息
redis-cli --cluster info 127.0.0.1:7002
redis-cli --cluster info 127.0.0.1:7003

在这里插入图片描述

连接7001节点,输入数据,可以看到数据被定位到7002节点,在任意节点都可以看到数据

[root@server1 rediscluster]# redis-cli -c -p 7001	
127.0.0.1:7001> set name sheena
-> Redirected to slot [5798] located at 127.0.0.1:7002
OK
127.0.0.1:7002> get name
"sheena"

[root@server1 rediscluster]# redis-cli -c -p 7006
127.0.0.1:7006> get name
-> Redirected to slot [5798] located at 127.0.0.1:7002
"sheena"
127.0.0.1:7002> SHUTDOWN
not connected> 

[root@server1 rediscluster]# redis-cli --cluster info 127.0.0.1:7001
Could not connect to Redis at 127.0.0.1:7002: Connection refused
127.0.0.1:7001 (62654458...) -> 0 keys | 5461 slots | 1 slaves.
127.0.0.1:7005 (8c4f4fec...) -> 1 keys | 5462 slots | 0 slaves.
127.0.0.1:7003 (d4106d45...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 1 keys in 3 masters.
0.00 keys per slot on average.

在这里插入图片描述

将7002节点down掉,可以看到7005接替了7002,变为了主节点,当将7005节点也down掉后,会导致集群不可用,但是信息都还存在,存储在appendonly.aof文件中

[root@server1 rediscluster]# redis-cli -c -p 7005
127.0.0.1:7005> SHUTDOWN
not connected> 
[root@server1 rediscluster]# redis-cli --cluster info 127.0.0.1:7001
Could not connect to Redis at 127.0.0.1:7005: Connection refused
Could not connect to Redis at 127.0.0.1:7002: Connection refused
127.0.0.1:7001 (62654458...) -> 0 keys | 5461 slots | 1 slaves.
127.0.0.1:7003 (d4106d45...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 2 masters.
0.00 keys per slot on average.
[root@server1 rediscluster]# redis-cli -c -p 7001
127.0.0.1:7001> get name
(error) CLUSTERDOWN The cluster is down
127.0.0.1:7001> 

在这里插入图片描述

[root@server1 rediscluster]# cd 7002/
[root@server1 7002]# ls
appendonly.aof  dump.rdb  nodes.conf  redis.conf  redis.log
[root@server1 7002]# cat appendonly.aof
*2
$6
SELECT
$1
0
*3
$3
set
$4
name
$6
sheena

在这里插入图片描述

重新启动7002、7005节点,集群可重新使用,7005为主节点,7002为从节点,数据并未丢失,请求定向到7005节点上

[root@server1 7002]# redis-server redis.conf 
[root@server1 7002]# cd ../7005/
[root@server1 7005]# redis-server redis.conf 
[root@server1 7005]# redis-cli -c -p 7001
127.0.0.1:7001> get name
-> Redirected to slot [5798] located at 127.0.0.1:7005
"sheena"
127.0.0.1:7005> 
[root@server1 7005]# redis-cli --cluster info 127.0.0.1:7001
127.0.0.1:7001 (62654458...) -> 0 keys | 5461 slots | 1 slaves.
127.0.0.1:7005 (8c4f4fec...) -> 1 keys | 5462 slots | 1 slaves.
127.0.0.1:7003 (d4106d45...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 1 keys in 3 masters.
0.00 keys per slot on average.

在这里插入图片描述

注意
可以使用脚本一次性全部建立6个节点
cd /root/redis-5.0.0/utils/create-cluster
./create-cluster start 则可以看到6个节点全部开启,通过ps ax查看进程
./create-cluster create 创建集群,选择yes
./create-cluster clean 将节点全部清掉

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值