redis集群安装及报错解决

文档 http://www.redis.cn/documentation.html
参考 https://segmentfault.com/a/1190000010682551

介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令.

Redis 集群的优势:

自动分割数据到不同的节点上。
整个集群的部分节点失败或者不可达的情况下能够继续处理命令。
Redis 集群的数据分片
Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

节点 A 包含 0 到 5500号哈希槽.
节点 B 包含5501 到 11000 号哈希槽.
节点 C 包含11001 到 16384号哈希槽.
这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A,B,C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1,B1,C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后,集群是不可用的.

Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

第一个原因是因为集群是用了异步复制. 写操作过程:

客户端向主节点B写入一条命令.
主节点B向客户端回复命令状态.
主节点将写操作复制给他得从节点 B1, B2 和 B3.
主节点对命令的复制工作发生在返回命令回复之后, 因为如果每次处理命令请求都需要等待复制操作完成的话, 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意:Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区, 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点, 其中 A 、B 、C 为主节点, A1 、B1 、C1 为A,B,C的从节点, 还有一个客户端 Z1 假设集群中发生网络分区,那么集群可能会分为两方,大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ,小部分的一方则包含节点 B 和客户端 Z1 .

Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master,那么Z1写入B中得数据便丢失了.

注意, 在网络分裂出现期间, 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的, 这一时间限制称为节点超时时间(node timeout), 是 Redis 集群的一个重要的配置选项:

环境

centos7.3 ip:192.168.255.124
redis-4.0.9

安装

需要安装gcc编译器,否则无法make成功。yum install gcc

下载,解压,编译:

$ mkdir -p /opt/redis-cluster/
$ cd /opt/redis-cluster
$ wget http://download.redis.io/releases/redis-4.0.9.tar.gz
$ tar xzf redis-4.0.9.tar.gz
$ cd redis-4.0.9
$ make

二进制文件是编译完成后在src目录下,通过下面的命令启动Redis服务:

$ src/redis-server

修改配置文件, daemonize设置为yes,可后台启动
你可以使用内置的客户端命令redis-cli进行使用:

$ src/redis-cli
redis> set foo bar
OK
redis> get foo
"bar"

安装过程可能出现的问题:

1、报错: jemalloc/jemalloc.h: No such file or directory

解决办法:make时添加参数。

make MALLOC=libc

2、 make test 时报错
You need tcl 8.5 or newer in order to run the Redis test
make: *[test] Error_1

解决办法:

yum install tcl

集群部署

要让集群正常运作至少需要三个主节点,不过在刚开始试用集群功能时, 强烈建议使用六个节点: 其中三个为主节点, 而其余三个则是各个主节点的从节点。

在/opt/redis-cluster/下创建文件夹

mkdir 800{1,2,3,4,5,6}

在8001文件夹下创建配置文件redis.conf

port 8001
bind 192.168.255.124
daemonize yes
pidfile /var/run/redis_8001.pid
cluster-enabled yes
cluster-config-file nodes_8001.conf
cluster-node-timeout 10100
appendonly yes

复制到其他文件夹下

for((i=2;i<=6;i++)); do \cp -f redis.conf ../800$i/; done

启动redis实例

for((i=1;i<=6;i++)); do /opt/redis-cluster/redis-4.0.9/src/redis-server /opt/redis-cluster/800$i/redis.conf; done

2899:C 17 Apr 07:08:36.159 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2899:C 17 Apr 07:08:36.159 # Redis version=4.0.9, bits=64, commit=00000000, modified=0, pid=2899, just started
2899:C 17 Apr 07:08:36.159 # Configuration loaded
2901:C 17 Apr 07:08:36.169 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2901:C 17 Apr 07:08:36.169 # Redis version=4.0.9, bits=64, commit=00000000, modified=0, pid=2901, just started
2901:C 17 Apr 07:08:36.169 # Configuration loaded
2903:C 17 Apr 07:08:36.174 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2903:C 17 Apr 07:08:36.174 # Redis version=4.0.9, bits=64, commit=00000000, modified=0, pid=2903, just started
2903:C 17 Apr 07:08:36.174 # Configuration loaded
2905:C 17 Apr 07:08:36.179 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2905:C 17 Apr 07:08:36.180 # Redis version=4.0.9, bits=64, commit=00000000, modified=0, pid=2905, just started
2905:C 17 Apr 07:08:36.180 # Configuration loaded
2913:C 17 Apr 07:08:36.183 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2913:C 17 Apr 07:08:36.183 # Redis version=4.0.9, bits=64, commit=00000000, modified=0, pid=2913, just started
2913:C 17 Apr 07:08:36.183 # Configuration loaded
2918:C 17 Apr 07:08:36.189 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2918:C 17 Apr 07:08:36.189 # Redis version=4.0.9, bits=64, commit=00000000, modified=0, pid=2918, just started
2918:C 17 Apr 07:08:36.189 # Configuration loaded

查看端口

[root@backup2] /opt/redis-cluster$ netstat -tunlp |grep redis
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      2453/src/redis-serv 
tcp        0      0 192.168.255.124:18001   0.0.0.0:*               LISTEN      2900/redis-server 1 
tcp        0      0 192.168.255.124:18002   0.0.0.0:*               LISTEN      2902/redis-server 1 
tcp        0      0 192.168.255.124:18003   0.0.0.0:*               LISTEN      2904/redis-server 1 
tcp        0      0 192.168.255.124:18004   0.0.0.0:*               LISTEN      2909/redis-server 1 
tcp        0      0 192.168.255.124:18005   0.0.0.0:*               LISTEN      2914/redis-server 1 
tcp        0      0 192.168.255.124:18006   0.0.0.0:*               LISTEN      2919/redis-server 1 
tcp        0      0 192.168.255.124:8001    0.0.0.0:*               LISTEN      2900/redis-server 1 
tcp        0      0 192.168.255.124:8002    0.0.0.0:*               LISTEN      2902/redis-server 1 
tcp        0      0 192.168.255.124:8003    0.0.0.0:*               LISTEN      2904/redis-server 1 
tcp        0      0 192.168.255.124:8004    0.0.0.0:*               LISTEN      2909/redis-server 1 
tcp        0      0 192.168.255.124:8005    0.0.0.0:*               LISTEN      2914/redis-server 1 
tcp        0      0 192.168.255.124:8006    0.0.0.0:*               LISTEN      2919/redis-server 1

创建集群

1、Ruby2.2.2以上

2、如果是多机部署,在任意一台上运行创建命令即可,不要在每台机器上都运行

创建启动,中间需要输入yes

[root@backup2] /usr/local/rvm/gems$ /opt/redis-cluster/redis-4.0.9/src/redis-trib.rb create --replicas 1 192.168.255.124:8001 192.168.255.124:8002 192.168.255.124:8003 192.168.255.124:8004 192.168.255.124:8005 192.168.255.124:8006
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.255.124:8001
192.168.255.124:8002
192.168.255.124:8003
Adding replica 192.168.255.124:8005 to 192.168.255.124:8001
Adding replica 192.168.255.124:8006 to 192.168.255.124:8002
Adding replica 192.168.255.124:8004 to 192.168.255.124:8003
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: fdbe11c8115c211079e2224e7cb17fd36a41587a 192.168.255.124:8001
   slots:0-5460 (5461 slots) master
M: 4ad906235f43972993ca3cd75d1985c170e91433 192.168.255.124:8002
   slots:5461-10922 (5462 slots) master
M: 75538e10f25fbbe02de4295e92ea02af4b872c02 192.168.255.124:8003
   slots:10923-16383 (5461 slots) master
S: 10ee714312bd18cbdb072258116683bdf2ac4bf2 192.168.255.124:8004
   replicates 4ad906235f43972993ca3cd75d1985c170e91433
S: ace16275644ae9474d1bfa88189aee09d9771570 192.168.255.124:8005
   replicates 75538e10f25fbbe02de4295e92ea02af4b872c02
S: 7ef19f8281a6aa80d0cf973eefdaf4c06adc9e22 192.168.255.124:8006
   replicates fdbe11c8115c211079e2224e7cb17fd36a41587a
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join...
>>> Performing Cluster Check (using node 192.168.255.124:8001)
M: fdbe11c8115c211079e2224e7cb17fd36a41587a 192.168.255.124:8001
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: 4ad906235f43972993ca3cd75d1985c170e91433 192.168.255.124:8002
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: ace16275644ae9474d1bfa88189aee09d9771570 192.168.255.124:8005
   slots: (0 slots) slave
   replicates 75538e10f25fbbe02de4295e92ea02af4b872c02
S: 10ee714312bd18cbdb072258116683bdf2ac4bf2 192.168.255.124:8004
   slots: (0 slots) slave
   replicates 4ad906235f43972993ca3cd75d1985c170e91433
S: 7ef19f8281a6aa80d0cf973eefdaf4c06adc9e22 192.168.255.124:8006
   slots: (0 slots) slave
   replicates fdbe11c8115c211079e2224e7cb17fd36a41587a
M: 75538e10f25fbbe02de4295e92ea02af4b872c02 192.168.255.124:8003
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

集群测试

我们在8001 的节点set 一个key,被重定向到8002

[root@backup2] /usr/local/rvm/gems$ /opt/redis-cluster/redis-4.0.9/src/redis-cli -h 192.168.255.124 -c -p 8001
192.168.255.124:8001> set name www.hanli.com
-> Redirected to slot [5798] located at 192.168.255.124:8002
OK
192.168.255.124:8002> get name
"www.hanli.com"
192.168.255.124:8002> exit

在8006节点get这个key,发现被重定向到8002

[root@backup2] /usr/local/rvm/gems$ /opt/redis-cluster/redis-4.0.9/src/redis-cli -h 192.168.255.124 -c -p 8006
192.168.255.124:8006> get name
-> Redirected to slot [5798] located at 192.168.255.124:8002
"www.hanli.com"
192.168.255.124:8002>

检查集群状态

/opt/redis-cluster/redis-4.0.9/src/redis-trib.rb check 192.168.255.124:8001
>>> Performing Cluster Check (using node 192.168.255.124:8001)
M: fdbe11c8115c211079e2224e7cb17fd36a41587a 192.168.255.124:8001
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: 4ad906235f43972993ca3cd75d1985c170e91433 192.168.255.124:8002
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: ace16275644ae9474d1bfa88189aee09d9771570 192.168.255.124:8005
   slots: (0 slots) slave
   replicates 75538e10f25fbbe02de4295e92ea02af4b872c02
S: 10ee714312bd18cbdb072258116683bdf2ac4bf2 192.168.255.124:8004
   slots: (0 slots) slave
   replicates 4ad906235f43972993ca3cd75d1985c170e91433
S: 7ef19f8281a6aa80d0cf973eefdaf4c06adc9e22 192.168.255.124:8006
   slots: (0 slots) slave
   replicates fdbe11c8115c211079e2224e7cb17fd36a41587a
M: 75538e10f25fbbe02de4295e92ea02af4b872c02 192.168.255.124:8003
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

列出集群节点

[root@backup2] /usr/local/rvm/gems$ /opt/redis-cluster/redis-4.0.9/src/redis-cli -h 192.168.255.124 -c -p 8005
192.168.255.124:8005> cluster nodes
10ee714312bd18cbdb072258116683bdf2ac4bf2 192.168.255.124:8004@18004 slave 4ad906235f43972993ca3cd75d1985c170e91433 0 1523967916000 4 connected
4ad906235f43972993ca3cd75d1985c170e91433 192.168.255.124:8002@18002 master - 0 1523967917000 2 connected 5461-10922
fdbe11c8115c211079e2224e7cb17fd36a41587a 192.168.255.124:8001@18001 master - 0 1523967916000 1 connected 0-5460
7ef19f8281a6aa80d0cf973eefdaf4c06adc9e22 192.168.255.124:8006@18006 slave fdbe11c8115c211079e2224e7cb17fd36a41587a 0 1523967918508 6 connected
ace16275644ae9474d1bfa88189aee09d9771570 192.168.255.124:8005@18005 myself,slave 75538e10f25fbbe02de4295e92ea02af4b872c02 0 1523967917000 5 connected
75538e10f25fbbe02de4295e92ea02af4b872c02 192.168.255.124:8003@18003 master - 0 1523967917500 3 connected 10923-16383

打印集群信息

192.168.255.124:8005> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:3
cluster_stats_messages_ping_sent:945
cluster_stats_messages_pong_sent:1018
cluster_stats_messages_meet_sent:4
cluster_stats_messages_sent:1967
cluster_stats_messages_ping_received:1016
cluster_stats_messages_pong_received:949
cluster_stats_messages_meet_received:2
cluster_stats_messages_received:1967

关闭集群

$ pkill redis
阅读更多
个人分类: 数据库
上一篇Nginx
下一篇ansible参数
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭