1.cluster的安装与配置
[root@server1 local ]
/usr/local
[root@server1 local ]
[root@server1 local ]
[root@server1 rediscluster]
[root@server1 rediscluster]
[root@server1 rediscluster]
[root@server1 rediscluster]
[root@server1 rediscluster]
[root@server1 rediscluster]
[root@server1 rediscluster]
net.ipv4.ip_local_port_range = 32768 61000
net.ipv4.ping_group_range = 1 0
[root@server1 rediscluster]
[root@server1 7001 ]
port 7001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
daemonize yes
[root@server1 7001 ]
[root@server1 7001 ]
[root@server1 7001 ]
[root@server1 7001 ]
[root@server1 7001 ]
[root@server1 7001 ]
[root@server1 7002 ]
[root@server1 7003 ]
[root@server1 7004 ]
[root@server1 7005 ]
[root@server1 7006 ]
[root@server1 redis]
[root@server1 src]
redis-trib.rb: a /usr/bin/env ruby script text executable
[root@server1 src]
[root@server1 ~]
[root@server1 ~]
[root@server1 ~]
** * LOCAL GEMS ** *
[root@server1 ~]
[root@server1 ~]
[root@server1 ~]
[root@server1 ~]
** * LOCAL GEMS ** *
bigdecimal (1.2 .6 )
io-console (0 .4.3 )
json (1.8 .1 )
minitest (5.4 .3 )
power_assert (0 .2.2 )
psych (2.0 .8 )
rake (10.4 .2 )
rdoc (4.2 .0 )
redis (4.0 .1 )
test-unit (3.0 .8 )
2.添加集群
[root@server1 ~]
查看
[root@server1 ~]
127.0 .0 .1 :7001 > CLUSTER INFO
127.0 .0 .1 :7001 > CLUSTER NODES
查看的方法(得确定集群入口,任意一个都可以)
[root@server1 ~]
127.0 .0 .1 :7001 (bade9576...) -> 0 keys | 5461 slots | 1 slaves.
127.0 .0 .1 :7002 (b23f2af5...) -> 0 keys | 5462 slots | 1 slaves.
127.0 .0 .1 :7003 (13 be79bf...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.
查看的方法
[root@server1 ~]
>>> Performing Cluster Check (using node 127.0 .0 .1 :7001 )
M : bade95761f0dc0eb9962f9e99c66084f7ce21acf 127.0 .0 .1 :7001
slots :0 -5460 (5461 slots) master
1 additional replica(s)
S : 00748939 f46541df6edea999b4fa2a174aa280fb 127.0 .0 .1 :7005
slots : (0 slots) slave
replicates bade95761f0dc0eb9962f9e99c66084f7ce21acf
S : 4 fcf8252d1c8e25c919b161125b79d1cc1ccfd81 127.0 .0 .1 :7004
slots : (0 slots) slave
replicates 13 be79bfaea70ca739ce1b833e3fd84e32589174
M : b23f2af5911e1559034a62d441d13cae9ff0d386 127.0 .0 .1 :7002
slots :5461 -10922 (5462 slots) master
1 additional replica(s)
S : f9ba798573b1d0cc494cf2a53657d352959157ae 127.0 .0 .1 :7006
slots : (0 slots) slave
replicates b23f2af5911e1559034a62d441d13cae9ff0d386
M : 13 be79bfaea70ca739ce1b833e3fd84e32589174 127.0 .0 .1 :7003
slots :10923 -16383 (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
当宕掉一个的时候,其相对应的slave就会自动生成master
再次删除集群停止工作(因为其槽有空余没分发出去,需重新启动宕机服务器或者重新分配)
停机超过一时集群自动停止工作(方法是增加工作机器数量)
3.cluster常用操作
1.添加主节点
[root@server1 7007] # redis-trib .rb add-node 127.0 .0 .1 :7007 127.0 .0 .1 :7001 ##添加主节点,后跟集群中任一节点
可以看到.使用addnode 命令来添加节点,第一个参数是新节点的地址,第二个参数是任意一个已经存在的节点的IP 和端口. 我们可以看到新的节点已经添加到集群中:
redis 127.0 .0 .1 :7007 > cluster nodes
3e3a6cb0d9a9a87168e266b0a0b24026c0aae3f0 127.0 .0 .1 :7002 master - 0 1385543178575 0 connected 5960-10921
3fc783611028b1707fd65345e763befb36454d73 127.0 .0 .1 :7005 slave 3e3a6cb0d9a9a87168e266b0a0b24026c0aae3f0 0 1385543179583 0 connected
f093c80dde814da99c5cf72a7dd01590792b783b :0 myself ,master - 0 0 0 connected
2938205e12de373867bf38f1ca29d31d0ddb3e46 127.0 .0 .1 :7003 slave 3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e 0 1385543178072 3 connected
a211e242fc6b22a9427fed61285e85892fa04e08 127.0 .0 .1 :7004 slave 97a3a64667477371c4479320d683e4c8db5858b1 0 1385543178575 0 connected
97a3a64667477371c4479320d683e4c8db5858b1 127.0 .0 .1 :7001 master - 0 1385543179080 0 connected 0-5959 10922-11422
3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e 127.0 .0 .1 :7006 master - 0 1385543177568 3 connected 11423-16383
新节点现在已经连接上了集群, 成为集群的一份子, 并且可以对客户端的命令请求进行转向了, 但是和其他主节点相比, 新节点还有两点区别:
新节点没有包含任何数据, 因为它没有包含任何哈希槽.
尽管新节点没有包含任何哈希槽, 但它仍然是一个主节点, 所以在集群需要将某个从节点升级为新的主节点时, 这个新节点不会被选中。
接下来, 只要使用 redis-trib 程序, 将集群中的某些哈希桶移动到新节点里面, 新节点就会成为真正的主节点了。
2.添加从节点
[root@server1 7008 ]
[root@server1 7008 ]
也可以使用CLUSTER REPLICATE 命令添加.这个命令也可以改变一个从节点的主节点。
例如,要给主节点 127.0 .0 .1 :7005 添加一个从节点,该节点哈希槽的范围1423 -16383 , 节点 ID 3 c3a0c74aae0b56170ccb03a76b60cfe7dc1912e,我们需要链接新的节点(已经是空的主节点)并执行命令:
redis 127.0 .0 .1 :7006 > cluster replicate 3 c3a0c74aae0b56170ccb03a76b60cfe7dc1912e
我们新的从节点有了一些哈希槽,其他的节点也知道(过几秒后会更新他们自己的配置),可以使用如下命令确认:
$ redis-cli -p 7000 cluster nodes | grep slave | grep 3 c3a0c74aae0b56170ccb03a76b60cfe7dc1912e
f093c80dde814da99c5cf72a7dd01590792b783b 127.0 .0 .1 :7006 slave 3 c3a0c74aae0b56170ccb03a76b60cfe7dc1912e 0 1385543617702 3 connected
2938205 e12de373867bf38f1ca29d31d0ddb3e46 127.0 .0 .1 :7002 slave 3 c3a0c74aae0b56170ccb03a
3.移除节点
[root@server1 7008 ]
使用同样的方法移除主节点,不过在移除主节点前,需要确保这个主节点是空的. 如果不是空的,需要将这个节点的数据重新分片到其他主节点上.
替代移除主节点的方法是手动执行故障恢复,被移除的主节点会作为一个从节点存在,不过这种情况下不会减少集群节点的数量,也需要重新分片数据.
4.从结点的迁移
从节点的迁移
在Redis集群中会存在改变一个从节点的主节点的情况,需要执行如下命令 :
CLUSTER REPLICATE < master-node -id >
在特定的场景下,不需要系统管理员的协助下,自动将一个从节点从当前的主节点切换到另一个主节 的自动重新配置的过程叫做复制迁移(从节点迁移),从节点的迁移能够提高整个Redis集群的可用性.
5.集群重新分片
现在, 让我们来试试对集群进行重新分片操作。在执行重新分片的过程中, 请让你的 example. rb 程序处于运行状态, 这样你就会看到, 重新分片并不会对正在运行的集群程序产生任何影响, 你也可以考虑将 example. rb 中的 sleep 调用删掉, 从而让重新分片操作在近乎真实的写负载下执行 重新分片操作基本上就是将某些节点上的哈希槽移动到另外一些节点上面, 和创建集群一样, 重新分片也可以使用 redis-trib 程序来执行 执行以下命令可以开始一次重新分片操作:
. /redis-trib . rb reshard 127.0 .0 .1 :7000
你只需要指定集群中其中一个节点的地址, redis-trib 就会自动找到集群中的其他节点。
目前 redis-trib 只能在管理员的协助下完成重新分片的工作, 要让 redis-trib 自动将哈希槽从一个节点移动到另一个节点, 目前来说还做不到
一、以下命令是Redis Cluster集群所独有的,执行下面命令需要先登录redis:
[root@manage redis]
192.168 .10 .12 :6382 >
//集群(cluster)
CLUSTER INFO 打印集群的信息
CLUSTER NODES 列出集群当前已知的所有节点(node),以及这些节点的相关信息。
//节点(node)
CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中,让它成为集群的一份子。
CLUSTER FORGET <node_id> 从集群中移除 node_id 指定的节点。
CLUSTER REPLICATE <node_id> 将当前节点设置为 node_id 指定的节点的从节点。
CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。
//槽(slot)
CLUSTER ADDSLOTS <slot> [slot ... ] 将一个或多个槽(slot)指派(assign)给当前节点。
CLUSTER DELSLOTS <slot> [slot ... ] 移除一个或多个槽对当前节点的指派。
CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽,让当前节点变成一个没有指派任何槽的节点。
CLUSTER SETSLOT <slot> NODE <node_id> 将槽 slot 指派给 node_id 指定的节点,如果槽已经指派给另一个节点,那么先让另一个节点删除该槽>,然后再进行指派。
CLUSTER SETSLOT <slot> MIGRATING <node_id> 将本节点的槽 slot 迁移到 node_id 指定的节点中。
CLUSTER SETSLOT <slot> IMPORTING <node_id> 从 node_id 指定的节点中导入槽 slot 到本节点。
CLUSTER SETSLOT <slot> STABLE 取消对槽 slot 的导入(import)或者迁移(migrate)。
//键 (key)
CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。
CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。
CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。
二,添加节点
1 )新配置二个测试节点
# cd /etc/redis
//新增配置
# cp redis-6379. conf redis-6378. conf && sed -i "s/6379/6378/g" redis-6378. conf
# cp redis-6382. conf redis-6385. conf && sed -i "s/6382/6385/g" redis-6385. conf
//启动
# redis-server /etc/redis/redis-6385. conf > /var/log/redis/redis-6385. log 2 >&1 &
# redis-server /etc/redis/redis-6378. conf > /var/log/redis/redis-6378. log 2 >&1 &
2 )添加主节点
# redis-trib.rb add-node 192.168 .10 .219 :6378 192.168 .10 .219 :6379
注释:
192.168 .10 .219 :6378 是新增的节点
192.168 .10 .219 :6379 集群任一个旧节点
3 )添加从节点
# redis-trib.rb add-node
注释:
192.168 .10 .220 :6385 ,新节点
192.168 .10 .219 :6379 集群任一个旧节点
4 )重新分配slot
# redis-trib.rb reshard 192.168 .10 .219 :6378 //下面是主要过程
How many slots do you want to move (from 1 to 16384 )? 1000 //设置slot数1000
What is the receiving node ID? 03 ccad2ba5dd1e062464bc7590400441fafb63f2 //新节点node id
Please enter all the source node IDs.
Type 'all ' to use all the nodes as source nodes for the hash slots.
Type 'done ' once you entered all the source nodes IDs.
Source node #1 :all //表示全部节点重新洗牌
Do you want to proceed with the proposed reshard plan (yes/no)? yes //确认重新分
新增加的主节点,是没有slots的,
M: 03 ccad2ba5dd1e062464bc7590400441fafb63f2 192.168 .10 .219 :6378
slots:0 -332 ,5461 -5794 ,10923 -11255 (0 slots) master
主节点如果没有slots的话,存取数据就都不会被选中。
可以把分配的过程理解成打扑克牌,all 表示大家重新洗牌;输入某个主节点的node id,然后在输入done的话,就好比从某个节点,抽牌。
5 )查看一下,集群情况
[root@slave2 redis]# redis-trib.rb check 192.168 .10 .219 :6379
Connecting to node 192.168 .10 .219 :6379 : OK
Connecting to node 192.168 .10 .220 :6385 : OK
Connecting to node 192.168 .10 .219 :6378 : OK
Connecting to node 192.168 .10 .220 :6382 : OK
Connecting to node 192.168 .10 .220 :6383 : OK
Connecting to node 192.168 .10 .219 :6380 : OK
Connecting to node 192.168 .10 .219 :6381 : OK
Connecting to node 192.168 .10 .220 :6384 : OK
>>> Performing Cluster Check (using node 192.168 .10 .219 :6379 )
M: 5 d8ef5a7fbd72ac586bef04fa6de8a88c0671052 192.168 .10 .219 :6379
slots:5795 -10922 (5128 slots) master
1 additional replica(s)
S: 9 c240333476469e8e2c8e80b089c48f389827265 192.168 .10 .220 :6385
slots: (0 slots) slave
replicates 03 ccad2ba5dd1e062464bc7590400441fafb63f2
M: 03 ccad2ba5dd1e062464bc7590400441fafb63f2 192.168 .10 .219 :6378
slots:0 -332 ,5461 -5794 ,10923 -11255 (1000 slots) master
1 additional replica(s)
M: 19 b042c17d2918fade18a4ad2efc75aa81fd2422 192.168 .10 .220 :6382
slots:333 -5460 (5128 slots) master
1 additional replica(s)
M: b2c50113db7bd685e316a16b423c9b8abc3ba0b7 192.168 .10 .220 :6383
slots:11256 -16383 (5128 slots) master
1 additional replica(s)
S: 6475e4 c8b5e0c0ea27547ff7695d05e9af0c5ccb 192.168 .10 .219 :6380
slots: (0 slots) slave
replicates 19 b042c17d2918fade18a4ad2efc75aa81fd2422
S: 1 ee01fe95bcfb688a50825d54248eea1e6133cdc 192.168 .10 .219 :6381
slots: (0 slots) slave
replicates b2c50113db7bd685e316a16b423c9b8abc3ba0b7
S: 9 a2a1d75b8eb47e05eee1198f81a9edd88db5aa1 192.168 .10 .220 :6384
slots: (0 slots) slave
replicates 5 d8ef5a7fbd72ac586bef04fa6de8a88c0671052
[OK] All nodes agree about slots configuration .
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
三、改变从节点的master
# redis-cli -p 6378 cluster nodes | grep slave | grep 03ccad2ba5dd1e062464bc7590400441fafb63f2
# redis-cli -c -p 6385 -h 192.168.10.220
192.168 .10 .220 :6385 > cluster replicate 5 d8ef5a7fbd72ac586bef04fa6de8a88c0671052
OK
192.168 .10 .220 :6385 > quit
# redis-cli -p 6379 cluster nodes | grep slave | grep 5d8ef5a7fbd72ac586bef04fa6de8a88c0671052
四、删除节点
1 )删除从节点
2 )删除主节点
如果主节点有从节点,将从节点转移到其他主节点
如果主节点有slot,去掉分配的slot,然后在删除主节点
How many slots do you want to move (from 1 to 16384 )? 1000
What is the receiving node ID? 5 d8ef5a7fbd72ac586bef04fa6de8a88c0671052
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node
Source node
Do you want to proceed with the proposed reshard plan (yes/no)? yes
新增master节点后,也进行了这一步操作,当时是分配,现在去掉。反着的。
新的master节点被删除了,这样就回到了,就是这篇文章开头,还没有添加节点的状态
五、Redis缓存清理
1 )登陆redis
# src/redis-cli -c -h 192.168.1.100 -p 6379
2 )执行:
192.168 .1 .100 :6379 > dbsize
3 )
192.168 .1 .100 :6379 > flushall
================================================================
redis集群指定key 值得缓存清理:
1 )登录至指定端口的redis服务器
# src/redis-cli -c -h 192.168.1.100 -p 6379
2 )查看所有key 值 (或者使用info命令也能查看出来)
keys *
3 )删除指定索引的值
del key