Redis Cluster 初探(1) - 集群搭建与扩容

最新推荐文章于 2024-07-22 15:46:08 发布
最新推荐文章于 2024-07-22 15:46:08 发布
阅读量373 收藏
点赞数
分类专栏： Redis
redis Cluster是Redis官方的集群实现方案，在此之前已经有一些民间的第三方Redis集群解决方案，如Twitter的Twenproxy，豌豆荚的Codis，与其不同的是，Redis Cluster并非使用Porxy的模式来连接集群节点，而是使用无中心节点的模式来组建集群，有一定性能优势也有缺点，本文主要是我调研Redis Cluster的一些知识整理与经验汇总。

首先我们来尝试下搭建一个Redis Cluster集群

前置准备

Redis Cluster需要Redis 3.0及以上版本才支持，此文发布的时候，Redis的最高版本为3.0.5。

wget http://download.redis.io/releases/redis-3.0.5.tar.gz
tar -xvf redis-3.0.5.tar.gz
cd redis-3.0.5
make

编译完Redis，生成的可执行文件在redis-3.0.5/src之中，为了方便使用，我们把可执行文件的目录加入PATH之中。

vim ~/.bashrc

# 增加以下内容

REDIS_HOME=/home/xiezefan/sofeware/redis-3.0.5/src
PATH=$REDIS_HOME:$PATH
export PATH

# 保存后让修改生效

source ~/.bashrc

要创建Redis Cluster，我们还需要安装Ruby以及RubyGems。

yum install ruby
yum install gcc g++ make automake autoconf curl-devel openssl-devel zlib-devel httpd-devel apr-devel apr-util-devel sqlite-devel
yum install ruby-rdoc ruby-devel
yum install rubygems
gem install redis
创建集群

此次此时我们需要创建8个节点，端口号7000~7007

复制redis-3.0.5/redis.conf，修改一下内容

mkdir cluster
cp ~/sofeware/redis-3.0.5/redis.conf cluster/
vim cluster/redis.conf
# 修改以下内容
port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

批量复制7份，修改配置文件的端口号。修改完毕后，分别进入各个节点的目录中启动redis

cd 7000
redis-server redis.conf

cd 7001
redis-server redis.conf

# 依次启动7000-7007
...

至此，8个Redis全都启动完毕，但是他们还处于彼此互相不知道彼此的阶段。

xiezefan@ubuntu:~$ ps -ef | grep redis
xiezefan 13372     1  0 20:09 ?        00:00:08 redis-server *:7000 [cluster]
xiezefan 13376     1  0 20:09 ?        00:00:08 redis-server *:7001 [cluster]
xiezefan 13380     1  0 20:09 ?        00:00:08 redis-server *:7002 [cluster]
xiezefan 13382     1  0 20:09 ?        00:00:08 redis-server *:7003 [cluster]
xiezefan 13386     1  0 20:09 ?        00:00:08 redis-server *:7004 [cluster]
xiezefan 13390     1  0 20:09 ?        00:00:08 redis-server *:7005 [cluster]
xiezefan 13394     1  0 20:09 ?        00:00:08 redis-server *:7006 [cluster]
xiezefan 13400     1  0 20:09 ?        00:00:08 redis-server *:7007 [cluster]

下一步，我们要将7000-7005这六个节点连接成一个集群。

redis-trib.rb create --replicas 1 10.211.55.4:7000 10.211.55.4:7001 10.211.55.4:7002 10.211.55.4:7003 10.211.55.4:7004 10.211.55.4:7005

该命令表示，将7000-7006节点创建一个集群，冗余为1，就是3主3从。切记，此处指定的IP会在client发送move命令的时候返回，所以一定要指定为客户端能访问到的IP，例如下面这种IP是不可行的，client拿到的IP就位是127.0.0.1导致一直重定向失败。

redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

输入后，redis-trib自动分配给出一个slot的分配方案

>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
10.211.55.4:7000
10.211.55.4:7001
10.211.55.4:7002
Adding replica 10.211.55.4:7003 to 10.211.55.4:7000
Adding replica 10.211.55.4:7004 to 10.211.55.4:7001
Adding replica 10.211.55.4:7005 to 10.211.55.4:7002
M: 9dfef549f7917794cbabaf96781ed0e19957c1f3 10.211.55.4:7000
   slots:0-5460 (5461 slots) master
M: c14485e8d7f1f3ec5c505b41fe727b657c951d8d 10.211.55.4:7001
   slots:5461-10922 (5462 slots) master
M: 8b308093e99f4299b8c18ab1dd81c5a83a3528c6 10.211.55.4:7002
   slots:10923-16383 (5461 slots) master
S: 632409883570eb5cecf6089583fba64a41d1154f 10.211.55.4:7003
   replicates 9dfef549f7917794cbabaf96781ed0e19957c1f3
S: edd31196e2980360b0738c57af95e1a69b0f9c9b 10.211.55.4:7004
   replicates c14485e8d7f1f3ec5c505b41fe727b657c951d8d
S: 95063a99c5cf2cc4abc51ca1e8ff0f3b8d60271c 10.211.55.4:7005
   replicates 8b308093e99f4299b8c18ab1dd81c5a83a3528c6
Can I set the above configuration? (type 'yes' to accept):

输入yes后，集群自动创建，创建完毕后，通过redis-cli进入任一节点，使用cluster nodes命令可以查看各个节点的状态

xiezefan@ubuntu:~$ redis-cli -p 7000
127.0.0.1:7000>cluster nodes
c14485e8d7f1f3ec5c505b41fe727b657c951d8d 10.211.55.4:7001 master - 0 1449060968280 2 connected 5461-10922
95063a99c5cf2cc4abc51ca1e8ff0f3b8d60271c 10.211.55.4:7005 slave 8b308093e99f4299b8c18ab1dd81c5a83a3528c6 0 1449060968280 6 connected
edd31196e2980360b0738c57af95e1a69b0f9c9b 10.211.55.4:7004 slave c14485e8d7f1f3ec5c505b41fe727b657c951d8d 0 1449060967274 5 connected
8b308093e99f4299b8c18ab1dd81c5a83a3528c6 10.211.55.4:7002 master - 0 1449060966769 3 connected 10923-16383
632409883570eb5cecf6089583fba64a41d1154f 10.211.55.4:7003 slave 9dfef549f7917794cbabaf96781ed0e19957c1f3 0 1449060967274 4 connected
9dfef549f7917794cbabaf96781ed0e19957c1f3 10.211.55.4:7000 myself,master - 0 0 1 connected 0-5460

随便输入一个查询指令get user.1

127.0.0.1:7000> get user.1
(error) MOVED 9645 10.211.55.4:7001

因为user.1所在的solt-9645在7001节点上，cluster给你发送MOVED指令让你去7001节点查找数据，连接redis-cli的时候，使用-c参数可以指定查询时接收到MOVED指令自动跳转

xiezefan@ubuntu:~$ redis-cli -c -p 7000
127.0.0.1:7000> get user.1
-> Redirected to slot [9645] located at 10.211.55.4:7001
(nil)
集群扩容

现在我们已经有一个包含6个节点的集群，我写了段代码，往集群写入10W条测试数据。
现在模拟机器扩容场景，为集群加入一个master节点7006和一个slave节点7007。

redis-trib.rb add-node 10.211.55.4:7006 10.211.55.4:7000

以上命令将7006节点接入7000所在的集群。接下来，我们为7006增加一个slave节点。

redis-trib.rb add-node --slave 10.211.55.4:7007 10.211.55.4:7000

以上命令表示增加slave节点，将7006的节点加入7000节点所在的集群中作为slave节点，随机依附现有的master节点中slave最少的节点，如果需要再指定特别的master节点，使用

redis-trib.rb add-node --slave --master-id 23b412673af0506df6382353e3a65960d5b7e66d 10.211.55.4:7007 10.211.55.4:7000

其中的23b412673af0506df6382353e3a65960d5b7e66d是7006节点的id，我们可以通过cluster nodes命令查看节点的id。

接下来我们用坐负载均衡，Slot是Redis Cluster数据承载的最小单位，我们可以指定将一定范围的Slot转移到新的节点来实现负载均衡。

Redis Cluster转移一个Slot的步骤是:

  1. 在目标节点上声明将从源节点上迁入Slot CLUSTER SETSLOT <slot> IMPORTING <source_node_id>
  2. 在源节点上声明将往目标节点迁出Slot CLUSTER SETSLOT <slot> IMPORTING <source_node_id>
  3. 批量从源节点获取KEY CLUSTER GETKEYSINSLOT <slot> <count>
  4. 将获取的Key迁移到目标节点 MIGRATE <target_ip> <target_port> <key_name> 0 <timeout>
  5. 重复步骤3，4直到所有数据迁移完毕
  6. 分别向双方节点发送 CLUSTER SETSLOT <slot> NODE <target_node_id>，该命令将会广播给集群其他节点，已经将Slot转移到目标节点。
  7. 等待集群状态变为OK CLUSTER INFO 中的 cluster_state = ok

我编写了一个脚本来批量迁移Slot

#!/bin/bash
source_host=$1  # 源节点HOST
source_port=$2  # 源节点端口
target_host=$3  # 目标节点HOST
target_port=$4  # 目标节点端口
start_slot=$5   # 迁移节点的其实范围
end_slot=$6     # 迁移节点的结束范围


for slot in `seq ${start_slot} ${end_slot}`
do
    redis-cli -c -h ${target_host} -p ${target_port} cluster setslot ${slot} importing `redis-cli -c -h ${source_host} -p ${source_port} cluster nodes | grep ${source_port} | awk '{print $1}'`
    echo "Setslot importing ${slot} to ${target_host}:${target_port} success"
    redis-cli -c -h ${source_host} -p ${source_port} cluster setslot ${slot} migrating `redis-cli -c -h ${target_host} -p ${target_port} cluster nodes | grep ${target_port} | awk '{print $1}'`
    echo "Setslot migrating ${slot} from ${source_host}:${source_port} success"

    while [ 1 -eq 1 ]
    do
        allkeys=`redis-cli -c -h ${source_host} -p ${source_port} cluster getkeysinslot ${slot} 10`
        if [ -z "${allkeys}" ]
        then
            redis-cli -c -h ${source_host} -p ${source_port} cluster setslot ${slot} node `redis-cli -c -h ${target_host} -p ${target_port} cluster nodes | grep ${target_port} | awk '{print $1}'`
            redis-cli -c -h ${target_host} -p ${target_port} cluster setslot ${slot} node `redis-cli -c -h ${source_host} -p ${target_port} cluster nodes | grep ${target_port} | awk '{print $1}'`
            echo "Migrate slot ${slot} finish"
            break
        else 
            for key in ${allkeys}
            do
                redis-cli -c -h ${source_host} -p ${source_port} migrate ${target_host} ${target_port} ${key} 0 5000
                echo "Migrate slot ${slot} key ${key} success"
            done
        fi
    done
done

执行命令 bash rebalance-cluster.sh 10.211.55.4 7000 10.211.55.4 7006 0 1000 将7000节点上0-1000这个范围内的Slot转移到7006节点，通过cluster nodes命令我们可以看到0-1000这个区间是slot已经从7000转移到7006

xiezefan@ubuntu:~/sheel$ redis-cli -c -p 7000 cluster nodes
23b412673af0506df6382353e3a65960d5b7e66d 10.211.55.4:7006 master - 0 1449064402389 7 connected 0-1000
0c2954d21d7bcdae333f4fdecf468ce05aa25544 10.211.55.4:7001 master - 0 1449064400372 2 connected 5461-10922
384a3bb5bd9ecb2fc7db75c866abc715d7966f82 10.211.55.4:7002 master - 0 1449064401381 3 connected 10923-16383
c3e09d286ef2dce49843268b20832d65a5d516a1 10.211.55.4:7004 slave 0c2954d21d7bcdae333f4fdecf468ce05aa25544 0 1449064401885 5 connected
50737b4a91443ab1a34eec4ef99d4f6fe5d358f4 10.211.55.4:7005 slave 384a3bb5bd9ecb2fc7db75c866abc715d7966f82 0 1449064402389 6 connected
3c62cc6664bba378cceb8ae8e02f5d727deafe9d 10.211.55.4:7007 slave 23b412673af0506df6382353e3a65960d5b7e66d 0 1449064400878 7 connected
d6441916dcd89cbf431465d92dfc0eb3dd235295 10.211.55.4:7003 slave 6ee21c5d93a6d2f293a2df1b37e8c9c27cb55ad8 0 1449064402389 4 connected
6ee21c5d93a6d2f293a2df1b37e8c9c27cb55ad8 10.211.55.4:7000 myself,master - 0 0 1 connected 1001-5460

参考文章

本文首发: http://xiezefan.me/2015/12/03/redis_cluster_research_1/


ronmy
关注
专栏目录
深入学习 Redis Cluster - 基于 Docker、DockerCompose 搭建 Redis 集群，处理故障、扩容方案
CYK_byte的博客
09-17 1870
当前阶段，由于我只有一个 云服务器，搞分布式系统就比较麻烦，而实际工作中，一般是通过多个主机的方式来搭建集群的. 因此这里我会 基于 docker、docker-compose（容器编排） 来搭建 redis 集群.
Redis6集群安装及其扩容缩容
Field_Yang的博客
06-11 1766
移除master相对麻烦，因为主节点的里面是有分配了hash槽的，所以必须先把hash槽放入到其他的可用主节点中去，然后再进行移除节点操作，不然会出现数据丢失问题。上一步骤中创建的集群仅有master节点，需添加slave节点实现高可用，手动添加slave以实现和master不同主机，避免主机故障时，主从节点同时挂掉.前文安装的Ruby在Redis6属于无用功。因为主节点的里面是分配了hash槽，所以必须先把8006里的hash槽放入到其他的可用主节点中去，然后再进行移除节点操作，否则会出现数据丢失问题。
RedisCluster集群扩容
qq_32486597的博客
01-27 962
整个集群运行正常，三个master节点和三个slave节点，8001端口的实例节点存储0-5460这些hash槽，8002端口的实例节点存储5461-10922这些hash槽，8003端口的实例节点存储10923-16383这些hash槽，这三个master节点存储的所有hash槽组成redis集群的存储槽位，slave点是每个主节点的备份从节点，不显示存储槽位！的add-node命令新增一个主节点8007(master)，前面的ip:port为新增节点，后面的ip:port为集群中已存在的节点。
Redis cluster 扩容
lixiaolinzq的博客
05-21 703
Redis cluster扩容的方法 redis cluster的主从默认只有主支持读和写，从库默认只是 一个热备，不负责任何的读写请求，只是在主库挂掉之后，会被选举成为主库，然后承担主库的责任； 所以，cluster的扩容是先创建一个主库，然后把槽再次平分，接着做数据迁移，当数据迁移完成后，再创建一个从库，把新主库的数据同步一份过去即可。 具体操作如下： 1.创建新主库，并且启动 2.重新计算slot，slot重分 ...
Redis Cluster 集群扩容与收缩
ApatheCrazyFan的博客
07-30 896
原文地址：http://www.roncoo.com/article/detail/129321 Redis Cluster 集群扩容与收缩 Redis Cluster 集群伸缩 1. 伸缩原理 Redis提供了灵活的节点扩容和收缩方案。在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以对下线节点进行缩容。
tomcat-cluster-redis-session-manager:Tomcat集群Redis会话管理器Java客户端
05-11
在这里，会话被实现为非粘性的（意味着，每个请求都可以转到集群中的任何服务器，这与Apache提供的Tomcat集群设置不同。） 请求会话将立即存储到Redis中（会话属性必须是可序列化的），以供其他服务器使用。 当...
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
redis-cluster-operator 概述 Redis Cluster Operator在Kubernetes上管理 。 操作员本身是用。 每个主节点及其从节点都由statefulSet管理，为每个statefulSet创建一个无头svc，并为所有节点创建clusterIP服务。 ...
redis-py-cluster:官方redis集群的Python集群客户端。 Redis 3.0+
04-28
redis-py-cluster 该客户端提供了Redis 3.0中添加的Redis集群客户端。 该项目是antirez的redis-rb-cluster的移植版，具有许多附加功能。 原始资源可以在找到 分支master将始终包含已从Pull Requests中合并的最新...
redis-cluster集群搭建
01-20
配置redis.conf配置文件 bind 定义的是当前服务端允许接收客户端登录时指定使用的ip地址 如果绑定127.0.0.1的意思是只能由本地客户端登录,外界客户端无法登录. 61行 是否开启保护模式,在开启yes时,当前redis只允许...
redis集群扩容
u010772230的专栏
05-04 896
redis集群扩容 第一步：准备加入的两个节点 参考上篇文章的介绍，新增两个节点 https://blog.csdn.net/u010772230/article/details/105916102 redis-7007和redis-7008 第二步：将节点加入集群 主节点加入集群 redis-cli --cluster add-node 120.79.67.227:700...
redis 集群扩容
duxin_csdn的博客
02-21 1231
#目录 1、集群扩容 2、添加集群主节点 3、添加集群从节点 4、扩容集群问题 #详细过程 ###1、集群扩容 添加一个新节点的过程基本上就是，添加一个空节点，然后，如果是作为主节点则移动一些哈希槽进去， 如果是从节点则设置其作为某个节点的副本即可。 添加空节点方式参考《Redis环境搭建说明》里提到的方式即可。 添加完空节点，并启动，然后我们先来添加这个空节点作为主节点加入集群。 参考： ht...
09-redis cluster扩容
HJ的技术博客
02-28 357
  redis cluster模式下，不建议做物理的读写分离了   我们建议通过master的水平扩容，来横向扩展读写吞吐量，还有支撑更多的海量数据   redis单机，读吞吐是5w/s，写吞吐2w/s   扩展redis更多master，那么如果有5台master，不就读吞吐可以达到总量25/s QPS，写可以达到10w/s QPS   redis单机，内存，6G，8G，fork类操作的...
Redis 7.x 系列【26】集群模式动态扩容、动态缩容
最新发布
记录知识、锤炼自我
07-22 1323
Redis 集群支持动态增加节点实现扩容，提高集群容量和数据处理能力，接下来演示将之前三主三从扩容为四主四从。Redis 集群支持动态删除节点实现缩容，从集群中移除节点，将分配给该节点的哈希槽移动到其他现有节点上。接下来演示将上面的四主四从恢复为三主三从。
Redis Cluster 集群扩容 & 缩容步骤
扛麻袋的少年的博客
12-27 4807
redis 扩容、缩容、节点平衡
Redis Cluster 集群扩容、数据迁移
不忘初心，方得始终
02-28 7541
1、集群扩容 2、添加新节点作为副本 3、删除节点 4、副本迁移 5、redis集群节点版本升级 6、迁移到redis集群 7、手动故障转移 8、集群缩容 官方文档：Redis cluster tutorial – Redis 1、集群扩容 操作流程如下：基于ansible-playbook来操作 1、禁用掉ip.txt中init_cluster组，将server组的ip替换成要扩容节点的物理机ip地址 2、根据原来集群的配置，修改vars/vars.yal的配置文件；执行an
Redis集群节点扩容
ML908的博客
03-23 928
文章目录案列概述软件包redis节点扩容1、节点基础环境（两台操作一致）2、安装redis（2台同时安装）3、创建集群4、使用redis-cli启动自动迁移5、迁移后检测各个节点槽的均衡性6、为扩容的主节点添加从节点7、平衡各节点槽数量 案列概述 ​ 某电商大型项目，由于业务大规模升级。项目中的前置缓存节点，已经不能满足当前的业务需求，现在对redis集群扩容一套redis主备节点，对于...
Redis演进与Redis-cluster集群读写策略探索
本篇文章主要探讨了Redis架构从简单主从架构到哨兵模式，再到Redis-cluster集群的演变历程，并详细介绍了如何在Redis-cluster环境下进行读写操作，以及如何优化读写性能。 1. Redis普通主从模式 在最初的主从架构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值