Redis学习之集群cluster（十）

一、集群简介

现状问题：业务发展过程中遇到的峰值瓶颈

• redis提供的服务每秒操作次数可以达到10万/秒，当前业务OPS已经达到10万/秒
• 内存单机容量达到256G，当前业务需求内存容量1T
• 使用集群的方式可以快速解决上述问题

集群定义：

集群就是使用网络将若干台计算机联通起来，并提供统一的管理方式，使其对外呈现单机的服务效果

集群作用：

• 分散单台服务器的访问压力，实现负载均衡
• 分散单台服务器的存储压力，实现可扩展性
• 降低单台服务器宕机带来的业务灾难

二、Cluster集群结构设计

2.1 Cluster存储设计

1、 通过算法设计，计算出key应该保存的位置

2、 将所有的存储空间计划切割成16384份，每台主机保存一部分

注意：每份代表的是一个存储空间，不是一个key的保存空间

3、 将key按照计算出的结果放到对应的存储空间

2.2 Cluster查询操作

当我们查找数据时，集群的操作：

• 各个数据库相互通信，保存各个库中槽的编号数据
• 一次命中，直接返回
• 一次未命中，告知具体位置

三、Cluster集群结构搭建

3.1 搭建准备

• 配置服务器（3主3从）
• 建立通信（Meet）
• 分槽（Slot）
• 搭建主从（master-slave）

3.2 Cluster配置

• 是否启用cluster，加入cluster节点

cluster-enabled yes|no

• cluster配置文件名，该文件属于自动生成，仅用于快速查找文件并查询文件内容

cluster-config-file filename

• 节点服务响应超时时间，用于判定该节点是否下线或切换为从节点

cluster-node-timeout milliseconds

• master连接的slave最小数量

cluster-migration-barrier min_slave_number

3.3 Cluster节点操作命令

• 查看集群节点信息

cluster nodes

• 更改slave指向新的master

cluster replicate master-id

• 发现一个新节点，新增master

cluster meet ip:port

• 忽略一个没有solt的节点

cluster forget server_id

• 手动故障转移

cluster failover

3.4 集群操作命令

• 创建集群

redis-cli –-cluster create masterhost1:masterport1 masterhost2:masterport2  masterhost3:masterport3 [masterhostn:masterportn …] slavehost1:slaveport1  slavehost2:slaveport2 slavehost3:slaveport3 -–cluster-replicas n

注意：master与slave的数量要匹配，一个master对应n个slave，由最后的参数n决定

master与slave的匹配顺序为第一个master与前n个slave分为一组，形成主从结构

• 添加master到当前集群中，连接时可以指定任意现有节点地址与端口

redis-cli --cluster add-node new-master-host:new-master-port now-host:now-port

• 添加slave

redis-cli --cluster add-node new-slave-host:new-slave-port master-host:master-port --cluster-slave --cluster-master-id masterid

• 删除节点，如果删除的节点是master，必须保障其中没有槽slot

redis-cli --cluster del-node del-slave-host:del-slave-port del-slave-id

• 重新分槽，分槽是从具有槽的master中划分一部分给其他master，过程中不创建新的槽

redis-cli --cluster reshard new-master-host:new-master:port --cluster-from src-  master-id1, src-master-id2, src-master-idn --cluster-to target-master-id --  cluster-slots slots

注意：将需要参与分槽的所有masterid不分先后顺序添加到参数中，使用，分隔

指定目标得到的槽的数量，所有的槽将平均从每个来源的master处获取

• 重新分配槽，从具有槽的master中分配指定数量的槽到另一个master中，常用于清空指定master中的槽

redis-cli --cluster reshard src-master-host:src-master-port --cluster-from src-  master-id --cluster-to target-master-id --cluster-slots slots --cluster-yes

四、Cluster集群本地操作

4.1 环境准备

配置conf文件

port 6501
dir "/usr/local/redis/data"
dbfilename "dump-6501.rdb"
# 启用cluster集群,加入cluster节点
cluster-enabled yes
# cluster配置文件名，该文件属于自动生成，仅用于快速查找文件并查询文件内容
cluster-config-file "cluster-6501.conf"
# 节点服务响应超时时间，用于判定该节点是否下线或切换为从节点
cluster-node-timeout 5000

三主三从的搭配，设置6个conf文件，每个文件其他配置相同，修改端口号即可。

4.2 启动redis

按照redis-server redis-XX.conf 启动6台redis服务器。

4.3 使用命令创建集群

1、创建集群

redis-cli --cluster create 127.0.0.1:6501 127.0.0.1:6502 127.0.0.1:6503 127.0.0.1:6504 127.0.0.1:6505 127.0.0.1:6506 --cluster-replicas 1

2、登录客户端

redis-cli -c -p 6501