Redis个人心得笔记（六）

最新推荐文章于 2022-08-15 10:24:01 发布

萌新Java程序猿

最新推荐文章于 2022-08-15 10:24:01 发布

阅读量460

点赞数 1

分类专栏： Redis Redis 文章标签： Redis集群

本文链接：https://blog.csdn.net/LiuY521/article/details/90699534

版权

Redis 同时被 2 个专栏收录

13 篇文章 0 订阅

订阅专栏

Redis

11 篇文章 0 订阅

订阅专栏

Redis个人心得笔记（六）

1.先在目录下创建五个文件夹（如果跨服务器搭建集群,必须绑定127.0.0.1和网卡ip自己的）

2.更改redis.conf配置文件(复制一份源文件)

3.最大内存策略介绍

4.最大内存的上限值

5. Appendonly 设置成 yes

6.appendfilename "appendonly.aof" 指定一个aof格式的持久化文件

7.AOF模式

8. cluster-enabled yes

9.cluster-config-file nodes_8000.conf 开启

10.cluster-node-timeout 15000

11.保存测试

12.模板创建成功，拷贝之前创建好的文件夹中

13.修改对应的端口号

14.redis-trib.rb 文档介绍

15.Create 添加主节点配置最小集群

一.cluster集群的由来

上篇博客写的如何部署主从关系，和哨兵进程，但是高可用是实现了，但是高并发呢？在多并发情况下，能承受的了吗？分片处理

Redis 3.0之前的早期版本,使用哨兵集群两种结构;

高可用哨兵集群(高可用没有分布式分片)
分布式结构

需要由代码维护当前正在工作的主节点集群,考虑分片连接信息不能使用不同节点ip和端口--代码对于分布式集群的维护开发量非常庞大;

导致维护量庞大的根本原因就是客户端jedis代码来管理实现分布式的计算;

Redis的3.0版本出现了redis的重大变革--cluster诞生;

为早期版本的redis分布式集群打开了新的世界.利用cluster集群的结构解决高并发下的分布式高可用,主从替换等等.

二.cluster的介绍

redis-cluster集群结构图

特点:

1 基础,所有redis节点彼此互联(两两之间包括从节点主节点),使用内部二进制协议,优化传输速度;

2 哨兵进程消失了,但是监听集群,监听主从的逻辑机制存在,所有的事件投票判断交给当前集群中的主节点来完成,只要主节点过半选举,可以通过事件最终的结果;

3 客户端无需关心数据在集群中的存放逻辑,集群内部可以将收集的所有key-value数据做分布式的计算转发到对应的节点去处理;

4 redis-cluster集群引入分布式的计算逻辑--hash取模运算(散列计算CRC16(),取余N固定16384),计算逻辑中引入一个虚拟的概念--hash slot,0-16363一共生成16384个槽道;数据key将会和槽道对应key--slot,同时将槽道和节点slot--node;key对应到node如果某一个node的槽道发生变化,数据也随之变化;

其结构特点：

所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
节点的fail是通过集群中超过半数的节点检测失效时才生效。
客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
redis-cluster把所有的物理节点映射到[0-16383]slot上（不一定是平均分配）,cluster 负责维护node<->slot<->value。
Redis集群预分好16384个桶，当需要在 Redis 集群中放置一个 key-value 时，根据 CRC16(key) mod 16384的值，决定将一个key放到哪个桶中。

1.Redis cluster节点分配

假设现在我们是三个主节点分别是：A, B, C 三个节点，它们可以是一台机器上的三个端口，也可以是三台不同的服务器。那么，采用哈希槽 (hash slot)的方式来分配16384个slot 的话（0-16383），它们三个节点分别承担的slot 区间是：

节点A覆盖0－5460;
节点B覆盖5461－10922;
节点C覆盖10923－16383.

获取数据：

如果存入一个值，按照redis cluster哈希槽的算法： CRC16('key')%16384 = 6782。那么就会把这个key 的存储分配到 B 上了。同样，当我连接(A,B,C)任何一个节点想获取'key'这个key时，也会这样的算法，然后内部跳转到B节点上获取数据（如果key跑到A上，A会返回信息，告诉key,找到B上）

新增一个主节点：

新增一个节点D，redis cluster的这种做法是从各个节点的前面各拿取一部分slot到D上，我会在接下来的实践中实验。大致就会变成这样：

节点A覆盖1365-5460
节点B覆盖6827-10922
节点C覆盖12288-16383
节点D覆盖0-1364,5461-6826,10923-12287

同样删除一个节点也是类似，移动完成后就可以删除这个节点了。

2、Redis Cluster主从模式

redis cluster 为了保证数据的高可用性，加入了主从模式，一个主节点对应一个或多个从节点，主节点提供数据存取，从节点则是从主节点拉取数据备份，当这个主节点挂掉后，就会有这个从节点选取一个来充当主节点，从而保证集群不会挂掉。

上面那个例子里, 集群有ABC三个主节点, 如果这3个节点都没有加入从节点，如果B挂掉了，我们就无法访问整个集群了。A和C的slot也无法访问。

所以我们在集群建立的时候，一定要为每个主节点都添加了从节点, 比如像这样, 集群包含主节点A、B、C, 以及从节点A1、B1、C1, 那么即使B挂掉系统也可以继续正确工作。

B1节点替代了B节点，所以Redis集群将会选择B1节点作为新的主节点，集群将会继续正确地提供服务。当B重新开启后，它就会变成B1的从节点。

不过需要注意，如果节点B和B1同时挂了，Redis集群就无法继续正确地提供服务了。

三.Redis Cluster的安装步骤

1.先在目录下创建五个文件夹（如果跨服务器搭建集群,必须绑定127.0.0.1和网卡ip自己的）

2.更改redis.conf配置文件(复制一份源文件)

3.最大内存策略介绍

VLATILE-LRU:删除设置过超时的数据,利用LRU算法(最近最久未使用)尽量不要内存达到上限
ALLKEYS-LRU:所有数据中根据LRU算法删除
VOLATILE-RANDOM:随机删除设置了超时的数据
ALLKEY-RANDOM:随机删除所有数据
VALATILE-TTL:删除即将超时的数据
NOEVICTION:没有任何上限内存的策略使用,出现上限平静,抛出error
random判断热点冷点数据时不能使用random,LRU算法

4.最大内存的上限值

5. Appendonly 设置成 yes

默认是rdb方式持久化要改成

6.appendfilename "appendonly.aof" 指定一个aof格式的持久化文件

7.AOF模式

rdb持久化和aof持久化模式对比：

rdb:需要客户端必须调用命令 save完成数据从内存保存到磁盘的操作;没有来得及save的数据一旦丢失,数据出现未命中;

优点: 适合一次性恢复海量数据;

缺点:持久化rdb ,数据完整性不足,没有来得及save的数据一旦丢失,数据出现未命中;

执行原理:占用server的资源,如果save一次需要持久化的数据太大,会导致server短时间崩溃;

aof:二进制的日志,实时记录(一秒) redis客户端操作的所有写命令;没有来得及save的数据不保存在dump里,但是命令内容,保存在了aof文件;恢复时,只需要将每save的所有内容的命令调出来,

优点:数据的完整性比rdb好;

缺点:不适合做大量数据的恢复,aof文件记录数据太大,恢复非常慢

总结：

如果redis只做缓存,不考虑数据的可靠性;两者都关闭

redis既做缓存,也需要考虑数据可恢复,可以根据不同的情况使用rdb或者aof(两个都开启)--小规模数据情况下,对比性能

rdb单独用	aof+rdb
数据量小,性能高	数据量小,性能低1/2的rdb效率
数据量大,性能与aof+rdb同级别	同级别

8. cluster-enabled yes

加载当前配置文件的redis服务一旦启动需要开启集群模式,否则无法使用集群的各种策略和逻辑

9.cluster-config-file nodes_8000.conf 开启

集群配置启动后,将会创建这个nodes文件,记录当前服务器上唯一的一个集群状态;例如,搭建了8000-8005这样一个集群,操作失误下,集群失效,重新搭建集群,当前服务器读取这个配置文件会发现,槽道已经被一个集群分配了,新的集群搭建失败;

10.cluster-node-timeout 15000

请求超时默认15秒，可自行设置

11.保存测试

先杀死所以相关进程

启动测试

注意 cluster 是你开启槽道才会产生的

开启集群的好处，以前需要手动分配，开启集群之后，集群内部会自动分配

12.模板创建成功，拷贝之前创建好的文件夹中

13.修改对应的端口号

快捷方式

、

修改完成

启动

查看状态 ps -ef|grep redis

14.redis-trib.rb 文档介绍

create 创建集群搭建最少三个主节点（投票）（实际一定远比三个多）一个集群上限1000个
check 检查
info 状态
fix 修复
reshard 重新分片
rebalanec
add-node 添加节点
del-node 删除
set-timeout设置超时
call 呼叫
import 导入
help 帮助

15.Create 添加主节点配置最小集群

确定发现出错 >>> Creating cluster 无效端口少写了：
Invalid IP or Port (given as 10.42.60.249) - use IP:Port format

敲yes 千万别敲错没有回退功能敲错只能重新创建。。。我就敲错了

16.集群创建完成，登录

一定要带 -c 是集群的指令之前的无效

17.查看当前集群的状态

已知节点是三个，总集群是三，各自是一 530代号

18.查看当前所以节点的状态信息

0918那一串数字 ID
10.42.60.249:8001 端口号
myself 当前查看端口的客户端
master 角色
- 代表当前节点挂接的主节点（没从节点显示不出来）
155。。。一大堆数组代表世界元年到现在的时间
1,2,3代表序号
connected 连接状态
0-5460 最后数组代表槽道范围

CLUSTER INFO 打印集群的信息
CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。 
//节点
CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。
CLUSTER FORGET <node_id> 从集群中移除 node_id 指定的节点。
CLUSTER REPLICATE <node_id> 将当前节点设置为 node_id 指定的节点的从节点。
CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。
CLUSTER ADDSLOTS <slot> [slot ...] 将一个或多个槽（slot）指派（assign）给当前节点。
CLUSTER DELSLOTS <slot> [slot ...] 移除一个或多个槽对当前节点的指派。
CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。
CLUSTER SETSLOT <slot> NODE <node_id> 将槽 slot 指派给 node_id 指定的节点。
CLUSTER SETSLOT <slot> MIGRATING <node_id> 将本节点的槽 slot 迁移到 node_id 指定的节点中。
CLUSTER SETSLOT <slot> IMPORTING <node_id> 从 node_id 指定的节点中导入槽 slot 到本节点。
CLUSTER SETSLOT <slot> STABLE 取消对槽 slot 的导入（import）或者迁移（migrate）。 
//键
CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。
CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。
CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。 
//新增
CLUSTER SLAVES node-id 返回一个master节点的slaves 列表
--------------------- 
作者：think2me 
来源：CSDN 
原文：https://blog.csdn.net/think2me/article/details/50384924 
版权声明：本文为博主原创文章，转载请附上博文链接！