NoSQL--Redis集群6节点

已于 2024-08-02 08:45:43 修改
阅读量81 收藏
点赞数
分类专栏： 数据库 文章标签： nosql redis 数据库
于 2023-04-06 23:01:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55000003/article/details/130000776
版权

环境准备

6台服务器、启用集群功能

[root@host51 ~]# yum -y install gcc 
[root@host51 ~]# tar -xf redis-4.0.8.tar.gz 
[root@host51 ~]# cd redis-4.0.8/
[root@host51 ~]# make && make install
[root@host51 ~]# ./utils/install_server.sh  遇到提示就回车
[root@host51 ~]# /etc/init.d/redis_6379  stop
[root@host51 ~]# vim /etc/redis/6379.conf 
bind 192.168.88.51 
port 6379
cluster-enabled yes #启用集群功能
cluster-config-file nodes-6379.conf #保存集群信息的配置文件
cluster-node-timeout 5000  #集群中主机的连接超时时间
[root@host51 ~]#            
[root@host51 ~]# /etc/init.d/redis_6379  start
[root@host51 ~]# netstat  -utnlp  | grep redis-server
tcp        0      0 192.168.88.51:16379      0.0.0.0:*               LISTEN      4249/redis-server 1 
tcp        0      0 192.168.88.51:6379      0.0.0.0:*               LISTEN      4249/redis-server 1

  工作原理

hash solt

redis采用hash槽的方式来进行数据存储的。
redis定义了16384个虚拟的哈希槽,将这16384个槽分配带集群各个节点上，然后多key通过crc16算法得到一个值，然后对16384取模，得到0到16383之间的一个数字。然后就会将key存储到对应数字的节点上。

通过CRC16算法匹配不同的slot 来决定在哪个服务器上存储.

存储数据和查询数据时 调用集群算法 集群算法会计算出1个数字， 数字

在哪个主服务占用的槽范围内 ，就连接对应的主服务器存储数据或查询数据。

部署管理主机

部署ruby脚本运行环境

创建管理集群脚本redis-trib.rb

]#yum  -y  install  ruby 
]#gem  install  redis-3.2.1.gem
]#mkdir  /root/bin                 //创建命令检索目录
]#tar -xf redis-4.0.8.tar.gz
]#cp  redis-4.0.8/src/redis-trib.rb   /root/bin/      
]#chmod  +x   /root/bin/redis-trib.rb  //设置执行权限
]#redis-trib.rb   help   （能看到帮助信息为成功）

创建集群

redis-trib.rb create --replicas 数字 ip地址:端口 ip地址:端口 ip地址:端口 ....

--replicas 从服务器的台数（指定每个主服务器有几台从服务器）

按顺序前三个主，后三个为slave

[root@mgm57 ~]# redis-trib.rb create --replicas 1  192.168.88.51:6379  192.168.88.52:6379 192.168.88.53:6379 192.168.88.54:6379 192.168.88.55:6379 192.168.88.56:6379
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.88.51:6379
192.168.88.52:6379
192.168.88.53:6379
Adding replica 192.168.88.55:6379 to 192.168.88.51:6379
Adding replica 192.168.88.56:6379 to 192.168.88.52:6379
Adding replica 192.168.88.54:6379 to 192.168.88.53:6379
M: 0eb3b7aa0493a19189cba35b0c658202cc20884b 192.168.88.51:6379
   slots:0-5460 (5461 slots) master
M: a9cb8ccd31bf3eb70433c00906c9f1a99b5e8441 192.168.88.52:6379
   slots:5461-10922 (5462 slots) master
M: f2c1bdb78d8d224c3666fa6440bdf80ba563c581 192.168.88.53:6379
   slots:10923-16383 (5461 slots) master
S: bdba77868965371680fa825badff59bf8ef95a81 192.168.88.54:6379
   replicates f2c1bdb78d8d224c3666fa6440bdf80ba563c581
S: 11510f42bfd9cf667bab5f31c01476d94984200a 192.168.88.55:6379
   replicates 0eb3b7aa0493a19189cba35b0c658202cc20884b
S: fe572ce003ee634c52adc4b42d92d15f847937d7 192.168.88.56:6379
   replicates a9cb8ccd31bf3eb70433c00906c9f1a99b5e8441
Can I set the above configuration? (type 'yes' to accept): yes 同意 
....
....
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.  #创建成功的提示

查看集群信息

查看集群统计信息

redis-trib.rb info 192.168.88.51:6351

查看集群详细

redis-trib.rb check 192.168.88.51:6379

在任意一台redis服务器本机，查看集群信息

[root@host51 ~]# redis-cli  -h 192.168.88.51 -p 6379
192.168.88.51:6379> cluster info       //查看集群信息
cluster_state:ok
……
……
cluster_known_nodes:6
cluster_size:3
192.168.88.51:6351> cluster  nodes   //查看集群节点信息
d9634ba0aa5c1a07193da4a013da6051c1515922 192.168.88.54:6354@16379 slave 9e44139cffb8ebd7ed746aabbf4bcea9bf207645 0 1561357552212 4 connected
894dd0008053f6fb65e9e4a36b755d9351607500 192.168.88.56:6356@16379 slave 324e05df3f143ef97e50d09be0328a695e655986 0 1561357554216 6 connected
d9f8fe6d6d9dd391be8e7904501db1535e4d17cb 192.168.88.51:6351@16379 myself,master - 0 1561357545000 1 connected 0-5460
324e05df3f143ef97e50d09be0328a695e655986 192.168.88.52:6352@16379 master - 0 1561357553214 2 connected 5461-10922
9e44139cffb8ebd7ed746aabbf4bcea9bf207645 192.168.88.53:6353@16379 master - 0 1561357554216 3 connected 10923-16383
2d343a9df48f6f6e207949e980ef498466a44dad 192.168.88.55:6355@16379 slave d9f8fe6d6d9dd391be8e7904501db1535e4d17cb 0 1561357553716 5 connected
192.168.88.51:6379>

访问集群

连接集群中的任意一台服务器都可以查询数据和存储数据）

-c 连接集群中的主机 使用集群算法存储数据

集群算法每次只有一个计算结果,向集群中的主机存储数据一次只能存储一个变量

 redis-cli -c -h redis服务器的ip -p 端口号

测试集群功能

测试服务高可用

        master宕机后对应的slave自动被选举为master，原master修好后做当前master的slave

测试数据自动备份

        连接服务器查看数据 keys *

        slave服务器只读

添加服务器

  • 部署新redis服务器
  • 添加master角色主机到集群里
  • 添加slave角色主机到集群里
]#yum -y  install gcc
]#tar -xf redis-4.0.8.tar.gz
]#cd redis-4.0.8/
]#make
]#make install
]#./utils/install_server.sh
]# /etc/init.d/redis_6379  stop
vim /etc/redis/6379.conf
        bind 192.168.88.58
        port 6379
        cluster-enabled  yes                         //启用集群
        cluster-config-file  nodes-6379.conf      //存储集群信息文件
        cluster-node-timeout  5000
]# /etc/init.d/redis_6379  start

redis-trib.rb add-node 192.168.88.58:6379 192.168.88.51:6379

重新分配hash槽（reshard）

[root@mgm57 ~]# redis-trib.rb  reshard   192.168.88.53:6379  
How many slots do you want to move (from 1 to 16384)?4096   //拿出4096个hash 槽给主机192.168.4.58
What is the receiving node ID?  c5e0da48f335c46a2ec199faa99b830f537dd8a0   //主机192.168.4.58的id值
Source node #1:all      //从当前所有master服务器获取hash槽
Do you want to proceed with the proposed reshard plan (yes/no)?yes //同意以上配置
...

 添加slave角色主机到集群里

]#yum -y  install gcc
]#tar -xf redis-4.0.8.tar.gz
]#cd redis-4.0.8/
]#make
]#make install
]#./utils/install_server.sh
]# /etc/init.d/redis_6379  stop
vim /etc/redis/6379.conf
        bind 192.168.88.59
        port 6379
        cluster-enabled  yes                         //启用集群
        cluster-config-file  nodes-6379.conf      //存储集群信息文件
        cluster-node-timeout  5000
]# /etc/init.d/redis_6379  start

 在管理主机，添加slave角色主机

redis-trib.rb add-node --slave 192.168.88.59:6379 192.168.88.51:6379 //执行添加命令

redis-trib.rb info 192.168.88.51:6379 //查看信息

移除服务器

  • 移除slave角色服务器 del-node
  • 移除master角色服务器 del-node

1. redis-trib.rb check 192.168.88.51:6379 | grep 192.168.88.59  查找要删除对应的主机的id

1.redis-trib.rb del-node 192.168.88.51:6379 7f3fa4f20c8c516d5b412ecc22550ed8e7bb8d7a

2. 释放占用的hash槽

 redis-trib.rb  reshard 192.168.88.51:6379
//移除4096个数槽
How many slots do you want to move (from 1 to 16384)?4096 
//接收槽master主机ID
What is the receiving node ID?  bc5c4e082a5a3391b634cf433a6486c867cfc44b 
//192.168.88.58的ID
Source node #1: c5e0da48f335c46a2ec199faa99b830f537dd8a0
Source node #2:done           //设置完毕

redis-trib.rb info 192.168.88.51:6379 此时查看集群信息只有0个槽

3.移除master

redis-trib.rb check 192.168.88.51:6379 | grep 192.168.88.58

redis-trib.rb del-node 192.168.88.51:6379 4fe1fa467ad237802021f5aac5f1d5b3e0db47ef    //删除谁+删除的id

在管理主机,查看集群信息

redis-trib.rb info 192.168.88.51:6351 此时就删除了

你需要知道

1 阐述redis集群存取数据工作原理。

当客户端存储数据到集群主机时，获取变量名与CRC16算法做hash计算，然后用计算结果与16384做取余运算，再根据余数值，把数据存储到对应的master 服务器。

2 阐述redis配置文件中，下列配置项的作用 。

bind IP地址 Redis服务IP地址

port xxxx Redis服务端口号

cluster-enabled yes 启用集群功能

cluster-config-file nodes-xxxx.conf 保存集群信息文件

cluster-node-timeout 5000 与主服务器建立连接超时时间（单位毫秒）

3 简述访问集群命令格式？

redis-cli -c -h 192.168.4.53 -p 6353

-c 集群模式

small white poplar
关注
专栏目录
NOSQL---Redis配置与优化
鸡汤的博客
06-17 211
关系型数据库是一个结构化的数据库，创建关系模型（二维表格模型）基础上，一般面向于记录。 SQL语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。主流的关系型数据库包括 oracle、Mysql、sql server、Microsoft Access、DB2、PostgreSql等。以上数据库在使用的时候必须先建库建表设计表结构，然后存储数据的时候按表结构去存，如果数据与表结构不匹配就会存储失败。NoSQL(NoSQL = Not only sql)，意思是"不
Docker-compose之Redis Cluster集群
weixin_50236329的博客
11-18 3106
概述 Redis作为基于键值对的NoSQL数据库，具有高性能、丰富的数据结构、持久化、高可用、分布式等特性，同时Redis本身非常稳定，已经得到业界的广泛认可和使用。 在Redis中，集群的解决方案有三种 主从复制 哨兵机制 Cluster Redis Cluster是Redis的分布式解决方案，在 3.0 版本正式推出。 集群方案的对比 1. 主从复制 同Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，读写分离
redis-as-database-advanced:Redis作为NoSQL数据库的高级用法
04-05
Redis，一个高性能的键值数据存储系统，常被用作NoSQL数据库，尤其适用于缓存、消息队列和实时数据操作。本主题将深入探讨Redis作为数据库的高级用法，结合Spring Boot框架，以及Java客户端的高效应用。 一、Redis...
Reading-and-comprehense-redis-cluster_y123456yz.tar.gz
10-20
分布式NOSQL redis源码阅读中文分析注释，带详尽注释以及相关流程调用注释，提出改造点，redis cluster集群功能、节点扩容、槽位迁移、failover故障切换、一致性选举完整分析，对理解redis源码很有帮助，解决了...
NoSQL数据库-MongoDB和Redis
05-16
### NoSQL数据库-MongoDB和Redis #### 一、NoSQL简述 NoSQL数据库的出现是为了应对传统关系型数据库无法解决的一些问题，特别是在大规模数据处理方面。CAP理论（Consistency，Availability，Partition Tolerance）...
2024.10月7日- 非关系型数据库--- Redis
whisper_Java 的博客
10-07 852
Redis的Set结构与Java中的HashSet类似，可以看做是一个value为null的HashMap。例如，需要存储用户、商品信息到redis，有一个用户id是1，有一个商品id恰好也是1，此时如果使用id作为key，那就会冲突了，该怎么办？Redis中的List类型与Java中的LinkedList类似，可以看做是一个双向链表结构。Hash类型，也叫散列，其value是一个无序字典，类似于Java中的HashMap结构。String类型，也就是字符串类型，是Redis中最简单的存储类型。
图解Redis 03 | List数据类型的原理及应用场景
大厂小码农的博客
10-10 757
List是一个简单的字符串列表，按照元素的插入顺序进行排序。您可以从头部或尾部添加元素到这个列表中。列表的最大长度为2^32 - 1，即支持多达40亿个元素。
重学SpringBoot3-集成Redis（十二）之点赞功能实现
CoderJia的学习之路
10-11 2397
在现代的应用中，点赞功能是一个非常常见的需求，尤其在社交媒体、博客等平台上。Redis 作为一个高性能的键值存储系统，由于其读写速度快、支持丰富的数据结构，因此非常适合用来实现实时的点赞功能。本文将介绍如何结合 Spring Boot 3 和 Redis 来实现一个高效的点赞功能。
【Redis】持久化（下）-- AOF
2301_78320637的博客
10-08 1128
Redis提供了两种持久化RDB和AOFRDB视为内存快照,产生的内容更为紧凑占用空间小恢复速度更快.但是产生RDB的开销较大不适合进行实时持久化,一般用于冷备和主从复制AOF视为对修改命令保存,在恢复时需要重放命令.并且有重写机制来定期压缩AOF文件RDB和AOF都是用fork来创建子进程,利用Linux子进程拥有父进程内存快照的特点来进行持久化,尽可能不影响主进程继续处理后续命令。
滚雪球学Redis[1.3讲]：Redis的安装与配置
**My Coding Family**
10-09 696
在前几期文章中，我们探讨了什么是 Redis以及Redis 的基本架构，从宏观上理解了 Redis 是一个高性能的内存数据库，并学习了其客户端-服务器模型、单线程与多线程设计、内存存储与持久化机制等关键概念。这些知识为我们打下了理论基础。然而，理论与实践结合，才能真正掌握 Redis。本期，我们将深入探讨 Redis 的安装与配置过程，包括在多种操作系统上的安装方法、Redis 配置文件的重要选项以及安装过程中常见的错误与解决方案。这些内容将帮助你顺利地在本地或生产环境中部署和配置 Redis。
Redis 实现 查找附近的人 功能
分享技术，分享经验
10-09 595
使用 Redis 实现“查找附近的人”功能，通常会依赖 Redis 的Geo（地理位置）数据类型来存储用户的经纬度，并基于此进行地理范围查询。Redis 通过GEOADDGEORADIUS等命令来存储用户位置和查找一定范围内的用户。存储用户的地理位置：我们需要存储用户的经纬度信息，以便后续可以基于此进行地理查询。Redis 提供了GEOADD命令，允许将用户的经纬度信息存储在 Redis 中的有序集合中（底层基于ZSet实现）。根据当前用户的位置查找附近的用户：使用GEORADIUS或。
图解Redis 04 | Set数据类型的原理及应用场景
大厂小码农的博客
10-10 823
Redis 的 Set 类型是一个不允许重复元素的集合，元素存储的顺序不按照插入的顺序，因此属于无序集合。一个 Set 最多可以存储 2^32 - 1 个元素，这与数学中的集合概念类似。Set 类型不仅支持增、删、改、查等操作，还支持多个Set之间的交集、并集和差集运算。
MFC项目如何使用hiredis库连接redis
小银
10-09 843
最近需要在windows PC终端读取redis数据。我这里使用连接redis. 工程是vs2022开发的。
Root me CTF all the day靶场ssrf+redis漏洞
M372109150的博客
10-10 682
本篇介绍了root me CTF all the day靶场的SSRF BOX中的漏洞，使用SSRF+redis 获取内网主机权限，利用SSRF来对redis的未授权访问执行命令。从而达到获取主机权限的目的。
简单认识redis-5 jdbc 与 jedis 使用的区别
m0_68274160的博客
10-08 647
【代码】简单认识redis-5 jdbc 与 jedis 使用的区别。
【部署篇】Redis-02单机模式部署（源码方式安装）
10-11 319
Redis在Linux（centos）下单机模式部署
Redis 列表(List)
最新发布
wjs2024的博客
10-13 344
Redis 列表是简单的字符串列表，按照插入顺序排序。你可以在列表的头部或尾部添加元素。列表的最大长度为 2^32 - 1 元素（每个列表超过 40 亿个元素）。Redis 列表是一个强大的数据结构，适用于多种场景。它简单易用，高性能，并且非常灵活。如果你需要处理有序的字符串集合，Redis 列表是一个很好的选择。
redis单线程为什么这么快
Lxn2zh的博客
10-10 1058
多个 socket 可能会并发产生不同的操作，每个操作对应不同的文件事件，但是 IO 多路复用程序会监听多个 socket，会将产生事件的 socket 放入队列中排队，事件分派器每次从队列中取出一个 socket，根据 socket 的事件类型交给对应的事件处理器进行处理。它采用 IO 多路复用机制同时监听多个 socket，将产生事件的 socket 压入内存队列中，事件分派器根据 socket 上的事件类型来选择对应的事件处理器进行处理。事件处理器（连接应答处理器、命令请求处理器、命令回复处理器）
应对Redis大Key挑战：从原理到实现
欢迎来到【技术拾光者】，在这里，我们专注分享编程教程、技术趋势、实战案例和优质资源。不定期举办技术问答、专家访谈和职业指导。加入我们，共同探索技术世界，提升技能，拓展职业道路！
10-09 1179
在使用Redis时，大Key问题会导致性能下降、内存消耗过多等问题。本文详细探讨了大Key问题的成因、影响及解决方案。大Key问题通常由大字符串、大集合或大对象引起，影响系统的内存使用和响应时间。通过拆分大Key、分页读取、异步删除和监控预警等方法，可以有效解决大Key问题。文章提供了Java示例代码，展示如何处理和优化Redis中的大Key问题，包括手动拆分大Key、分页读取大集合和异步删除大Key等。通过这些方法，开发者可以显著提升Redis的性能和稳定性。
NoSQL 之Redis集群
06-09
Redis集群还提供了自动故障转移和节点扩容功能，当一个节点失效时，集群会自动将其它节点上的数据迁移到新的节点上，从而保证数据的可靠性和可用性。 Redis集群的部署需要考虑多个因素，如节点数、数据分片、故障...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

small white poplar

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值