redis集群

最新推荐文章于 2023-12-17 19:58:44 发布
最新推荐文章于 2023-12-17 19:58:44 发布
阅读量239 收藏
点赞数
文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44895829/article/details/123417937
版权

一。问题？

1.容量不够，redis如何进行扩容？

2.并发操作，redis如何分摊？

另外，从主模式、薪火相传模式、主机宕机、导致主机ip地址发生变化，应用程序中配置需要修改对应的主机地址，端口等信息

之前通过代理主机来解决问题，但是redis3.0提供方案就是无中心化集群配置

无中心化集群

 

二、什么是集群？

集群的定义：
Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。
Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求
集群的开始步骤

删除持久化数据：先删除rdb文件

[root@localhost myredis]# rm -rf dump63*

制作六个实例，6379、6380、6381、6389、6390、6391

[root@localhost myredis]# vi redis6379.conf

 cluster-enabled yes   打开集群模式

cluster-config-file nodes-6391.conf    设定节点配置文件名

cluster-node-timeout 15000  设定节点失联时间，超过多少时间（毫秒），集群自动进行主从切换

include /myredis/redis.conf
pidfile "/var/run/redis_6391.pid"
port 6391
dbfilename "dump6391.rdb"
cluster-enabled yes
cluster-config-file nodes-6391.conf
cluster-node-timeout 15000

快速删除原来的conf文件

rm -rf redis63*

 快速复制

 

替换口令：

:%s/6379/6380

后面一个端口为要替换成的端口

启动六个redis服务

[root@localhost myredis]# redis-server redis6379.conf
[root@localhost myredis]# redis-server redis6379.conf
[root@localhost myredis]#  redis-server redis6380.conf
[root@localhost myredis]#  redis-server redis6381.conf
[root@localhost myredis]#  redis-server redis6389.conf
[root@localhost myredis]#  redis-server redis6390.conf
[root@localhost myredis]#  redis-server redis6391.con
12938:C 11 Mar 2022 10:31:20.668 # Fatal error, can't open config file '/root/myredis/redis6391.con': No such file or directory
[root@localhost myredis]#  redis-server redis6391.conf

查看进程

下面将六个节点合成一个集群

     先切换到redis的src目录下

[root@localhost myredis]# cd /usr/local
[root@localhost local]# ls
bin  etc  games  include  lib  lib64  libexec  nginx  redis-6.2.6  sbin  share  src
[root@localhost local]# cd redis-6.2.6
[root@localhost redis-6.2.6]# ll
总用量 248
-rw-rw-r--  1 root root 33624 10月  4 18:59 00-RELEASENOTES
-rw-rw-r--  1 root root    51 10月  4 18:59 BUGS
-rw-rw-r--  1 root root  5026 10月  4 18:59 CONDUCT
-rw-rw-r--  1 root root  3384 10月  4 18:59 CONTRIBUTING
-rw-rw-r--  1 root root  1487 10月  4 18:59 COPYING
drwxrwxr-x  7 root root   213 3月  10 17:07 deps
-rw-r--r--  1 root root    92 3月  10 17:52 dump.rdb
-rw-rw-r--  1 root root    11 10月  4 18:59 INSTALL
-rw-rw-r--  1 root root   151 10月  4 18:59 Makefile
-rw-rw-r--  1 root root  6888 10月  4 18:59 MANIFESTO
-rw-rw-r--  1 root root 21567 10月  4 18:59 README.md
-rw-rw-r--  1 root root 93724 3月  10 17:16 redis.conf
-rwxrwxr-x  1 root root   275 10月  4 18:59 runtest
-rwxrwxr-x  1 root root   279 10月  4 18:59 runtest-cluster
-rwxrwxr-x  1 root root  1079 10月  4 18:59 runtest-moduleapi
-rwxrwxr-x  1 root root   281 10月  4 18:59 runtest-sentinel
-rw-rw-r--  1 root root 13768 10月  4 18:59 sentinel.conf
drwxrwxr-x  3 root root 12288 3月  10 17:09 src
drwxrwxr-x 11 root root   182 10月  4 18:59 tests
-rw-rw-r--  1 root root  3055 10月  4 18:59 TLS.md
drwxrwxr-x  9 root root  4096 10月  4 18:59 utils
[root@localhost redis-6.2.6]# cd /src
-bash: cd: /src: 没有那个文件或目录
[root@localhost redis-6.2.6]# cd src

在redis的src目录下执行下面这段代码 

这里有个小坑，要看自己redis的 /etc/redis.conf 里面的bind

redis-cli --cluster create --cluster-replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6389 127.0.0.1:6390 127.0.0.1:6391

把六个redis服务进行合体成为一个集群，输入yes，下面为合并为一个集群的页面

[root@localhost src]# redis-cli --cluster create --cluster-replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6389 127.0.0.1:6390 127.0.0.1:6391
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 127.0.0.1:6390 to 127.0.0.1:6379
Adding replica 127.0.0.1:6391 to 127.0.0.1:6380
Adding replica 127.0.0.1:6389 to 127.0.0.1:6381
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 894d263507ede34cd083aa74f438372bcd4f9200 127.0.0.1:6379
   slots:[0-5460] (5461 slots) master
M: 6f29327986273becb7c3efb75a71e42c68ae33f1 127.0.0.1:6380
   slots:[5461-10922] (5462 slots) master
M: 85979769fd8c30b6b3eb8dcd3553d8fc6402f69e 127.0.0.1:6381
   slots:[10923-16383] (5461 slots) master
S: 0c5a3cc5b3bf224a511c1415d6be9bcce672ae67 127.0.0.1:6389
   replicates 85979769fd8c30b6b3eb8dcd3553d8fc6402f69e
S: 0836dae0134118a97b6a9a0ab992be329c4e50e9 127.0.0.1:6390
   replicates 894d263507ede34cd083aa74f438372bcd4f9200
S: 94d047ca6e8160a27539958fbe33f026ee4734cb 127.0.0.1:6391
   replicates 6f29327986273becb7c3efb75a71e42c68ae33f1
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
...
>>> Performing Cluster Check (using node 127.0.0.1:6379)
M: 894d263507ede34cd083aa74f438372bcd4f9200 127.0.0.1:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 94d047ca6e8160a27539958fbe33f026ee4734cb 127.0.0.1:6391
   slots: (0 slots) slave
   replicates 6f29327986273becb7c3efb75a71e42c68ae33f1
M: 85979769fd8c30b6b3eb8dcd3553d8fc6402f69e 127.0.0.1:6381
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 6f29327986273becb7c3efb75a71e42c68ae33f1 127.0.0.1:6380
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: 0836dae0134118a97b6a9a0ab992be329c4e50e9 127.0.0.1:6390
   slots: (0 slots) slave
   replicates 894d263507ede34cd083aa74f438372bcd4f9200
S: 0c5a3cc5b3bf224a511c1415d6be9bcce672ae67 127.0.0.1:6389
   slots: (0 slots) slave
   replicates 85979769fd8c30b6b3eb8dcd3553d8fc6402f69e
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@localhost src]#

 把这个提出来

16384 slots covered.

普通redis的连接redis-cli -p 6379 

-c 采用集群策略连接，设置数据会相应切换到相应的写主机，连接任何一个节点都是可以的总共六个节点

redis集群的连接redis-cli -c -p 6379 

[root@localhost src]# redis-cli -c -p 6391
127.0.0.1:6391> cluster nodes

查看节点集群中的信息

127.0.0.1:6391> cluster nodes

 redis cluster 如何分配这六个节点？

一个集群至少要有三个主节点。

选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

分配原则尽量保证每个主数据库运行在不同的IP地址，每个从库和主库不在一个IP地址上。

 分配原则：

尽量保证每个数据库运行在不同的IP地址，每个主库和从库不在一个IP地址上，当主机挂掉，由于主机从机不在一台服务器上，主机挂掉不影响从机的使用，所以尽量保证运行在不同的IP地址上

 什么是slots

一个 Redis 集群包含 16384 个插槽（hash slot）， 数据库中的每个键都属于这 16384 个插槽的其中一个

 

 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽， 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。
集群中的每个节点负责处理一部分插槽。 举个例子， 如果一个集群可以有主节点， 其中：
节点 A 负责处理 0 号至 5460 号插槽。
节点 B 负责处理 5461 号至 10922 号插槽。
节点 C 负责处理 10923 号至 16383 号插槽
 

进行插入值的操作，插入一个key可以识别，插入多个字段的key就需要分组，分组要用中括号，示例如下

127.0.0.1:6391> set k1 vi
-> Redirected to slot [12706] located at 127.0.0.1:6381
OK
127.0.0.1:6381> set k2 v2
-> Redirected to slot [449] located at 127.0.0.1:6379
OK
127.0.0.1:6379> mset name lucy age 20
(error) CROSSSLOT Keys in request don't hash to the same slot
127.0.0.1:6379> mset name(user) lucy age(user) 20 address(user) 北京
(error) CROSSSLOT Keys in request don't hash to the same slot
127.0.0.1:6379> mset name(user) lucy age(user) 10
(error) CROSSSLOT Keys in request don't hash to the same slot
127.0.0.1:6379> mset name{user} lucy age{user} 10
-> Redirected to slot [5474] located at 127.0.0.1:6380
OK
127.0.0.1:6380>

查看你的key的插槽值

cluster keyslot k2
127.0.0.1:6381> set k2 v2
-> Redirected to slot [449] located at 127.0.0.1:6379
OK




127.0.0.1:6380> cluster keyslot k2
(integer) 449

主机的插槽和IP对应

要看插槽里面的值必须到该端口里面去查看

查看指令

cluster countkeysinslot 449

Java钉子户
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis集群（cluster）
Hai_pp的博客
05-12 6790
由于数据量过大，单个Master复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展每个复制集只负责存储整个数据集的一部分，这就是Redis的集群，其作用是提供在多个Redis节点间共享数据的程序集。Redis集群是一个提供在多个Redis节点间共享数据的程序集，Redis集群可以支持多个Master。Redis集群没有使用一致性hash，而是引入了哈希槽的概念。Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。
Redis集群原理详解
热门推荐
张维鹏的博客
02-16 5万+
一、redis cluster 介绍： 1、单实例的Redis架构： 最开始的一主N从加上读写分离，Redis作为缓存单实例貌似也还不错，并且有Sentinel哨兵机制，可以实现主从故障迁移。 单实例Redis本质上只有一台Master作为存储，就算机器为128GB的内存，一般建议使用率也不要超过70%-80%，所以最多使用100GB数据就已经很多了，实际中50%就不错了，因为数据量太大也会降低服务的稳定性，而且数据量太大意味着持久化成本高，可能严重阻塞服务，甚至最终切主。所以，单实例还存在以下几
Redis集群部署教程详解
Yel_Liang的博客
08-03 3628
Redis集群部署教程详解 ，节点故障后集群会有什么变化
五、Redis 主从集群 —— 超详细操作演示！
weixin_43412762的博客
12-17 1521
对于Master宕机后的冷处理方式是无法实现高可用的。Redis 从 2.6 版本开始提供了高可用的解决方案Sentinel哨兵机制。在集群中再引入一个节点，该节点充当Sentinel哨兵，用于监视Master的运行状态，并在 Master 宕机后自动指定一个Slave作为新的Master。整个过程无需人工参与，完全由哨兵自动完成。不过，此时的Sentinel哨兵又成为了一个单点故障点：若哨兵发生宕机，整个集群将瘫痪。所以为了解决Sentinel的单点问题，又要为Sentinel创建一个集群，即。
【Redis专题】RedisCluster集群运维与核心原理剖析
qq_32681589的博客
09-09 530
前面我们介绍过了Redis主从哨兵的方案。在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在【访问瞬断】的情况，而且哨兵模式只有一个主节点对外提供服务，没法支持很高的并发，且单个主节点内存也不宜设置得过大，否则会导致持久化文件过大，影响数据恢复或主从同步的效率 为了解决上面说的问题，Redis3,0
Redis集群配置文件
12-27
Redis集群配置文件，包含了三个主节点，三个从节点的配置文件，该配置是在docker中运行，有完整的docker-compose.yml文件，只要修改映射的宿主机的路径为你自己的路径。然后直接docker-compose up既可以完成环境启动...
SpringBoot集成Redis集群
09-28
SpringBoot集成Redis集群 在本文档中，我们将指导您如何在SpringBoot 2.X中集成Redis集群。下面是相关的知识点： 集成Redis集群的必要性 在实际应用中，使用Redis集群可以提高系统的可扩展性和可靠性。Redis集群...
k8s集群搭建redis集群
09-22
k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群
redis集群批量插入
11-23
java连接redis集群批量String类型插入
Redis集群数据迁移操作文档
06-29
1、新旧redis集群迁移 2、支持redis集群的存量和增量数据迁移 3、支持redis集群数据的离线迁移
redis集群环境搭建以及java中jedis客户端集群代码实现
04-26
NULL 博文链接：https://ihenu.iteye.com/blog/2267881
java客户端测试redis集群
11-13
此是Java程序，用来测试redis集群.................................................
redis集群方法大全
12-18
redis集群方法
redis分布式存储集群详细用法
北海牧野
03-28 1678
redis-cluster集群 一、Redis集群概念 Redis集群TCP端口 每个Redis群集节点都需要打开两个TCP连接。 用于服务客户端的常规Redis TCP端口，例如6379， 再加上在数据端口上加上10000所获得的端口，集群节点通信端口 redis分布式集群存储 使用多台redis节点组合在一起，形成一个集群，便于更好的存储。 redis的集群一般为三个主节点，三个从节点，从节点...
Redis 群集详解
LiuHuan303的博客
12-13 955
一，Redis群集概念 虽然Redis可以实现单机的数据持久化，但无论是RDB也好或者AOF也好，都解决不了单点宕机问题，即一旦单台 redis服务器本身出现系统故障、硬件故障等问题后，就会直接造成数据的丢失，此外单机的性能也是有极限的,因此需要使用另外的技术来解决单点故障和性能扩展的问题 主从复制:主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均..
【Java进阶营】Redis 集群★★★
Netty711的博客
05-01 1598
目录 1、搭建 2、故障恢复 3、jredis开发 阿K须知点： 操作集群的添加，查询（对应的插槽机），查看节点（cluseer nodes）都必须在主机上面操作。 一、搭建 1、解决两个问题 （1）容量不够，redis如何进行扩容？ （2）并发写操作， redis如何分摊？ 另外，主从模式，薪火相传模式，主机宕机，导致ip地址发生变化，应用程序中配置需要修改对应的主机地址、端口等信息。 之前通过代理主机来解决，但是redis3.0中提供了解决方案。就是无中心化集群配置 2、什么是集群 （1）Redis 集
java 培训 redis 的集群策略
m0_70565884的博客
05-25 432
redis redis 是单线程的，但是一般的作为缓存使用的话，redis 足够了，因为它的读写速度太快了。官方的一个简单测试：测试完成了 50 个并发执行 100000 个请求。设置和获取的值是一个 256 字节字符串。结果:读的速度是 110000 次/s,写的速度是 81000 次/s 但对于访问量特别大的服务来说，还是稍有不足。那么，如何提升 redis 的性能呢？搭建集群。 redis 主要提供三种集群策略： 主从复制 集群 哨兵 一、主从复制 在主从复制中，数
Redis集群搭建
技术改变生活
07-12 6787
原文链接：http://blog.csdn.net/xyang81/article/details/51881900安装环境：CentOS7 64位 MINI版，当前Redis最新版本为3.2，所以本文以3.2为例担建Redis集群。1、Redis服务器说明用2台虚拟机（192.168.0.201和192.168.0.202），各安装3个Redis实例。分别为3个master和3个slave，模拟6
celery redis集群
最新发布
03-28
1. 安装和配置Redis集群：根据你的需求，可以选择使用Redis Sentinel或Redis Cluster来搭建Redis集群。配置好集群后，确保所有节点都正常运行。 2. 安装和配置Celery：使用pip安装Celery库，并在Celery配置文件中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值