redis 集群部署 jedisCluster

最新推荐文章于 2024-08-01 17:23:57 发布
最新推荐文章于 2024-08-01 17:23:57 发布
阅读量239 收藏
点赞数 1
分类专栏： redisCluster 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jerryHTLi/article/details/118120920
版权

redis的集群部署，会把集群划分为16384个槽位（slot），比如集群里面有6个节点，其中三个是master，3个是slave，会把16384个槽位分配给3个master节点中，当用户给redis中增加值得时候，首先会把增加值得key用hase算法求到值，在用16384取余，得到的值（slot）属于哪个master的槽位区间就会把该值存贮在具体的master节点上面

特别需要数据的是，集群部署的节点中，只有master节点对外提供服务，slave只是作为备份节点。

集群环境中redis的各个节点的通行用的是gossip协议，如果其中一个master节点挂了之后，该主节点的slave节点，会给集群中的所有节点发送FAILOVER_AUTH_REQUEST请求，但是只有master节点会回复此请求，slave节点会更具master节点返回的FAILOVER_AUTH_ACK的数据量来判断自己是否可以升级为master，判断的数据就是收到的FAILOVER_AUTH_ACK的数量必须大于集群中master节点总和的一半，如上，集群有3个节点，挂掉了一个，则slave必须收到两个master的FAILOVER_AUTH_ACK的响应才能成为真正的master。如果一个master有两个slave，两个slave收到的FAILOVER_AUTH_ACK响应数量一样多，则下次redis会延迟发送FAILOVER_AUTH_REQUEST请求，关于延迟的时间根据slave同步的master的数据的多少，同步的越多，延时的时间的一个变量越小，然后在增加一个随机数，这样可以保证第二次一定可以推选出一个master

脑裂问题：当一个master由于网络抖动暂时失去了和集群中其他节点的通信，这时集群内部又选择出了一个新的master，用户的数据有可能就会同事写入两个master节点，当之前的master节点恢复通信之后，从新加入集群节点则之前的master会变成一个slave，这个时候会从新的master同步数据，就会删除掉自己的数据，以新的master的节点的信息为准，从而产生的数据丢失问题就为脑裂问题，解决脑裂的问题，需要增加配置信息，设置每次用户写入数据的时候，必须master和其中一个slave都同时写入成功，才返回给客户端成功，这样就规避的和集群失联的master写入数据的问题。由于和集群失联，所以数据一直不会写入成功。

redis集群扩容：当双11到来之前，需要对集群的节点进行扩容，这个时候的做法是，先增加若干台redis的实例并启动。然后调用meet 通信，让新增加的节点和集群中的某一个节点通讯，这时新增加的节点就会变成集群中的master节点，但是这时用户的数据还是不能写入新增加的节点，因为集群并没有给新增加的节点分配槽位，所以无法写入，可以用reshard命令把已有的节点的槽位分配给新的节点，槽位分配了，则之前在该槽位的数据也就会随之而迁移。用replalic群部署，会把集群划分为16384个槽位（slot），比如集群里面有6个节点，其中三个是master，3个是slave，会把16384个槽位分配给3个master节点中，当用户给redis中增加值得时候，首先会把增加值得key用hase算法求到值，在用16384取余，得到的值（slot）属于哪个master的槽位区间就会把该值存贮在具体的master节点上面

 

特别需要数据的是，集群部署的节点中，只有master节点对外提供服务，slave只是作为备份节点。

 

集群环境中redis的各个节点的通行用的是gossip协议，如果其中一个master节点挂了之后，该主节点的slave节点，会给集群中的所有节点发送FAILOVER_AUTH_REQUEST请求，但是只有master节点会回复此请求，slave节点会更具master节点返回的FAILOVER_AUTH_ACK的数据量来判断自己是否可以升级为master，判断的数据就是收到的FAILOVER_AUTH_ACK的数量必须大于集群中master节点总和的一半，如上，集群有3个节点，挂掉了一个，则slave必须收到两个master的FAILOVER_AUTH_ACK的响应才能成为真正的master。如果一个master有两个slave，两个slave收到的FAILOVER_AUTH_ACK响应数量一样多，则下次redis会延迟发送FAILOVER_AUTH_REQUEST请求，关于延迟的时间根据slave同步的master的数据的多少，同步的越多，延时的时间的一个变量越小，然后在增加一个随机数，这样可以保证第二次一定可以推选出一个master

 

脑裂问题：当一个master由于网络抖动暂时失去了和集群中其他节点的通信，这时集群内部又选择出了一个新的master，用户的数据有可能就会同事写入两个master节点，当之前的master节点恢复通信之后，从新加入集群节点则之前的master会变成一个slave，这个时候会从新的master同步数据，就会删除掉自己的数据，以新的master的节点的信息为准，从而产生的数据丢失问题就为脑裂问题，解决脑裂的问题，需要增加配置信息，设置每次用户写入数据的时候，必须master和其中一个slave都同时写入成功，才返回给客户端成功，这样就规避的和集群失联的master写入数据的问题。由于和集群失联，所以数据一直不会写入成功。

 

redis集群扩容：当双11到来之前，需要对集群的节点进行扩容，这个时候的做法是，先增加若干台redis的实例并启动。然后调用meet 通信，让新增加的节点和集群中的某一个节点通讯，这时新增加的节点就会变成集群中的master节点，但是这时用户的数据还是不能写入新增加的节点，因为集群并没有给新增加的节点分配槽位，所以无法写入，可以用reshard命令把已有的节点的槽位分配给新的节点，槽位分配了，则之前在该槽位的数据也就会随之而迁移。用replica命令可以把其中的master节点切换为slave节点，

集群中，最好可以把master的节点设置为奇树个，因为当一个master节点挂了之后，剩下的节点选举新的master所需要的票数为，总和/2以上的票，如果master的节点为4个节点的话，，因为4/2=2,4个master节点挂掉一个，还剩下3个master，slave需要获取最少3个master的回复才能变成新的master节点

jerryHTLi
关注
专栏目录
深入学习 Redis - 基于 Jedis 通过 Java 客户端操作 Redis 和 Redis 集群
CYK_byte的博客
07-30 1067
我们在本地 windows 主机上，使用 xshell 连接远程服务器，主要就是通过 ssh 协议（默认走 22 端口）实现通信的，他有一个很重要的特性，就是支持端口转发！我们只需要配置 ssh 程序监听本地端口，映射到云服务器的端口，就可以实现通过 windows 主机，访问云服务器的 6379 端口.Ps：一个优秀的库，一定是非常容易上手的，因此接下来介绍的操作，不会覆盖到所有指令，会挑选出一些重要 / 代表性的命令，来进行演示~Ps：当配置了端口准发后，一定要断开之前的连接，重新连接才能生效.
redis集群客户端JedisCluster优化 - 管道(pipeline)模式支持
热门推荐
youaremoon的专栏
06-24 5万+
redis集群客户端JedisCluster优化 - 管道(pipeline)模式支持Redis在3.0版正式引入了集群这个特性，扩展变得非常简单。然而当你开心的升级到3.0后，却发现有些很好用的功能现在工作不了了， 比如我们今天要聊的pipeline功能。 我们知道，普通的情况下，redis client与server之间采用的是请求应答的模式，即： Client: command1
Redis原理（4） Cluster 详解
吉他程序员的博客
03-11 1213
先看一张图，大致触摸下Redis Cluster Redis Cluster要求至少需要3个master才能组成一个集群，同时每个master至少需要有一个slave节点。各个节点之间保持TCP通信。当master发生了宕机， Redis Cluster自动会将对应的slave节点提拔为master，来重新对外提供服务。 Redis Cluster 功能 ：负载均衡，故障切换，主从复制。 负载均衡 先说下槽，集群中每个redis实例都负责接管一部分槽，总槽数为：16384（2^14），如果有..
java jedis cluster_redis集群环境搭建以及java中jedis客户端集群代码实现
weixin_39959126的博客
02-24 867
最近项目中用到了redis，所以就找了相关的资料学习了，然后搭建了redis集群，以及客户端的java代码实现。由于对linux不太熟悉，所以在Linux上搭建redis集群的时候碰到了很多问题，下面就大概总结下。redis相关网站：操作系统：centos 6.3redis版本：3.0.6java客户端版本： jedis 2.7.2redis客户端图形用户界面：RedisDesktopManage...
Redis Cluster集群配置安装
zhangjunli的博客
08-01 1073
Redis集群是一种基于数据分片（sharding）的分布式缓存和存储系统。是一个由多个主从节点群组成的分布式服务集群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单。
你不知道的Redis：RedisCluster与JedisCluster
weixin_34380948的博客
06-18 926
前言 Redis Cluster是Redis官方提供的集群解决方案。由于业务的飞速增长，单机模式总会遇到内存、性能等各种瓶颈，这个时候我们总会喊，上集群啊。就跟我家热得快炸了，你总喊开空调呀一样。的确，上集群可以解决大多数问题，但是在使用集群的过程中，不可避免会遇到这样那样的问题，这个时候怎么办呢，各种百度各种群里去问吗？NO,作为开发人员，在享受第三方提供的方便前，有必要去了解其基本的工作机制，...
redis cluster jedis client 示例
xiaomin1991222的专栏
03-10 926
redis cluster 基本的redis操作示例:   ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42
深入理解Redis Cluster和Jedis Cluster
IT云清
09-09 2962
本文转载自：https://zhuanlan.zhihu.com/p/69800024 Redis Cluster是Redis官方提供的集群解决方案。由于业务的飞速增长，单机模式总会遇到内存、性能等各种瓶颈，这个时候我们总会喊，上集群啊。就跟我家热得快炸了，你总喊开空调呀一样。的确，上集群可以解决大多数问题，但是在使用集群的过程中，不可避免会遇到这样那样的问题，这个时候怎么办呢，各种百度各种群里去问吗？NO,作为开发人员，在享受第三方提供的方便前，有必要去了解其基本的工作机制，这样才能在遇到问题时快速定位，
JedisCluster详解
hu020138的博客
08-16 1万+
redis redis cluster jedis jediscluster
Redis之RedisCluster集群
学习和工作总结，共勉！
12-29 324
Redis之Redis Cluster的使用 一、Redis Cluster 简介 Redis Sentinel 水平扩容一直都是一个痛点，因为水平扩容牵涉到数据的迁移。迁移过程一方面要保证自己的业务是可用的，一方面要保证尽量不丢失数据所以数据能不迁移就尽量不迁移。针对这个问题，Redis Cluster就应运而生了。 Redis Cluster 是 Redis 的分布式解决方案，在3.0版本正式...
redis-cluster集群部署及测试（超详细）
浴火成诗的博客
10-18 8175
redis-cluster集群部署及测试（超详细），傻瓜式照搬
jedisCluster链接池
08-22
适用于redis集群，3.0版本以上支持集群
linux部署redis集群遇到的问题
12-14
1、在java程序中，连接不上redisCluster。 报错信息： no reachable node in cluster 原因：创建集群时，使用了127.0.0.1，要改为公网ip才行。 redis-cli –cluster create 127.0.0.1:7001 127.0.0.1:7002 解决方法...
redis Cluster集群介绍
不忘初心，方得始终
01-18 6744
0、常见的几种模式对比 一、redis cluster 是什么 二、集群架构图 三、集群原理图 四、集群通信 1）集群发现：MEET 2）gossip协议 五、集群概念 1）多slave选举 2）slot（槽） 3）数据分片 4）请求重定向 5）数据迁移 6）故障转移 7）集群slots是否必须完整才能对外提供服务 六、集群健康检查机制 七、各语言的推荐客户端 0、常见的几种模式对比 模式 版本
配置redisCluster集群
无
10-14 518
1.安装Redis镜像 docker pull yyyyttttwwww/redis 2.创建net2网段 docker network create --subnet=172.19.0.0/16 net2 3创建1个节点Redis容器 #redis镜像改名： docker tag docker.io/yyyyttttwwww/redis redis #删除旧的redis ...
Redis的主从复制 cluster - slave
MrHuang
01-07 439
一、什么是主从复制 持久化保证了即使redis服务重启也不会丢失数据，因为redis服务重启后会将硬盘上持久化的数据恢复到内存中，但是当redis服务器的硬盘损坏了可能会导致数据丢失，如果通过redis的主从复制机制就可以避免这种单点故障，如下图： 说明： 主redis中的数据有两个副本：从redis1和从redis2，即使一台redis服务器宕机其它两台
JedisCluster 批量操作
东境物语
12-24 2505
Redis集群是没法执行批量操作命令的，如mget，pipeline等。这是因为redis将集群划分为16383个哈希槽，不同的key会划分到不同的槽中。原生JedisCluster对批量操作的限制是mget mset 必须在一个槽； 四种批量优化的方法 1、串行 mget 在 for 循环中执行一条条的 get； 需要 n 次网络时间； 2、串行 IO 在客户端对所有 key 做 CR...
redis cluster集群架构详解（二十）- redis cluster实验：master水平扩容-支撑海量数据处理
二总的猫
03-13 1786
5.12. redis cluster实验：master水平扩容-支撑海量数据处理 redis cluster通过master水平扩容来支撑更高的读写吞吐+海量数据。 ​ redis cluster模式下，不建议做物理的读写分离，我们建议通过master的水平扩容，来横向扩展读写吞吐量，并支撑更多的海量数据。 ​ 6G内存的redis，在fork类操作的时候很耗时，会导致请求延时的问题，如果...
在Spring Boot微服务集成JedisCluster操作Redis集群
zhangbeizhen18的博客
06-08 5143
记录：448 场景：在Spring Boot微服务使用JedisCluster操作Redis集群的缓存和队列等数据类型。
如果Redis集群部署，连接应该如何处理？
最新发布
09-14
当Redis集群部署时，连接需要考虑以下几点： 1. **节点列表**：你需要知道Redis集群中的所有节点IP和端口号。每个主从节点都有其独特的服务地址。 2. **自动发现和 Sentinel**：你可以选择使用Redis的哨兵模式来管理高可用，Sentinel会监控并提供健康的master节点信息。 3. **客户端工具支持**：许多Redis客户端支持连接到集群，比如Jedis（Java）或Pymongo（Python），它们通常有专门的设置参数来指定集群模式。 4. **连接池**：为了提高性能和效率，可以使用连接池（如lettuce for Python，jedis for Java等）来管理连接，它们能自动分配和回收连接。 5. **集群连接参数**：除了基础的主机和端口外，可能需要`cluster`选项、`multi/exec`参数开启事务支持等。 示例代码（Python with Jedis）： ```python from redis.sentinel import Sentinel sentinel = Sentinel(['localhost:26379', 'localhost:26380'], socket_timeout=0.1) r = sentinel.master_for('mymaster', db=0) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值