redis之---redis集群方案

最新推荐文章于 2021-11-28 14:22:05 发布
最新推荐文章于 2021-11-28 14:22:05 发布
阅读量486 收藏 1
点赞数 1
分类专栏： redis 文章标签： 分布式 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/as4566/article/details/108399069
版权

一前言

在这里插入图片描述

大家好，我是小墨，be foolish,be hungry。本篇文章主要写redis的集群方案相关知识，欢迎大家多多斧正，如果觉得小墨我写得用心的话，可以点个赞啊。

redis提供原生的高可用方案有：
1，主从复制
2，哨兵机制
3，cluster

我们比较下：

  • 复制：复制主要实现了数据的多机备份以及对于读操作的负载均衡和简单的故障恢复。缺陷是故障恢复无法自动化、写操作无法负载均衡、存储能力受到单机的限制。
  • 哨兵：在复制的基础上，哨兵实现了 自动化 的 故障恢复。缺陷是 写操作 无法 负载均衡，存储能力 受到 单机 的限制。
  • 集群：通过集群，Redis 解决了 写操作 无法 负载均衡 以及 存储能力 受到 单机限制 的问题，实现了较为 完善 的 高可用方案。

然后我们通过理解这三种方案原理与局限，然后我们可以看下工作环境下如何利用这原生方案来设计集群满足实际工作需要

二，集群方案原理

1，主从复制

redis主从节点复制过程如下：
1，从节点发送slaveof main_ip port
2，建立套接字连接，形成TCP长连接。可以理解为从服务器是主服务器的客户端
3，发送PING命令，有两个作用：
1）检查是否套接字读写状态是否正常
2）检查主服务器是否能够正常处理命令请求
ping后可能遇到情况：
在这里插入图片描述
4，身份验证
在这里插入图片描述
5，发送端口信息
主服务器接收到命令后，会记录从服务器所对应客户端状态的slave_listening_port状态
在这里插入图片描述
6，同步
从服务器将向主服务器发送PSYNC命令，将自己数据更新
在这里插入图片描述
7，命令传播
完成同步后，主服务器只需要一直将自己执行的写命令发到从服务器即可
8，心跳
默认一秒一次，从服务器向主服务器发REPLCONF ACK ，
起到以下作用：
1，检测网络连接状态
2，通过判断从服务器状态，如设置主服务器
在这里插入图片描述
那么会根据心跳包判断当前从服务器们的状态来拒绝不安全的状态进行执行写命令
3，检查命令丢失
当主服务器发现从服务器复制偏移量少于自己的复制偏移量，则会在复制积压缓冲区找到从服务器缺少数据发给从服务器

2，哨兵机制

sentinel机制是redis的高可用的一个解决方案： 由sentinel实例组成的sentinel系统监视各个服务器，并在被监视的主服务器下线时，升级该主服务器的某个从服务器为新的主服务器
该系统有三个角色

  • sentinel系统：sentinel实例本质就是redis服务器，组成的sentinel系统

  • 主节点

  • 从节点
    我们可以参考《redis设计与实现》，sentinel系统多个状态如下

  • 初始化成功时：

在这里插入图片描述

  1. 主服务器下线在这里插入图片描述

  2. 故障转移在这里插入图片描述

  3. 主服务器降级在这里插入图片描述
    通过这几步可以实现对redis集群故障处理，具体不在本文赘述，请参考文章：深入理解redis哨兵机制

3，cluster

cluster集群可以实现redis的负载均衡，提高redis缓冲层的写效率
我们看下集群的创建和运行过程，我简化如下

  1. A节点cluster meet B节点握手后加入集群
  2. B节点通过gossip协议传播A节点到所在的集群所有节点
  3. 分配槽，全部16384个分配后集群可以运行
  4. 计算键属于那个槽的方法： HASH_SLOT=CRC16(key) mod 16384
  5. 如果客户端向节点发送命令检查到该槽不为该节点负责，为B节点负责，返回MOVED B:PORT 。再由客户端去访问所在节点

集群的键空间被分割为16384个slots（即hash槽），slot是数据映射的基本单位，即集群的最大节点数量是16384（官方推荐最大节点数量为1000个左右）。集群中的每个Master节点负责处理16384个hash槽其中的一部分，当集群处于“stable”状态时（无slots在节点间迁移），任意一个hash slot只会被单个node所服务。
这种情况不支持“multi-key”操作，即执行命令需要在多个redis节点移动数据。为了兼容提出了"hash tags"操作，，每个key可以包含自定义的“tags”，在存储的时候根据tags计算此key应该映射到哪个node上。通过“hash tags”可以强制某些keys被保存到同一个节点上，如：

对于key为{foo}.student1、{foo}.student2，{foo}student3，这类key一定是在同一个redis节点上。因为key中“{}”之间的字符串就是当前key的hash tags， 只有key中{ }中的部分才被用来做hash，因此计算出来的redis节点一定是同一个!

进行下实际的linux redis数据操作


192.168.43.31:6103> set {user1000}.student1 1000  
192.168.43.42:6101> set {user1000}.student2 1000  
192.168.43.31:6101> keys *  
4) {user1000}.student1 
6) {user1000}.student2

三，集群架构

现在市面上比较常见的有三种redis集群架构：

1，主从复制+哨兵（小规模）

这一种方案是redis原生提供的高可用方案
在这里插入图片描述
具体sentinel系统操作过程我们上面介绍过了，client端访问系统的VIP，
系统缺陷：
1）主从切换过程会丢数据
2）这里只能写单点，如果想要动态的进行redis扩缩容实现不了。

2，proxy代理+redis分片+主从

这里proxy可以选择Codis和Twemproxy，现在这一套架构已经淘汰了Twemproxy，Codis成为主流，
Twemproxy：推特开源，最大缺点是无法平滑扩缩容
Codis：豌豆荚开源，解决了Twemproxy扩缩容的问题，而且兼容了Twemproxy，而且能发展起来的一个主要原因是它是在Redis官方集群方案漏洞百出的时候率先成熟稳定的，具体架构如下：
在这里插入图片描述

  1. 代理通过一种算法把要操作的key经过计算后分配到各个组中，这个过程叫做分片，所有的key分为1024个槽，每一个槽位都对应了一个分组
  2. 每个组都有主从节点组成，有sentinel系统来监控主从节点，选举从节点为主节点。
  3. proxy集群解决单点问题，不同proxy之间通过Zookeeper来保存映射关系，由proxy上来同步配置信息，其实它支持的不止zookeeper，还有etcd和本地文件。除了这个还会存储一些其他的信息，比如分组信息、代理信息等
  4. codis-ha，codis-ha实时监测proxy的运行状态，如果有异常就会干掉，它包含了哨兵的功能

3，去中心化的cluster集群模式

在这里插入图片描述
redis cluster作为去中心化的设计，在redis5.0.3版本后才支持。分片是客户端分片，跟codis的proxy分片不一样。
redis集群每个节点之间会进行ping，pong指令，不需要sentinel系统进行监视。
具体规则如下：

(1)每秒会随机选取5个节点，找出最久没有通信的节点发送ping消息
(2)每100毫秒(1秒10次)都会扫描本地节点列表，如果发现节点最近一次接受pong消息的时间大于cluster-node-timeout/2 则立刻发送ping消息

如果发现主节点下线了，需要进行从节点选举：
一共有四个因素影响选举的结果，分别是断开连接时长、优先级排序、复制数量、进程id，如果连接断开的比较久，超过了某个阈值，就直接失去了选举权，如果拥有选举权，那就看谁的优先级高，这个在配置文件里可以设置，数值越小优先级越高，如果优先级相同，就看谁从master中复制的数据最多，选最多的那个，如果复制数量也相同，就选择进程id最小的那个。

四，集群架构比较

这里我们主要比较这codis和cluster

codisredis cluster
数据库数量161
redis支持版本（以上）3.2.85.0.3
哈希槽102416384
集群结构代理去中心化
部署较复杂简单
使用公司阿里云： ApsaraCache, RedisLabs、京东、百度等AWS, 百度贴吧

这两种方案都是很成熟的redis高可用商用方案，我们其实可以注意到对于超大规模的redis集群，codis是更加合适，我翻到一篇唯品会的redis文章谈到在线有生产几十个cluster集群，约2千个instances，单个集群最大达到250+instances。
但是就支持难度而言，cluster部署，维护应该是更加简单的。
然后我翻到一些文章，讲到cluster一些缺点，我们来一一看下：

  1. Slave 在集群中充当“冷备”，不能缓解读压力，当然可以通过 SDK 的合理设计来提高 Slave 资源的利用率。
    对于这个问题，其实是讲到是否需要支持读写分离的问题，我们要知道redis是异步复制的，不保证复制成功率，对于redis cluster官方建议不做读写分离，只将slave作为备用机器，要做的话也可以，这样的话如果是java语言的话得去修改下lettuce客户端的代码。
  2. 多个业务使用同一套集群时，无法根据统计区分冷热数据，资源隔离性较差，容易出现相互影响的情况。
    这其实是因为redis cluster没有一个proxy层可以用于定制slot规则，默认使用hash去分配到对应的节点

然后我们思考下为什么redis cluster有这个集群大小的限制呢？
我们之前知道redis cluster的数据存储模块和分布式的逻辑模块是耦合在一起的，即除了数据存储之外，还需要保持着对节点之间的相互信息确认。
redis集群内节点，每秒都在发ping消息。规律如下

(1)每秒会随机选取5个节点，找出最久没有通信的节点发送ping消息
(2)每100毫秒(1秒10次)都会扫描本地节点列表，如果发现节点最近一次接受pong消息的时间大于cluster-node-timeout/2 则立刻发送ping消息
因此，每秒单节点发出ping消息数量为

数量=1+10*num（node.pong_received>cluster_node_timeout/2）

我们看下这个ping消息的字节数：每个消息中的消息头里面有个myslots的char数组，长度为16383/8，这其实是一个bitmap,每一个位代表一个槽，如果该位为1，表示这个槽是属于这个节点的。则这个数组myslots[CLUSTER_SLOTS/8]大小为16384÷8÷1024=2kb所以每个ping消息至少2 KB

假设200节点的集群，部署在20个物理机上每台划分为10个节点，cluster-node-timeout设置为15s，ping/pong带宽要达到25MB

所以集群节点越多，心跳包的消息体内携带的数据越多。如果节点过1000个，也会导致网络拥堵。因此redis作者，不建议redis cluster节点数量超过1000个。

参考文章
唯品会Redis cluster大规模生产实践经验
https://www.linuxidc.com/Linux/2019-08/159783.htm
https://www.cnblogs.com/rjzheng/p/11430592.html
https://www.cnblogs.com/me115/p/9043420.html
https://www.modb.pro/db/15229

Hey Neo!
关注
专栏目录
redis集群脚本redis-trib
09-30
redis-trib.rb 是采用 Ruby 实现的 Redis 集群管理工具。内部通过 Cluster 相关命令帮我们简化集群创建、检查、槽迁移和均衡等常见运维操作，使用之前需要安装 Ruby 依赖环境。
(6)Redis的高可用方案
一切有为法，如梦亦如幻，如露亦如电，应作如是观。
04-21 300
链接：https://www.jianshu.com/p/2ec2dfe7119b 1.1 Redis集群的设计原则和初衷 在官方文档Cluster Spec中，作者详细介绍了Redis集群为什么要设计成现在的样子。最核心的目标有三个： 性能：这是Redis赖以生存的看家本领，增加集群功能后当然不能对性能产生太大影响，所以Redis采取了P2P而非Proxy方式、异步复制、客户端重定向等设计...
Redis Cluster处理MULTI/EXEC事务以及Multiple主键命令时的限制
weiythi的Blog
08-26 7910
在上一篇博文中，本博主介绍了Redis Cluster的搭建方法，从中可以看出其使用方法与单机版Redis确实存在着不小的差异。实际上，除了搭建配置方法以外，Redis Cluster还具有一些其他方面的不同，譬如它不支持多个数据库，不支持select命令等等，但其中最大的不同还是Redis Cluster不支持复杂的多主键操作。关于这一点，Redis Cluster的官方文档有这样一段描述，
Redis Lettuce在Cluster模式下使用(自定义事务)
Timmer的博客
05-22 2567
在redis cluster模式下，基于某些redis业务为了保证redis command的原子性又要提高程序的高并发性能，从而直接使用redis事务可能会更好的满足的我们的要求，但是直接使用redis cluster的连接是不支持事务的，也就是multi模式，单是4.0以上的lettuce官网说是支持multi模式的，经过多次实践研究终于得出了一种可以在redis cluster模式下使用multi的方案。直接连接cluster不可以那么我们直接连接到单台的redis。
数据结构--知识点16--搜索算法(二叉树)
ANingL的博客
09-06 3146
文章目录一、树的概念1、特点2、树的术语3、树的种类4、树的存储与表示5、常见的树的应用场景二、二叉树1、概念2、性质 一、树的概念 树是一种抽象数据类型(ADT)或是视作这种抽象数据类型的数据结构 1、特点 每个节点有零个或多个子节点 没有父节点的节点称为根节点 每一个非根节点有且只有一个父节点 除了根节点外，每个子节点可以分为**多个不相交(因为都只有一个父节点)**的子树 2、树的术语 节点的度：一个节点含有的子树的个数称为该节点的度 树的度：一棵树中，最大的节点的度称为树的度 叶节点或终端节点
Redis Cluster实现原理
深入一点
04-04 595
一、Redis Cluster主要特性和设计     集群目标     1）高性能和线性扩展，最大可以支撑到1000个节点；Cluster架构中无Proxy层，Master与slave之间使用异步replication，且不存在操作的merge。（即操作不能跨多个nodes，不存在merge层）     2）一定程度上保证writes的安全性，需要客户端容忍一定程度的数据丢失：集群将会尽...
redis集群工具redis-trib.rb
08-24
搭建redis集群的工具，先试试下面的方法https://raw.githubusercontent.com/MSOpenTech/redis/3.0/src/redis-trib.rb 打开该链接如果没有下载，而是打开一个页面，那么将该页面保存为redis-trib.rb 建议保存到Redis...
resty-redis-cluster：Redis集群的Openresty lua客户端
02-03
《深入理解resty-redis-cluster：Openresty Lua中的Redis集群客户端》 在现代Web服务开发中，数据存储和缓存扮演着至关重要的角色。Redis作为一款高性能的键值存储系统，广泛应用于缓存、消息队列等领域。而...
tomcat-redis-session-manager
最新发布
06-06
此外，为了确保高可用性，可以考虑在Redis集群上运行`tomcat-redis-session-manager`，这样即使某个Redis节点故障，session数据也不会丢失，服务仍能正常运行。 总的来说，`tomcat-redis-session-manager`是应对...
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
部署样本Redis集群 扩展Redis集群 缩减Redis集群 备份还原 普罗米修斯发现 使用密码创建Redis集群 持续量 自定义配置 客户服务 自订资源 验证Webhook 端到端测试 先决条件 转到v1.13 +版本。 访问Kubernetes v...
Redis入门(纯干货）
无名后生
01-13 2006
目录 Redis简介（个人理解）： Redis持久化方案（两种）： RDB（快照）持久化： 快照保存过程 AOF（只追加）文件: RedisCluster集群 Redis Cluster介绍： RedisCluster失效检测： slave rank（次序） 集群创建（windows环境）： Redis Sentinel（哨兵机制，提供高可用方案）介绍 Redis锁实现 ...
redis大Key多Key分拆方案
憧憬的专栏
06-02 7180
文章目录背景单个简单的key存储的value很大该对象需要每次都整存整取该对象每次只需要存取部分数据hash、 set、zset、list 中存储过多的元素一个集群存储了上亿的keykey 本身就有很强的相关性key 本身没有相关性 背景 业务场景中经常会有各种大key多key的情况， 比如： 1： 单个简单的key存储的value很大 2： hash， set，zset，list 中存储过多的元...
redis的MULTI与PIPELINE
未来可7
01-16 6857
对redis的multi和pipeline机制做更详细的分析对比
Redis使用pipeline批量查询所有键值对以及multiGet用法
weixin_41484722的博客
10-29 8893
Redis使用pipeline批量查询所有键值对 本意是redis存储hashMap的时候单个key对应的value值存储的数据过大，有11m，读取该value值速度太慢，查询网上资料后都说把这个key-value拆分，再用pipeline或者multiGet查询，经过调研，如下：把这个key-value拆分成了46个key-value，然后再用pipeline或者multiGet查询，发现pipeline和multiGet确实可以批量查询多键值对，但是总速度跟之前单个键值对查询速度没有区别-.- 下面是r
Redis MULTI解释
qq_36663951的博客
04-11 843
MULTI标记一个事务块的开始。事务块内的多条命令会按照先后顺序被放进一个队列当中，最后由 EXEC 命令原子性(atomic)地执行。可用版本：>= 1.2.0时间复杂度：O(1)。返回值：总是返回 OK 。redis> MULTI # 标记事务开始 OK redis> INCR user_id # 多条命令按顺序入队 QUEUED redis...
针对多个Redis key使用事务方式同步修改时引发的问题
apple_operation的专栏
04-09 5714
前几天投产碰到一个问题： 多个Redis 键值在一个事务内一并提交发生异常的问题。 1.问题描述    为实现令牌桶(Token Bucket)流控算法，引入了两个Redis键值，由于这两个键值需要同时完成修改，因此引入Redis事务提交方式。 两个Redis key定义如下： remainTokenKey：剩余令牌个数key，命名方式为：     String remainToken
Redis中的Multi事务
冯立彬的博客
12-02 3822
一、概述 Redis中的Multi和Pipleline都可以一次性执行多个命令，但是Pipeline只是把多个redis指令一起发出去，redis并没有保证这些指令执行的顺序，且减少了多次网络传递的开销，因而其执行效率很高；Multi相当于一个redis的transaction，保证整个操作的有序性，通过watch这些key，可以避免这些key在事务的执行过程中被其它的命令修改，从而导致得的到结...
ZooKeeper的典型应用
yfy的博客
10-15 406
Zookeeper是一个高可用的分布式数据管理与协调框架。基于对ZAB算法的实现，该框架能够很好地保证分布式环境中数据的一致性。 随着近年来互联网系统规模的不断扩大，大数据时代飞速到来，越来越多的分布式系统将Zookeeper作为核心组件使用，如Hadoop、HBase和Kafka等。 1.数据发布/订阅 数据发布/订阅（Publish/Subscribe）系统，即所谓的配置中心，顾名思义就是发布者将数据发布到ZooKeeper的一个或一系列节点上，供订阅者进行数据订阅，从而达到动态获取数据的目的，实
Redis Cluster 集群详解
热门推荐
Java是世界上最好的语言
11-28 1万+
Redis 分布式扩展之 Redis Cluster 方案 主从切换的过程中会丢失数据，因为只有一个 master，只能单点写，没有解决水平扩容的问题。而且每个节点都保存了所有数据，一个是内存的占用率较高，另外就是如果进行数据恢复时，非常慢。而且数据量过大对数据 IO 操作的性能也会有影响。 所以我们同样也有对 Redis 数据分片的需求，所谓分片就是把一份大数据拆分成多份小数据，在 3.0 之前，我们只能通过构建多个 redis 主从节点集群，把不同业务数据拆分到不冉的集群中，这种方式在业务层需要有大量的
Redis-4.0.11集群部署与配置详解
Redis-4.0.11集群配置指南提供了详细的步骤和指导，适用于不同版本的Redis（如3.0.5、3.2.0、3.2.9和4.0.11），帮助用户理解和部署Redis集群。以下是主要内容的概要： 1. **前言**：介绍集群部署的重要性，以及集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值