中间件 | Redis - [集群]

已于 2022-09-24 21:56:03 修改
阅读量610 收藏
点赞数
分类专栏： 中间件 文章标签： redis 中间件 数据库
于 2022-09-24 15:15:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZEUS00456/article/details/127021771
版权

INDEX

§1 集群解决的痛点

  • 容量不够
  • 并发写操作的分流
  • 节点宕机重启切换主节点导致的 ip 地址变化

§2 集群方案

代理主机
类似 nginx，选用一台主机作为代理主机
代理主机对每组 redis 主从复制进行反向代理
为了健壮，代理主机也需要是集群的
在这里插入图片描述

无中心化集群
redis 3.0 后出现，目前通用集群方案，如下图

  • 主节点之间没有从属关系
  • 每个主节点都可以作为集群入口
  • 每个主节点存储一部分数据
  • 部分主节点挂掉不影响主节点功能

在这里插入图片描述

§3 无中心化集群搭建

最佳实践

  • 主节点分别使用不同的主机
  • 同组主从节点分别使用不同的主机

节点配置文件
注意打开 bind 配置

# inclue 引入原始配置文件
# 相当于用原始配置文件作为模板，然后进行增量配置
include /etc/redis/redis.conf

prot 6379
pidfile /var/run/redis_6379.pid
dbfilename dump6379.rdb

dir "/redis/cluster01"
logfile "/redis/cluster01/reis_err_6379.log"

# 集群配置
cluster-enabled yes
cluster-config-file nodes-6379.conf
# 节点失联时间
cluster-node-timeout 15000

启动节点
redis-server redis3679.conf

组建集群
cd /opt/redis-6.0.8/src
redis-cli --cluster create --cluster-replicas 1 192.1658.3.11:6379 192.168.3.11:6380 [...所有主机列表]

docker 版集群
参考 云原生 | Docker - [Redis 集群搭建]

§4 可视化工具

Redis Assistant (看上去很不错，但收费)
Another Redis Desktop Manager

无法连接时，查看防火墙相关配置，参考 firewall-cmd 指令
在这里插入图片描述

§5 集群指令

§5.1 cluster info [查看集群状态]

在这里插入图片描述

§5.2 cluster nodes [查看集群节点状态]

在这里插入图片描述

§5.3 redis-cli --cluster create[组建集群]

`redis-cli --cluster create --cluster-replicas 1 […所有主机 ip:端口 列表]``

  • –cluster-replicas 用于设置每个主节点备份的个数
§5.4 redis-cli --cluster ckeck[查看集群状态]

在这里插入图片描述

§5.5 redis-cli --cluster add-node[增加集群节点]

添加主节点

redis-cli --cluster add-node 新主节点Ip端口 集群中节点Ip端口

添加从节点

redis-cli --cluster add-node 新从节点Ip端口 集群中节点Ip端口 --cluster-slave  --cluster-master-id 主节点node-id
§5.6 redis-cli --cluster reshard[重新分配 hash 槽(手动)]
redis-cli --cluster reshard 集群中节点Ip端口
§5.7 redis-cli --cluster rebalance [重新分配 hash 槽(自动)]
redis-cli --cluster rebalance  集群中节点Ip端口

当每个节点的 key 都很少时，使用此命令无效，并提示

*** No rebalancing needed! All nodes are within the 2.00% threshold.
§5.8 redis-cli --cluster del-node [移除集群节点]
redis-cli --cluster del-node 集群中节点Ip端口
§5.9 cluster keyslot [计算 key 的插槽值]
cluster keyslot key_name
§5.10 cluster countkeysinslot[查看指定插槽中 key 的个数]
cluster countkeysinslot slot_no

只能查看当前节点的插槽

§5.11 cluster getkeysinslot[查看指定插槽中 key 的个数]
cluster getkeysinslot slot_no n

从 slot_no 号 hash 槽上获取前 n 个 key

§6 集群带来的问题

每个主节点并不包含所有数据
集群中的主节点分别负责一部分数据（key）的存储
具体一个 key 存放在哪个节点是由 hash 槽 算法决定
hash 槽相关说明参考 微服务架构 | 分布式存储 -算法

多 key 操作指令会受到影响
集群模式下，一口气操作多个 key 的指令会受到影响，比如 mset
因为涉及到的多个 key 可能经过计算 hash 槽后，分属于不同的主节点
可以通过对 keys 设置组来解决，如 mset k1(kk) v1 k2(kk) v2 k3(kk) v3

lua 脚本执行受到影响
lua 脚本在执行过程中很有可能遇到跨节点的操作
即，所有可能重定向节点 redirected 的操作都会受到影响

不同节点配置差异产生的问题
主要集中在两方面

  • 通用配置不一致
    比如节点配置了不同的 maxmemory
    某个从节点正常，但另一从节点因为此配置过小导致淘汰了大批 key
  • 数据结构优化不一致
    如 hash-max-ziplist-entries，配置了 hash 的压缩表大小

主从复制带来的问题

  • 挂载节点时全量复制
    比如加入节点时不可避免的全量复制，
    • 使用小节点，比如 2G
    • 访问低谷进行扩容，比如凌晨
  • 指令缓冲区不够导致时全量复制
    持久化过程中会用到指令缓冲区，用来缓冲从开始持久化到结束用户线程提交的新指令
    持久化结束后，会比较当前指令 offset，若在缓冲区队列中，则进行增量同步，否则全量复制
    • 缓冲区大小由 rel_backlog_size 指定，默认 1M，可以加大此配置
  • 全量复制风暴
    通常由主节点重启，众多从节点同时做全量更新导致
    可以通过修改拓扑优化，主从节点间增设从节点，即主节点只同步一个从节点，其余的同步由此节点复制
    但，比较新的集群中不会遇到此问题，因主节点挂掉后会由其原本的从节点补位

新老环境的迁移问题
如果有陈年老系统，可能最早不是使用的 redis 集群
而迁移需要保证数据的完整性，只能局限于整体迁移时，难度较大

§7 故障恢复

主节点宕机

  • 此主节点的从节点自动升为主节点
  • 原主节点恢复后自动成为新主节点的从节点

一段 hash 槽节点全部宕机

问仙长何方蓬莱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
中间件、集群
顺其自然~专栏
11-16 163
一组协同工作的服务器，对外表现为一个整体，更好的利用现有资源实现服务的高度可用。2.3.1、LVS介绍LVS 运行在系统内核空间netfilter的INPUT钩子上的框架，用户空间无法直接管理，用IPVSADM命令行工具管理集群服务；根据用户请求的套接字判断，将请求分流至真实服务器的工作模块;DR(Direct Routing)、NAT(多目标DNAT)、TUN，实施中用得最多的还是LVS/DR+Keepalived；1）DR(Direct Routing)：LB收到请求包后, 将请求包中。
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
12-11 919
基于MySQL数据库集群技术实现服务的高可用基于Tomcat的集群负载机制实现Tomcat服务器的高可用基于Nginx负载均衡机制实现负载均衡（介绍和配置）基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司的youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。
主流中间件--Redis
最新发布
qq_56438516的博客
06-22 1755
NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，它泛指非关系型的数据库。关系型数据库：以关系(由行和列组成的二维表)模型建模的数据库。简单理解：有表的就是关系型数据库。Redis 是一个高性能的 开源的、C语言写的Nosql（非关系型数据库），redis的数据可以存储在内存中或者磁盘中。Redis 是以key-value形式存储，和传统的关系型数据库不一样。
redis是中间件?_高性能Redis中间件服务 nredis-proxy
weixin_39725844的博客
01-31 529
nredis-proxy 是一个以redis 协议为主的高性能稳定的代理中间件服务，不侵入业务代码，与业务毫无联系，不需要改任何应用代码，天然支持分布式部署。 一：功能特点： 1：自带连接池，性能高效 2：提供分片策略，扩展性强，可自定义分片算法 3：提供读写分离，一主多从,从按照权重读取 4：提供自动监听功能，主挂了，提供选举算法，从作为主 5：可HA分布式部署，节点随意扩展二：nredis-...
中间件集群部署
Spider_Man06的博客
01-06 1588
一、安装jdk1.8 先卸载系统自带jdk #查找系统自带jdk rpm -qa | grep java #卸载jdk yum -y remove java* #卸载完成 解压安装jdk tar -zxvf jdk-8u221-linux-x64.tar.gz #删除tar包 rm -rf jdk-8u221-linux-x64.tar.gz 配置系统环境变量 vim /etc/profile #在尾部添加环境变量 export JAVA_HOME=/data/jdk1.8.0_221 ex
吃透Redis系列（九）：Redis代理twemproxy和predixy详细介绍
吃透Java
01-20 4507
文章目录一，实现Redis集群方案1，客户端分片2，代理分片2.1，twemproxy2.2，predixy3，服务端分片redis cluster4，方案选择二，twemproxy1，twemproxy使用1.1，clone代码1.2，生成configure文件1.3，执行./configure1.4，执行make1.5，拷贝nutcracker.init1.6，给twemproxy赋可执行权限1.7，拷贝配置文件1.8，拷贝make生成的nutcracker可执行程序到/usr/bin目录下1.9，修改
Redis-x64-5.0.14.msi和Redis-x64-5.0.14.zip
12-20
6. **集群部署**：若需搭建Redis集群，Windows版Redis同样支持，但配置过程相对复杂，需要正确配置节点间的通信和槽分配。 总的来说，`Redis-x64-5.0.14.msi`适合快速部署和简单管理，而`Redis-x64-5.0.14.zip`适合...
redis校验工具redis-full-check
05-27
Redis 是一款高性能的键值存储系统，广泛应用于缓存、数据库和消息中间件等场景。在实际应用中，为了确保 Redis 的稳定性和数据一致性，需要定期对 Redis 实例进行健康检查。`redis-full-check` 正是这样一款针对 ...
Redis-x64-5.0.9.zip
07-03
Redis，全称Remote Dictionary Server，是一款高性能的键值存储系统，常被用作数据库、缓存和消息中间件。这个“Redis-x64-5.0.9.zip”压缩包包含的是适用于64位操作系统的Redis服务器的5.0.9版本。在本文中，我们将...
PyPI 官网下载 | tastypie-redis-resource-0.0.1.tar.gz
01-30
Redis是一个开源的、内存中的数据结构存储系统，可以当作数据库、缓存和消息中间件使用。它的数据类型包括字符串、哈希、列表、集合、有序集合，这些丰富的数据结构为应用开发提供了极大的灵活性。Redis的高性能和低...
redis-7.0.11-aarch64.tar.gz
05-25
10. **集群部署**：如果需要高可用性和扩展性，可以学习如何配置和管理Redis集群，包括设置主从复制、故障转移和槽分区等。 在鲲鹏aarch64架构上使用Redis，需要确保你的系统环境兼容，包括依赖库和系统版本。此外...
redis，zookeeper，kafka中间件集群安装部署手册
10-19
redis5 cluster zookeeper集群 kafka集群安装部署手册
7 款神秘的开源中间件！
Java后端技术
01-19 2754
往期热门文章：1、《往期精选优秀博文都在这里了！》2、MyBatis她不香吗？为啥老外却喜欢Hibernate/Jpa?3、代码对比工具，我就用这7个！4、Mybatis 中经典的 9 ...
比Redis快5倍的中间件，为啥这么快？
HollisChuang's Blog
10-30 2072
作者：羽洵原文链接：http://suo.im/4Cx7u今天给大家介绍的是KeyDB，KeyDB项目是从redis fork出来的分支。众所周知redis是一个单线程的...
redis分布式代理工具选型与功能验证
05-06 598
一、应用场景需求简要说明 1、目前产品架构基于redis单实例设计，因单实例QPS受限(都在10万级QPS以下)，不适用于中大型项目，设计要求通过服务器与多实例redis水平扩展使QPS能达到1000万级别； 2、要求支持一般的string、hash、lish、set、zset数据结构对应的命令以及pub/sub消息发送订阅等命令; 3、要求至此sc...
redis是中间件?_常用中间件（redis+kafka）记录
weixin_35897479的博客
01-31 6887
不浪费大好的周末时光，记录下常用中间redis和kafka架构、使用场景和坑点说明，仅作个人记录使用一、RedisRedis的主要功能都基于单线程模型实现，也就是说Redis使用一个线程来服务所有的客户端请求，同时Redis采用了非阻塞式IO，并精细地优化各种命令的算法时间复杂度，这些信息意味着：Redis是线程安全的(因为只有一个线程)，其所有操作都是原子的，不会因并发产生数据异常Re...
分布式数据库集群中间件
yaoqinglin的博客
08-23 931
我是一个分布式数据库集群中间件的开发者，已经一年多一点的开发时间了，今天总结点我所知道的一些事情，给有新近来到这个领域的研发人员一点借鉴。 生活不易，赚钱不易，离开只是为多赚点钱。----学渣 我只是说我所开发过的系统： 后面文章会有详细的分析，这里只做简单的梳理。也就是你要研发分布式数据库集群中间件，需要向着哪些方面去思考。 首先我们从名字去分析我们正在从事的工作内容：
分布式数据库集群中间件------分布式中的概念
yaoqinglin的博客
08-24 870
分布式系统中，存在着三组非常重要的概念：节点，网络，存储。 下面我们来从书上说的先来理解一下： 节点：系统中通过一定的协议完成相应的计算的功能的一台机器或者一个进程等等。 网络：通信通道。 存储：系统需要持久化的数据以及一些维护系统正常运作的元数据信息等。 举个例子： 古村落需要交纳税款： 分布式系统就好比是一个古村落，村子中每个人都过着安逸祥和的生活。那么每个家庭就
redis入门
m0_59234718的博客
02-26 1315
1 什么是redis Redis 是一个开源（BSD 许可）的内存数据结构存储，用作数据库、缓存和消息代理。Redis 提供数据结构，例如字符串、散列、列表、集合、具有范围查询的排序集合、位图、超日志、地理空间索引和流。Redis 具有内置复制、Lua 脚本、LRU 驱逐、事务和不同级别的磁盘持久性，并通过 Redis Sentinel 和 Redis Cluster 自动分区提供高可用性。 Redis是一个开源的使用ANSI C语言编写可基于内存亦可基于磁盘，Key-Value数据库。类似于map
redis-6.2.6 windows
07-11
另外，如果需要使用Redis作为缓存或消息中间件，我们可以在应用程序中通过Redis的客户端库来连接和操作Redis数据库。 总结来说，Redis 6.2.6是Redis的最新稳定版本，适用于Windows操作系统。我们可以通过下载安装包...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值