redis基础操作基于redis cluster5 client命令

最新推荐文章于 2024-08-06 23:23:33 发布
最新推荐文章于 2024-08-06 23:23:33 发布
阅读量4.6k 收藏
点赞数
分类专栏： Redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/singgel/article/details/115673459
版权
本文详细介绍了Redis Cluster的安装步骤，包括下载、编译、安装和配置。接着讲解了如何创建、检查和管理集群，如故障转移、槽位调整、手动故障转移以及扩容和缩容操作。此外，还探讨了集群中的数据一致性、性能、节点间通信以及重定向机制等关键问题。最后，提到了批量操作的示例和网络抓包工具的使用。
摘要由CSDN通过智能技术生成

https://blog.csdn.net/houxian1103/article/details/108270768

===============RedisCluster5的安装包
wget http://download.redis.io/releases/redis-5.0.3.tar.gz
tar -zxvf redis-5.0.3.tar.gz
cd redis-5.0.3 
make
# 安装到 /usr/local/redis 目录中 安装的文件只有一个bin目录
make install PREFIX=/usr/local/redis/ 
# 创建配置文件和data存放目录
mkdir /usr/local/redis/conf /usr/local/redis/data

# 可以查看所有这个命令和子命令的帮助信息
/data/server/redis-cluster/redis-5.0.5/src/redis-cli --cluster help 

# 重置所有节点
CLUSTER RESET

# 创建cluster
/data/server/redis-cluster/redis-5.0.5/src/redis-cli --cluster create 192.168.64.15:8051 192.168.64.15:8052 \
192.168.64.169:8053 192.168.64.169:8054 192.168.64.169:8056 192.168.64.169:8057 \
--cluster-replicas 1

# 检查集群状态
/data/server/redis-cluster/redis-5.0.5/src/redis-cli --cluster check 192.168.64.15:8051

# 检查集群，查看所有节点信息
/data/server/redis-cluster/redis-5.0.5/src/redis-cli -c -h 192.168.64.15 -p 8051 cluster nodes

# 默认是master平均分了0-16383的所有虚拟slot
# 可以进行调整，部分节点放多一点slot(槽或者位置)。
/data/server/redis-cluster/redis-5.0.5/src/redis-cli --cluster reshard  <host>:<port> --cluster-from <node-id> --cluster-to <node-id> --cluster-slots <number of slots> --cluster-yes

===============测试自动故障转移
# cluster集群不保证数据一致，数据也可能丢失
# 首先是运行客户端不断的写入或读取数据，以便能够发现问题
# 然后是模拟节点故障：找一个主节点关闭，主从故障切换的过程中，这个时间端的操作，客户端而言，只能是失败
# 官方描述 https://redis.io/topics/cluster-spec  
There is always a window of time when it is possible to lose writes during partitions.
分区的时间窗口内总是有可能丢失写操作。

==============手动故障转移
# 可能某个节点需要维护（机器下线、硬件升级、系统版本调整等等场景），需要手动的实现转移
# 在slave节点上执行命令
CLUSTER FAILOVER 
# 注：CLUSTER  help 可以看到帮助文档和简介。 相对安全的做法

===============扩容操作
# 1、 启动新节点
/usr/local/redis/bin/redis-server /usr/local/redis/conf/6387.conf
 
# 2、 加入到已经存在的集群作为master
/usr/local/redis/bin/redis-cli --cluster add-node 192.168.100.242:6387 192.168.100.242:6382
# 本质就是发送一个新节点通过 CLUSTER MEET命令加入集群
# 新节点没有分配hash槽
 
# 3、 加入到已经存在的集群作为slave
/usr/local/redis/bin/redis-cli --cluster add-node 192.168.100.242:7006 192.168.100.242:7000 --cluster-slave
# 可以手工指定master，否则就是选择一个slave数量较少的master 
/usr/local/redis/bin/redis-cli --cluster add-node 192.168.100.242:7006 192.168.100.242:7000 --cluster-slave --cluster-master-id <node-id>
# 还可以将空master，转换为slave
cluster replicate <master-node-id>
 
# 4、 检查集群
/usr/local/redis/bin/redis-cli --cluster check 192.168.100.242:6382


================缩容操作
# 注意：删除master的时候要把数据清空或者分配给其他主节点
/usr/local/redis/bin/redis-cli --cluster del-node 192.168.100.242:6381 <node-id>


================集群关心的问题
# 1、 增加了slot槽的计算，是不是比单机性能差？
共16384个槽，slots槽计算方式公开的，java客户端中就使用了：HASH_SLOT = CRC16(key) mod 16384
为了避免每次都需要服务器计算重定向，优秀的java客户端都实现了本地计算，和服务器slots分配进行映射，有变动时再更新本地内容。
 
# 2、 redis集群大小
理论是可以做到16384个槽，但是redis官方建议是最大1000个实例
 
# 3、 批量操作或者
 
# 4、cluster meet命令中的bus-port是什么？
MEET <ip> <port> [bus-port]
每个Redis群集节点都有一个额外的TCP端口，用于接收来自其他Redis群集节点的传入连接
 
# 5、集群节点间的通信方式
每个节点使用TCP连接与每个其他节点连接。
 
# 6、ask和moved重定向的区别
重定向包括两种情况
如果是确定slot不属于当前节点，redis会返回moved
如果当前redis节点正在处理slot迁移，则代表此处请求对应的key暂时不在此节点，返回ask，告诉客户端本次请求重定向
 
# 7、数据倾斜和访问倾斜的问题
解决办法 调整key的策略 + slot迁移
迁移过程如下，完整的迁移流程：
在迁移目的节点执行cluster setslot <slot> IMPORTING <node ID>命令，指明需要迁移的slot和迁移源节点。
在迁移源节点执行cluster setslot <slot> MIGRATING <node ID>命令，指明需要迁移的slot和迁移目的节点。
在迁移源节点执行cluster getkeysinslot获取该slot的key列表。
在迁移源节点执行对每个key执行migrate命令，该命令会同步把该key迁移到目的节点。
在迁移源节点反复执行cluster getkeysinslot命令，直到该slot的列表为空。
在迁移源节点和目的节点执行cluster setslot <slot> NODE <node ID>，完成迁移操作。

==============批量操作

删除

redis-cli -h 10.10.45.5 -p 12161 --scan --pattern "ops-coffee-*" | xargs -L 10 redis-cli -h 10.10.45.5 -p 12161 unlink

查询

redis-cli -h 10.10.45.5 -p 12161 --scan --pattern "ops-coffee-*" | xargs -L 1 redis-cli -h 10.10.45.5 -p 12161 get

===========对应查看链接相关的Linux
# ss的结果证明了链接已经建立了
ss -ant

# 将目的端口为 8051 的请求丢弃
iptables -A INPUT -p tcp --dport 18052 -j DROP
iptables -A INPUT -p tcp --dport 8052 -j DROP

# 加上拒绝策略的参数
iptables -A INPUT -p tcp --dport 5555 -j REJECT --reject-with tcp-reset
# tcpkill的原理和刚才的iptables相似, 也是发送了一个链接重置的R标志报文, 迫使对方关闭断开连接, 只是相对而言会比较智能一点, 因为它会自动构造报文并发送.
tcpkill -1 -i eth0 port 5555

# 清空规则缓冲区
iptables -F
# 查看规则
iptables -nL


==========tcpdump进行网络抓包
模拟server启动：nc -l -p 5555
模拟client连接：nc 10.10.200.30 5555 -p 6666

tcpdump -i en3 -xnn -S |grep 192.168.64.15

iptables的DROP行为, 能够阻止链接的建立, 但是对于已经建立起来的链接, 顶多只能阻止数据的传输, 但是不能断开链接, 链接的断开应该只有下面几种可能:
socket 的主动close, 也就是发送 fin报文 ( 应用层程序或者内核 )
TCP链接的超时自动断开 ( 这个过程可能会比较耗时 )
伪造报文发送RST
在某些情况下, 哪怕对方关闭了, 但是自己也是无法感知的, 还是需要send一次, 通信一次, 触发了socket的错误, 例如 Connection reset by peer. 或者 Broken pipe等等, 才能知道自己可以关闭, 否则大家都不通信, 这样有心无力, 只能听天由命了!

阿拉斯加大闸蟹
关注
专栏目录
Lettuce之RedisClusterClient使用以及源码分析
技术分享
06-17 2414
Redis Cluster模式简介 redis集群并没有使用一致性hash算法而引入了哈希槽概念,Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽.也就是说如果key是不变的对应的slot也是不变的 Redis 服务器命令 cluster info 可以通过cluster in.........
python rediscluster连接池_Redis —— Python 操作redis、redis cluster + connection pool
weixin_42099530的博客
02-03 1144
#rediscluster/client.pyclassRedisCluster(Redis):...def __init__(self, host=None, port=None, startup_nodes=None, max_connections=None, max_connections_per_node=False, init_slot_cache=True,readonly_mode...
Redis Cluster Smart Client 学习笔记
胜天半子
08-26 1538
Redis Cluster是Redis官方的集群实现方案，为使用proxy来代理客户端连接Redis集群节点，而是采用smart client直连Redis集群。 Redis Cluster是无中心节点设计，client可以连接集群中的任何一个节点。 smart client的机制： 在client初次连接Redis集群后，smart client会获取集群的节点信息及slot的分布信息，并在本地缓存一份 hash slot 与 node 关系的路由表。 当client收到请求时，先本地用CRC16算法计
RedisClient和ClusterClient
Faya__的博客
08-06 405
连接类型连接单个 Redis 实例。连接 Redis 集群。数据分布数据存储在一个 Redis 实例上。数据根据哈希槽分布在多个集群节点上。高可用性依赖于单个实例的高可用性。提供内置的高可用性机制，支持自动故障转移。使用场景适用于小规模、单实例的使用场景。适用于大规模、高并发、需要高可用性的生产环境。
Redis -- 集群环境操作命令
GP的空间
07-13 527
CLUSTER INFO 打印集群的信息 CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。 //节点(node) CLUSTER MEET &lt;ip&gt; &lt;port&gt; 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。 CLUSTER FORGET &lt;node_id&gt; 从集群中移除 node...
redis-cluster client容灾（高可用）方案
weixin_34240520的博客
10-15 568
2019独角兽企业重金招聘Python工程师标准>>> ...
RedisCluster 搭建与使用
Supreme_Sir的博客
04-04 409
一、部署环境 系统&软件 版本 VMware Workstation 15 Pro CentOS-Minimal 7.6.1810 redis 6.0.6 Xshell 7 Xftp 7 软件列表： redis-6.0.6.tar.gz 集群角色： 192.168.32.102:7001（主） 192.168.32.102:7002（主） 192.168.32.102:7003（主） 192.168.32.102:7004（从） 192.168.32.102
redis-py-cluster:官方redis集群的Python集群客户端。 Redis 3.0+
04-28
redis-py-cluster 该客户端提供了Redis 3.0中添加的Redis集群客户端。 该项目是antirez的redis-rb-cluster的移植版，具有许多附加功能。 原始资源可以在找到 分支master将始终包含已从Pull Requests中合并的最新...
redis-cluster集群部署
12-24
Redis 集群部署在 CentOS 7.4 上的详细操作步骤 在本教程中，我们将学习如何在 CentOS 7.4 上部署 Redis 集群。Redis 集群是一种高可用性的解决方案，它可以将多个 Redis 实例组合成一个集群，以便提供更高的性能和...
基于Redis Cluster的分布式锁实现以互斥方式操作共享资源
Q54665642ljf的博客
08-06 644
今天要说的技术方案也是有一定项目背景的。在上一个项目中，我们需要对一个redis集群中过期的key进行处理，这是一个分布式系统，考虑到高可用性，需要具备过期处理功能的服务有多个副本，这样我们就要求在同一时间内仅有一个副本可以对过期的key>进行处理，如果该副本挂掉，系统会在其他副本中再挑选出一个来处理过期的key。很显然，这里涉及到一个选主(leader election)的过程。每当涉及选主，很多人就会想到一些高大上的分布式一致性/共识算法，比如： raft 、 paxos 等。...
基于acl库封装c\c++ 的redis-client客户端源码
03-26
基于acl库封装的redis client vs2010工程; 运行时解压到： redis-acl\lib_acl_cpp\samples\redis路径下，把lib_acl_vc2010d.lib、lib_acl_cpp_vc2010d.lib放到 \redis-acl\lib_acl_cpp\samples\redis\redisclient...
Spring Data Redis配合Lettuce客户端构建RedisClusterClient之自适应拓扑刷新（Adaptive updates）与定时拓扑刷新（Periodic updates）
热门推荐
SuperWei的博客
07-09 1万+
敲黑板！划重点！：自适应拓扑刷新（Adaptive updates）与定时拓扑刷新（Periodic updates）坑爹的拓扑刷新查找原因移植代码 坑爹的拓扑刷新 之前使用公司封装好的Redis组件（内部使用了老版本的Jedis）。后来公司不再维护组件了，各项目自行通过开源Redis组件连接。 我这边直接选择了使用Spring Data Redis+Lettuce来搭建Redis客户端。上依赖关...
redis cluster client hash槽的相互关联
qq_26471769的博客
07-26 275
推荐一下redis官网http://www.redis.cn/ 文档地址：http://www.redis.cn/documentation.html 文章来自于cluster相关的解析主要是集群教程和集群规范 hash槽 redis 使用hash槽做分片策略，和hash一致性不太一样。redis集群有16384个哈希槽 请求重定向 简单来说们就是redis cluster在集群之间同步hash槽位的信息。当请求的redis server不对的时候就会把正确的槽位对应的ip返回。c.
Redis集群 安装、命令、API
あずにゃん梓喵的博客
05-18 648
Redis集群 安装、命令、API window 安装 redis java Jedis api：redis集群api JedisCluster、redis连接池api JedisPool Redis 集群搭建、Spring Data Redis使用 redis 集群搭建 redis报错信息：CLUSTERDOWN Hash slot not served 和 No...
redis cluster jedis client 示例
weixin_34390996的博客
05-05 82
2019独角兽企业重金招聘Python工程师标准>>> ...
redis client常用命令
dy_f的专栏
10-27 7079
启动redis lch@localhost:Desktop $ redis-server /usr/local/etc/redis.conf 数据基本操作增删改查 关于redis里的db 进入客户端，默认使用编号为0的数据库，可以通过命令切换，如： lch@localhost:Desktop $ redis-cli redis 127.0.0.1:6379&...
Redis-Cluster 集群搭建（Windwos带Server启动）
孙天成-全栈工程师
11-11 961
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
mysql redis 集群搭建_RedisCluter集群（一）：Redis高可用集群Redis Cluster搭建
weixin_27256197的博客
02-07 192
前言：Redis3.0版本之前，可以通过Redis Sentinel(哨兵)来实现高可用 ( HA )，从3.0版本之后，官方推出了Redis Cluster，它的主要用途是实现数据分片(Data Sharding)，不过同样可以实现HA，是官方当前推荐的方案。在Redis Sentinel模式中，每个节点需要保存全量数据，冗余比较多，而在Redis Cluster模式中，每个分片只需要保存一部分...
#include <sw/redis++/redis_cluster.h> c/c++ 批量往redis存入数据
最新发布
09-21
`#include <sw/redis++/redis_cluster.h>` 这行代码是在C++中使用Redis++库操作Redis Cluster的一个引用，Redis++是一个高性能的Redis客户端库，它支持多种Redis协议版本，包括Redis Cluster。 如果你想批量向Redis...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值