Redis集群

最新推荐文章于 2021-07-03 16:37:21 发布
最新推荐文章于 2021-07-03 16:37:21 发布
阅读量207 收藏
点赞数
分类专栏： NOSQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45157506/article/details/103998887
版权

概念

  • 分布式高可用内存数据库集群

工作原理

在这里插入图片描述

hash slots(哈希槽)

  • 16384个(0-16383)
  • 决定数据存储在哪个主服务器
  • 只有主服务器拥有hash slots
  • 不以hash slots决定能存多少数据,它决定数据存储在一台服务器上的几率有多大
  • 存数据时,对key使用CRC16算法计算hash值,使用该值对16384取余,余数对应的hash slots在哪台服务器占用的hash slots范围内,就存在哪台服务器,取数据同理

环境准备

主机名(角色)ip
client192.168.4.50
MGM(management)192.168.4.57
redisA192.168.4.51
redisB192.168.4.52
redisC192.168.4.53
redisD192.168.4.54
redisE192.168.4.55
redisF192.168.4.56
redisG(向集群添加服务器时使用)192.168.4.58
redisH(向集群添加服务器时使用)192.168.4.59
  • 各个节点部署Redis,不要设置密码,数据库中不能有数据!
  • 确认redis节点的服务运行是否正常:(ip和端口)
[root@mgm57] pssh -h ip.redis -i ss -antup |grep :63
tcp    LISTEN     0      128    192.168.4.53:6353                  *:*                   users:(("redis-server",pid=861,fd=6))
tcp    LISTEN     0      128    192.168.4.54:6354                  *:*                   users:(("redis-server",pid=861,fd=6))
tcp    LISTEN     0      128    192.168.4.52:6352                  *:*                   users:(("redis-server",pid=866,fd=6))
tcp    LISTEN     0      128    192.168.4.55:6355                  *:*                   users:(("redis-server",pid=859,fd=6))
tcp    LISTEN     0      128    192.168.4.51:6351                  *:*                   users:(("redis-server",pid=861,fd=6))
tcp    LISTEN     0      128    192.168.4.56:6356                  *:*                   users:(("redis-server",pid=844,fd=6))

创建集群

1)部署管理主机MGM57

也可以部署在一台redis节点上

  • 部署ruby脚本运行环境
  • 创建管理集群脚本redis-trib.rb(开发者提供)
[root@mgm57] yum -y install rubygems
[root@mgm57] gem install redis-3.2.1.gem  #提供管理集群的命令,redis-trib.rb脚本中使用的命令
[root@mgm57] tar -zxvf /root/redis-4.0.8.tar.gz -C /root
[root@mgm57] cp /root/redis-4.0.8/src/redis-trib.rb /root/bin
[root@mgm57] redis-trib.rb help  #查看使用方法
  • redis-trib.rb使用方法:
] redis-trib.rb <command> <options> <arguments...>
COMMAND说明
create创建集群
check检查集群
info查看集群信息
reshard重新分片
del-node删除主机
add-node --slave添加slave主机
add-node添加master主机
rebalance平均分配hash slots

2)配置redis节点

[root@redisA-F ~]vim /etc/redis/6379.conf
815  cluster-enabled yes  #启用集群功能
823  cluster-config-file node-6379.conf  #存储集群信息的文件
829  cluster-node-timeout 5000  #超时时间(毫秒)

使用脚本批量执行:

[root@mgm57] vim redis_cluster.sh
#!/bin/bash
# Need SSH 'no password' login
for i in {51..56}
do
        ssh 192.168.4.$i "sed -ri '815s/#//' /etc/redis/6379.conf"
        ssh 192.168.4.$i "sed -ri '823s/#//' /etc/redis/6379.conf"
        ssh 192.168.4.$i "sed -ri '829s/#//' /etc/redis/6379.conf"
        ssh 192.168.4.$i "sed -ri '829s/15000/5000/' /etc/redis/6379.conf"
        ssh 192.168.4.$i "redis-cli -h 192.168.4.$i -p 63$i shutdown"
        ssh 192.168.4.$i "/etc/init.d/redis_6379 start" 
        ssh 192.168.4.$i "ss -antup |grep :163"     
done
[root@mgm57] bash redis_cluster.sh  #执行后的输出,服务端口+10000为集群端口
tcp    LISTEN     0      128    192.168.4.51:16351                 *:*                   users:(("redis-server",pid=1670,fd=8))
tcp    LISTEN     0      128    192.168.4.53:16353                 *:*                   users:(("redis-server",pid=1411,fd=8))
tcp    LISTEN     0      128    192.168.4.52:16352                 *:*                   users:(("redis-server",pid=1466,fd=8))
tcp    LISTEN     0      128    192.168.4.56:16356                 *:*                   users:(("redis-server",pid=1367,fd=8))
tcp    LISTEN     0      128    192.168.4.54:16354                 *:*                   users:(("redis-server",pid=1413,fd=8))
tcp    LISTEN     0      128    192.168.4.55:16355                 *:*                   users:(("redis-server",pid=1472,fd=8))

3)创建集群

--replicas 1: 指定从服务器数量,1代表每一台主服务器拥有一台从服务器,默认会选举3台主服务器

[root@mgm57] redis-trib.rb create --replicas 1 \   
> 192.168.4.51:6351 192.168.4.52:6352 \
> 192.168.4.53:6353 192.168.4.54:6354 \
> 192.168.4.55:6355 192.168.4.56:6356
....
Can I set the above configuration? (type 'yes' to accept): yes    #输入yes
....
[OK] All 16384 slots covered.     #正确输出

执行命令报错解决办法:

#!/bin/bash
for i in {51..56}
do
	ssh 192.168.4.$i redis-cli -h 192.168.4.$i -p 63$i shutdown
	ssh 192.168.4.$i rm -rf /var/lib/redis/6379/*
	ssh 192.168.4.$i /etc/init.d/redis_6379 start
done

再重新执行创建命令

4)查看集群状态信息

  • 管理主机查看
] redis-trib.rb info 192.168.4.51:6351 #查看集群信息
192.168.4.51:6351 (6b6c979e...) -> 0 keys | 5461 slots | 1 slaves.
192.168.4.52:6352 (6f59a5dd...) -> 0 keys | 5462 slots | 1 slaves.
192.168.4.53:6353 (b65ab75b...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.

] redis-trib.rb check 192.168.4.51:6351 #检测集群(详细信息)
  • redis节点查看
] redis-cli -h 192.168.4.51 -p 6351  #连接redis
>cluster info   #查看集群信息
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6   #集群中的节点数量
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:3058
cluster_stats_messages_pong_sent:3852
cluster_stats_messages_sent:6910
cluster_stats_messages_ping_received:3847
cluster_stats_messages_pong_received:3058
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:6910

>cluster nodes  #查看节点

客户端访问集群

  • 访问集群中的任何服务器都可以,存取数据会自动到master服务器执行
[root@client] redis-cli -c -h 192.168.4.51 -p 6351  #-c代表访问集群
192.168.4.51:6351> KEYS *
(empty list or set)
192.168.4.51:6351> set x 1
-> Redirected to slot [16287] located at 192.168.4.53:6353  #保存到了53服务器上
OK
192.168.4.53:6353> KEYS *
1) "x"
192.168.4.53:6353> set y 2
OK
192.168.4.53:6353> set z 3
-> Redirected to slot [8157] located at 192.168.4.52:6352  #保存到了52服务器上
OK
192.168.4.52:6352> KEYS *
1) "z"
192.168.4.52:6352> get x
-> Redirected to slot [16287] located at 192.168.4.53:6353
"1"

高可用测试

  • 手动停止51的redis服务,51的slave服务器会自动升级为master,再次启动51,51会做为新master的slave
  • 一对主从服务器不能同时损坏

管理集群

1)向集群添加服务器

  • 在新服务器上运行redis并启用集群配置(需要2台,一主一从)
  • 添加master服务器58到集群
[root@mgm57] redis-trib.rb add-node 192.168.4.58:6358 192.168.4.51:6351  #58为新服务器,不指定主机角色时,默认为master,51可以写集群中的任意一台服务器
  • 给58服务器分配hash slots
[root@mgm57] redis-trib.rb reshard 192.168.4.51:6351  #重新分片
....
How many slots do you want to move (from 1 to 16384)? 4096   #分配多少个hash slots, 16384/4=4096
What is the receiving node ID? 723e2632c3397044da5d91200e10fae81e10fc1e   #hash slots分配给谁,写新服务器的ID
Please enter all the source node IDs.
....
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1:all   #从哪个节点取出hash slots,all代表所有节点,也可以写一个节点编号
....
Do you want to proceed with the proposed reshard plan (yes/no)? yes  #yes
....
  • 给58服务器添加slave服务器59
[root@mgm57] redis-trib.rb add-node --slave [--master-id ID] 192.168.4.59:6359 192.168.4.51:6351
#不指定master-id时,会分配给slave最少的master

2)从集群移除服务器

  • 移除slave
    slave不占用slots,直接移除
[root@mgm57] redis-trib.rb del-node 192.168.4.51:6351 4f13432acb046444d66c8bde6e45fea1cad205d5  #指定服务器ID
>>> Removing node 4f13432acb046444d66c8bde6e45fea1cad205d5 from cluster 192.168.4.51:6351
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node.  #移除主机会停止主机的redis服务
  • 移除master
    首先释放hash slots,再移除
[root@mgm57] redis-trib.rb reshard 192.168.4.51:6351
....
How many slots do you want to move (from 1 to 16384)? 4096  #移除的slots数量
What is the receiving node ID? b65ab75b537ccace1cfb294300ebff04c2de5e51   #slots给谁
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1:6f59a5dd69459d333525272caa4dfcd5b62f0de6  #写要移除的master服务器ID
Source node #2:done  #done表示不写了
Do you want to proceed with the proposed reshard plan (yes/no)? yes  #yes
....
[root@mgm57] redis-trib.rb del-node 192.168.4.51:6351 6f59a5dd69459d333525272caa4dfcd5b62f0de6  #移除

3)如何把移除的服务器再添加回去

[root@redis52] rm -rf /var/lib/redis/6379nodes-6379.conf
[root@redis52] /etc/init.d/redis_6379 start

[root@mgm57] redis-trib.rb add-node 192.168.4.52:6352 192.168.4.51:6351

或者:

[root@redis52] /etc/init.d/redis_6379 start
[root@redis52] redis-cli -h 192.168.4.52 -p 6352
>cluster reset   #重置cluster配置

[root@mgm57] redis-trib.rb add-node 192.168.4.52:6352 192.168.4.51:6351
baiyuani
关注
专栏目录
Redis源码分析（三十四）--- redis.h服务端的实现分析（1）
走在前往架构师的路上
11-07 5490
上次刚刚分析过了客户端的结构体分析，思路比较简答，清晰，最后学习的是服务端的实现，服务端在Redis可是重中之重，里面基本上囊括了之前模块中涉及到的所有知识点，从redis的头文件就可以看出了，redis.h代码量就已经破1000+行了，而且都还只是一些变量，宏定义的声明，和一些方法原型的声明。所以，今天的总结跟昨天一样，先不做具体的实现学习，先从全局的角度思考，服务端的整体设计思路，这从头文件的
Redish订阅与发布机制
青色橙子
03-08 684
Redis 发布订阅 Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。 Redis 客户端可以订阅任意数量的频道。 下图展示了频道 channel1 ， 以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系： 当有新消息通过 PUBLISH 命令发送给频道 channel1 时， 这个...
redis编程(hredis)
IT_small_farmer的专栏
10-28 5964
hiredis是redis数据库的C接口，目前只能在linux下使用，几个基本的函数就可以操作redis数据库了。   函数原型：redisContext *redisConnect(const char *ip, int port) 说明：该函数用来连接redis数据库，参数为数据库的ip地址和端口，一般redis数据库的端口为6379 该函数返回一个结构体redisContext。
redish mysql_mysql_redis.h
weixin_36221923的博客
01-27 259
/*** Copyright @2019 Josin All Rights Reserved.* Author: Josin* Email : xeapplee@gmail.com** This is the MySQL-UDF for operating the Redis DB* A simple way to sync data from MySQL to Redis*/#ifndef UD...
redish下的Xshell安装与扩展
weixin_47124571的博客
04-22 392
安装redis服务 1、步骤： 2、链接： https://redis.io/download?ADUIN=2356911868&ADSESSION=1587516466&ADTAG=CLIENT.QQ.5695_.0&ADPUBNO=26983 3、详细步骤： 进入redis-5.0.8 在make 安装redis扩展 1、步骤： 2、 链接： ...
Redis集群弱/空密码问题整改
最新发布
11-15
使用redis安装用户，在命令行连接上redis集群后，执行命令：config set requirepass 【自定义的强密码】，如： config set requirepass mypassword@#75@~ 然后执行 config rewrite 将配置密码持久化到redis配置文件...
Redis集群数据迁移操作文档
06-29
《Redis集群数据迁移实战指南》 在IT领域，数据迁移是一项关键任务，特别是在使用Redis这样的高性能内存数据库时。本文将详细介绍如何进行Redis集群的数据迁移，包括全量和增量数据迁移，以及离线迁移的方法，主要...
redis集群批量插入
11-23
本文将详细讨论如何在Java环境下连接Redis集群并实现批量插入String类型的数据。 首先，我们需要理解Redis集群的基本概念。Redis集群是通过分片（Sharding）技术来分散数据到多个节点，每个节点存储一部分数据。在...
Redis集群下过期key监听的实现代码
09-09
在讨论Redis集群下过期key监听的实现代码之前，首先需要明确几个核心概念和组件： Redis集群是Redis的一种高可用性解决方案，它通过将数据分布在不同的Redis节点上，并提供一定机制保证数据的复制和高可用性。集群...
阿里云公网redis集群搭建以及java访问redis集群
04-20
阿里云公网Redis集群搭建及Java访问教程 在云计算日益普及的今天，阿里云提供了便捷的公共服务，如Redis缓存服务，帮助企业或个人快速构建高效、可靠的分布式应用。本教程将详细讲解如何在阿里云上搭建公网Redis...
Redis集群常规操作
Coding Farmer的博客
04-12 9228
一、故障转移 redis集群实现了高可用，当集群内少量节点出现故障时，通过故障转移可以保证集群正常对外提供服务。 当集群里某个节点出现了问题，redis集群内的节点通过ping pong消息发现节点是否健康，是否有故障，其实主要环节也包括了 主观下线和客观下线； 主观下线：指某个节点认为另一个节点不可用，即下线状态，当然这个状态不是最终的故障判定，只能代表这个节点自身的意见，也有可能存在误判...
redis-搭建，水平扩展，水平伸缩
weixin_42764556的博客
06-10 331
redis搭建（所有命令以及操作针对于redis>5.0） 基于docker搭建redis集群模式 docker run --net host --name dmp-redis -v /etc/localtime:/etc/localtime:ro -v /home/dmp/redis/slave01/data:/data --log-driver=none -p 对外端口:内部端口-p 对外集群通讯端口(对外端口+10000):集群通讯端口(内部端口+10000) re..
Redis Cluster日常操作命令梳理
weixin_34138377的博客
11-28 764
   在之前的一篇文章已经介绍了Redis Cluster及其部署，下面说下Redis Cluster日常操作命令： 一、以下命令是Redis Cluster集群所独有的，执行下面命令需要先登录redis：[root@manage redis]# redis-cli -c -p 6382 -h 192.168.10.12     （客户端命令：redis-cli -c -p port -h ip）...
redis最全详解--04-Redis高可用集群之水平扩展
wangzhipeng47的博客
07-29 362
redis最全详解--04-Redis高可用集群之水平扩展 Redis3.0以后的版本虽然有了集群功能，提供了比之前版本的哨兵模式更高的性能与可用性，但是集群的水平扩展却比较麻烦，今天就来带大家看看redis高可用集群如何做水平扩展，原始集群(见下图)由6个节点组成，6个节点分布在三台机器上，采用三主三从的模式 1、启动集群 # 启动整个集群 /usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/8001/red.
Redis的初步使用教程
qq_42068856的博客
07-03 897
redis服务器启动命令：redis-server.exe redis.windows.conf redis客户端启动命令：redis-cli.exe -h 127.0.0.1 -p 6379
redis集群搭建
weixin_33928137的博客
07-14 363
　　Redis 是一个开源的 key-value 存储系统，由于出众的性能，大部分互联网企业都用来做服务器端缓存。Redis 在3.0版本前只支持单实例模式，虽然支持主从模式、哨兵模式部署来解决单点故障，但是现在互联网企业动辄大几百G的数据，可完全是没法满足业务的需求，所以，Redis 在 3.0 版本以后就推出了集群模式。 Redis 集群采用了P2P...
Redis的集群配置
xiaocaodeshengri的博客
10-23 652
redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单 redis集群搭建 redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭建2.
链表反转全家桶（二）：动画详解两两交换链表中的节点
我的的博客
10-01 476
上回说到面试中的一个高频题目：单链表反转，提到它的“难兄难弟”不是那么简单。今天就来分析一下它的二哥：“两两交换链表中的节点”。 题目描述如下。 给定一个链表，两两交换其中相邻的节点，并返回交换后的链表。 你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。 示例: 给定 1->2->3->4, 你应该返回 2->1->4->3. 方法一：三指针迭代 有了上回单链表反转的双指针迭代法的基础，再来解决它二哥，就相对容易很多了。 “巧妇难为无米之炊”。题目中说的
部署和管理redis集群
李佳利的博客
05-23 277
一创建redis 集群 在51-58主机上运行redis服务，要求如下 在51-58主机上运行redis服务并设置的ip地址和端口：要求 可以使用/etc/init.d/redis_6379 脚本停止 启动服务 redisA 192.168.4.51 6351 redisB 192.168.4.52 6352 redisC 192.168.4.53...
Redis集群搭建与扩展教程
"Redis集群教程" 在深入了解Redis集群之前，我们先理解一下集群的基本概念。集群是一种分布式系统架构，通过将多个独立的服务器节点连接在一起，形成一个整体，以提供高可用性、扩展性和容错性。Redis集群是Redis...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值