在Centos7中模拟实现redis的分布式集群

最新推荐文章于 2024-07-18 16:30:39 发布
最新推荐文章于 2024-07-18 16:30:39 发布
阅读量161 收藏
点赞数
文章标签： redis 分布式 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41079264/article/details/125694511
版权

分布式集群架构

sentinel弊端：内存的瓶颈

原来的集群是非分布式的：有集群中的redis服务器都是存储形同的内容！会做成内存的冗余！虽然有高可用性，但是内存会有浪费

所以我们才用分布式的集群架构！

说明：

​ 1.伪集群：一台服务器，启动了6个redis服务、通过端口号区分（7001~7006）

​ 2.真集群：6个节点或者和3个节点

伪集群（一主两从）
在这里插入图片描述

伪集群（一主两从）+哨兵
在这里插入图片描述分布式集群
在这里插入图片描述

replication

说明:

1：伪集群，一台服务器，启动6个redis服务、通过端口区分（7001~7006）

2：真集群：6个节点或者3个节点

分布式集群的基本原理：

​ 实质上就是如图所示：由原来的一主两从加上设置的哨兵，哨兵不存储东西，只负责监视和自动故障迁移！

由原来的三个服务都存储一样的数据，假设数据量是100G、那么他们三台所有的实质的数据量就是100G

​ 但是图三中的分布式的集群架构实现了纵向的高可用性和横向的内存扩展！！！共6台redis，分为三个主和三个从，每一个主都对应一个自己的从redis，每一对的主从都有100G的内存，实现了自身的好可用和横向的内存的扩展，实质的内存存储量能达到300G！！

​ 分布式的基本存储原理就是：假设有16384个插槽slot，数据的存储是通过hash算法来实现的，为每一条的数据在set的时候通过hash算法；用hash的key跟16384 进行取余得到的数目是一个0到16383的区间内数，又因为是三对redis服务来进行横向的扩展的，16384的数目会按照算法分配给三对服务redsi指定的数据区间，set的key跟16384取余后的结果是多少，这个结果在哪个区间就会将数据存储到对应的redis的对服务器上！！！

进行取数据的时候：因为get和set都是用的同一个hash算法来进行对同一key的跟16484的取余运算，所以结果是相同的，就能够锁定到set时所存储的redis的服务器！实现对数据的取！！

分布式集群搭建

1、后台杀掉所有的redis的进程

pkill -9 redis
#验证一下：
ps -ef|grep redis

在这里插入图片描述后台没有redis的进程了！！

2、把redis/data下的所有的数据文件清空（以前应该是存储的RDB和AOF数据文件）

在指定的目录下：

rm -rf ./*

在这里插入图片描述

3、在redis文件夹下创建cluster-conf目录！

mkdir cluster-conf

在这里插入图片描述

4、从源码包复制redis.conf到指定目录

[root@zhuxm01 server]# cp redis-6.0.8/redis.conf /export/server/redis/cluster-conf/

在这里插入图片描述

在redis/cluster-conf文件夹下创建6个文件redis7001–7006配置文件

vi redis7001.conf

第二步：分别配置每个redis的配置文件，详细配置如下，注意区分端口

include /export/server/redis/cluster-conf/redis.conf
port 7001
#redis的进程文件
pidfile /var/run/redis7001.pid
#rdb文件名
dbfilename redis7001.rdb
#aof文件名
appendfilename "appendonly7001.aof"
# 集群
cluster-enabled yes
# 生成的node文件
cluster-config-file nodes7001.conf
#守护进程
daemonize yes
#aof、rdb文件存储目录
dir /export/server/redis/data/
bind 0.0.0.0

在这里插入图片描述

#如果redis设置密码，加上如下配置
requirepass "123456"
masterauth "123456"

在这里插入图片描述

第三步：启动每个redis服务
在redis/bin/目录下！！！

[root@zhuxm01 redis]# ./redis-server /export/server/redis/cluster-conf/redis7001.conf 
[root@zhuxm01 redis]# ./redis-server /export/server/redis/cluster-conf/redis7002.conf 
[root@zhuxm01 redis]# ./redis-server /export/server/redis/cluster-conf/redis7003.conf 
[root@zhuxm01 redis]# ./redis-server /export/server/redis/cluster-conf/redis7004.conf 
[root@zhuxm01 redis]# ./redis-server /export/server/redis/cluster-conf/redis7005.conf 
[root@zhuxm01 redis]# ./redis-server /export/server/redis/cluster-conf/redis7006.conf 
[root@zhuxm01 redis]# ps -ef|grep redis
root      11186      1  0 09:51 ?        00:00:00 redis-server 192.168.234.131:7001 [cluster]
root      11195      1  0 09:51 ?        00:00:00 redis-server 192.168.234.131:7002 [cluster]
root      11203      1  0 09:51 ?        00:00:00 redis-server 192.168.234.131:7003 [cluster]
root      11212      1  0 09:51 ?        00:00:00 redis-server 192.168.234.131:7004 [cluster]
root      11220      1  0 09:51 ?        00:00:00 redis-server 192.168.234.131:7005 [cluster]
root      11229      1  0 09:51 ?        00:00:00 redis-server 192.168.234.131:7006 [cluster]
root      11240   7691  0 09:52 pts/0    00:00:00 grep --color=auto redis
[root@zhuxm01 redis]#

![在这里插入图片描述](https://img-blog.csdnimg.cn/27a34967864f4f529f738dc47e51f420.png

在这里插入图片描述在这里插入图片描述

第四步：创建集群

#在redis/bin下面执行的命令！注意要用自己虚拟机的ip地址！！我的是192.168.37.126
./redis-cli --cluster create 192.168.37.126:7001 \
192.168.37.126:7002 \
192.168.37.126:7003 \
192.168.37.126:7004 \
192.168.37.126:7005 \
192.168.37.126:7006 \
--cluster-replicas 1 

#最后的那个cluster-replicas 1 指的是每一个主节点都有一个从节点

在这里插入图片描述输入yes同意其分配的策略！

自动帮我们按照hash算法分配好了三对的主从redis服务器 和器对应的卡槽的区间；

>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.234.131:7005 to 192.168.234.131:7001
Adding replica 192.168.234.131:7006 to 192.168.234.131:7002
Adding replica 192.168.234.131:7004 to 192.168.234.131:7003
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 7e88abdfa256140ab11dc3c2173b00c5868a0479 192.168.234.131:7001
   slots:[0-5460] (5461 slots) master
M: e5845e3494d58b5400fa21d4b3c34ccafce43024 192.168.234.131:7002
   slots:[5461-10922] (5462 slots) master
M: 5dbec321866665aceb8ae0c6791e2ded39464368 192.168.234.131:7003
   slots:[10923-16383] (5461 slots) master
S: 8ad824d12b9f1a16a75e227266e9940aa8610422 192.168.234.131:7004
   replicates 5dbec321866665aceb8ae0c6791e2ded39464368
S: 8ca84b32509e178181585206eaa736c6323dbd3a 192.168.234.131:7005
   replicates 7e88abdfa256140ab11dc3c2173b00c5868a0479
S: 7a518a28534593c44694215e3a83b3311704e4d4 192.168.234.131:7006
   replicates e5845e3494d58b5400fa21d4b3c34ccafce43024
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster

第五步：连接集群

在redis/bin目录下

#别忘了-c 按照集群  当用的虚拟机的本机连接本机的redis的服务时不需要加-h和后面的内容  --raw 是不修改编码格式的方式运行，这样可以显示中文不乱码
./redis-cli -h 192.168.37.126 -p 7002 -c  --raw
#连接上客户端后可以执行命令查看redis节点详情
info replication

在这里插入图片描述
可以看到配置信息中：

当前连接的端口的redis的角色是master

他的从redis是7004端口

测试集群

测试集群的hash分配测试当我们在7002端口进行set key时，hash算法计算key并与总卡槽数16384进行取余得到数的区间在分配的7001的端口上，于是就将数据存储在了7001的端口上，我们要get这个key会自动跳转到7001的端口get到这个key！！！
hash算法的分配存储的集群实现！

WindMaill
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CentOS 7 单机安装Redis Cluster（3主3从）
csdn_lulinwei的博客
03-10 341
为了节省机器，我们直接把6个Redis实例安装在同一台机器上（3主3从），只是使用不同的端口号。 机器IP 192.168.8.207 更新：新版的cluster已经不需要通过ruby脚本创建，删掉了ruby相关依赖的安装 cd /usr/local/soft/redis-5.0.5 mkdir redis-cluster cd redis-cluster mkdir 7291 7292 7293 7294 7295 7296 复制redis配置文件到7291目录 cp /usr/loc...
Centos7 三台主机（配置三主三从）Redis分布式集群
12-20
在本文中，我们将详细讨论如何在CentOS 7环境下配置一个由三台主机组成的Redis分布式集群，每台主机上都有一个主节点和一个从节点，总计六个节点。这个过程涵盖了安装Redis、创建服务、配置集群、启动集群以及测试...
Centos7利用docker部署redis、Mysql和RabbltMQ
weixin_43364084的博客
12-31 400
准备工作 检查是否安装yum yum -v 如果存在就更新 yum update 若没有安装yum，则去下载一个并解压 wget http://yum.baseurl.org/download/3.2/yum-3.2.28.tar.gz tar xvf yum-3.2.28.tar.gz 进入目录，运行安装 cd yum-3.2.28 yummain.py install yum ...
PigyChan_LeetCode 430. 扁平化多级双向链表
qq_43596544的博客
10-29 142
430. 扁平化多级双向链表 难度中等 多级双向链表中，除了指向下一个节点和前一个节点指针之外，它还有一个子链表指针，可能指向单独的双向链表。这些子列表也可能会有一个或多个自己的子项，依此类推，生成多级数据结构，如下面的示例所示。 给你位于列表第一级的头节点，请你扁平化列表，使所有结点出现在单级双链表中。 示例 1： 输入：head = [1,2,3,4,5,6,null,null,null,7,8,9,10,null,null,11,12] 输出：[1,2,3,7,8,11,12,9,10,4,5,6]
centos7下超详细搭建Redis集群
bug的博客
06-25 4866
本篇redis集群搭建博客是基于redis单节点安装完成后的，如未安装单节点小伙伴可参考这篇博客：https://blog.csdn.net/weixin_44422604/article/details/106876756 一、redis集群( 缓存集群 )搭建 1.原来已经安装好了node1上的redis，现在先停止node1的redis服务，准备配置成集群的环境。 命令：service redisd stop 查看redis进程，确认其关闭，命令：ps aux|grep redisd 2.分别在其他
Centos7搭建redis4.0.9伪分布式集群环境
weixin_39630377的博客
03-30 2287
使用系统是Centos7 redis版本：4.0.9 gem版本：4.0.0 ruby版本：2.5.1 1.下载redis 上图是从redis官网扒下来的，不过单机版安装使用也没啥难度，就不谈了，make的时候要有C++编译器，可以get set啥的就算是装好了 yum -y install gcc gcc-c++ 集群的话要安装ruby，这里安装的是2.5.1版本的，注意如
详解CentOS 6.5搭建Redis3.2.8单机分布式集群
09-09
在本文中，我们将深入探讨如何在CentOS 6.5操作系统上搭建Redis 3.2.8的单机分布式集群。这个过程对于那些希望利用Redis的高性能存储能力并实现数据冗余和高可用性的系统管理员和开发者来说至关重要。Redis是一个...
Linux(Centos7)下redis5集群搭建和使用说明详解
09-09
在Linux(CentOS7)环境下搭建Redis 5集群是一个重要的任务，这有助于提高数据的冗余性和可用性。本文将详细介绍如何在单台服务器上设置一个包含6个节点的伪分布式Redis集群。 首先，让我们了解Redis 5的一个关键变化...
5、分布式缓存Redis集群安装
09-15
本章节主要介绍了在CentOS 7系统下安装和配置Redis集群的步骤，包括单机安装Redis、Redis主从集群和Redis分片集群等内容。 单机安装Redis 在安装Redis之前，需要安装必要的依赖项，包括gcc和tcl。然后，将Redis...
centos7下redis伪集群安装
牵佳一诺的博客
07-26 681
在redis主从复制安装的基础上。我们可以实现集群安装。所谓集群，redis需要3主3从以上。我们在一台虚机上就是用6379至6384这6个端口。 配置文件中在《redis主从复制安装》基础上增加的修改是 1、cluster-enabled 设为true； 2、bind 设为192.168.48.131 127.0.0.1（前者为本虚机IP）目的是为了后面spring和redis集群时能够连
记一次 Centos7.2 搭建 Redis v5.0-单机版-伪集群
一花一世界
06-25 864
一、基本信息介绍 https://blog.csdn.net/llwy1428/article/details/93612187 二、单机版-伪集群 安装部署 官网集群搭建（参考） https://redis.io/topics/cluster-tutorial 1、编译安装 参考 https://blog.csdn.net/llwy1428/article/details/936...
安装ruby-2.3.1.tar.gz
fyihdg的专栏
02-05 2311
tar -zxvf ruby-2.3.1.tar.gz a, cd ruby-2.3.1 b, ./configure -prefix=/usr/local/ruby c, make && make install //过程会有点慢，大概5－10分钟 d, 然后gem install -l redis-3.3.0.gem //若没有gem需要安装yum in
Centos7上部署安裝Redis集群(单机多节点)
yshir
09-06 368
安装环境 Centos7 redis4.0.11 这里将安装官网的要求，部署6个节点，三个主节点，三个从节点。 复制配置 通过复制六份redis.conf配置文件，修改各个配置文件端口号来启动多个实例。规定六个实例的端口号分别为：7000，7001，7002，7003，7004，7005； 1. 首先在redis的安装目录下创建一个文件夹cluster用于存放六份配置文件 mkdir cluster cd cluster mkdir 7000 7001 7002 7003 7004 7.
全网最详细Centos7搭建Redis集群
weixin_55076626的博客
12-05 1195
没有服务器的话，虚拟机也一样相关网址：CentOS7安装Redis完整教程_长头发的程序猿的博客-CSDN博客_centos7 redis安装 重启redis： 4、修改“47.100.40.145（从机）”的配置文件 快捷键“Esc+/”，粘贴“If the master is password”,按下回车： 重启redis： 与主机建立主从关系： 5、修改“47.101.36.71（从机）”的配置文件 快捷键“Esc+/”，粘贴“If the maste
CentOS 安装redis(分布式)
江南烟雨゛断桥殇╮的博客
10-11 287
一、安装实操 Redis下载地址     http://learning.happymmall.com/%E4%BA%8C%E6%9C%9F%E9%9B%86%E7%BE%A4%E5%8F%8A%E7%BC%93%E5%AD%98%E5%88%86%E5%B8%83%E5%BC%8FJava%E7%AB%AF/redis-2.8.0-linux-mac.tar.gz   1、下载Redis...
Centos7.9搭建 redis集群
fyihdg的专栏
05-23 262
Centos7.9搭建 redis集群
Redis的Cluster集群搭建(CentOS7环境，Redis6.0.9)
杨小扬的专栏
12-06 862
目录 一、介绍 二、部署Redis的Cluster集群 1、编译完成Redis文件 2、新建准备好6个文件夹 3、拷贝redis执行文件和conf 4、修改redis.conf文件 5、创建启动文件start_all.sh 6、创建停止文件stop_all.sh 7、启动节点 8、创建集群 三、验证集群正常工作 参考文献： 一、介绍 在单机版的Redis中，每个Master之间是没有任何通信的，所以我们一般在Jedis客户端或者Codis这样的代理中做Pre-shardi..
redis setnx使用方法
servepeople的博客
07-17 209
SETNX是Redis中的一个命令，用于设置键的值，只有当键不存在时才进行设置。如果键已经存在，则不进行任何操作。
Redis新数据类型
最新发布
爱吃Java的羊的博客
07-18 123
命令Bitmaps与set对比
"CentOS7下的Redis集群安装教程
Redis主从集群是指在Redis中存在一个主节点和多个从节点，主节点负责写操作和同步数据，从节点负责读操作和备份数据，通过主从复制来实现数据的同步和数据的高可用性。Redis主从集群的结构包括一个主节点和多个从...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值