理论+实验 详解redis集群部署

最新推荐文章于 2024-08-26 16:38:05 发布
最新推荐文章于 2024-08-26 16:38:05 发布
阅读量438 收藏
点赞数
分类专栏： 实验 理论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_ChenWJ/article/details/109511206
版权

目录

一 案列概述

1.1 单节点Redis服务器带来的问题

●单点故障，服务不可用
●无法处理大量的并发数据请求
●数据丢失一大灾难

1.2 解决方法

●搭建Redis集群

二 案例前置知识点

2.1 Redis集群介绍

●Redis集群是一个提供在多个Redis间节点间共享数据的程序集
●Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误
●Redis集群通过分区来提供一定程度的可用性，在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令

2.2 Redis集群的优势

●自动分割数据到不同的节点上
●整个集群的部分节点失败或者不可达的情况下能够继续处理命令

2.3 Redis集群的实现方法

●有客户端分片
●代理分片
●服务器端分片

2.4 Redis-Cluster数据分片

●Redis集群没有使用一致性hash，而是引入了哈希槽概念
●Redis集群有16384个哈希槽
●每个key通过CRC16校验后对16384取模来决定放置槽
●集群的每个节点负责一部分哈希槽
●以3个节点组成的集群为例

  1. 节点A包含0到5500号哈希槽
  2. 节点B包含5501到11000号哈希槽
  3. 节点C包含11001到16384号哈希槽
    ●支持添加或者删除节点
    ●添加删除节点无需停止服务
例如：
●如果想新添加个节点D，需要移动节点A，B，C中的部分槽到D上
●如果想移除节点A,需要将A中的槽移到B和C节点上，再将没有任何槽的A节点从集群中移除

2.5 Redis-Cluster的主从复制模型

●集群中具有A，B，C三个节点，如果节点B失败了，整个集群就会因缺少5501-11000这个范围的槽而不可用
●为每个节点添加一个从节点A1，B1，C1，整个群集便有三个master节点和三个slave节点组成，在节点B失败后，集群便会选举B1为新的主节点继续服务
●当B和B1都失败后，集群将不可用

三 实验步骤

3.1 实验环境

服务器IP地址
master20.0.0.101
master20.0.0.102
master20.0.0.103
salve20.0.0.104
salve20.0.0.105
salve20.0.0.106

3.2 实验步骤

################所有节点################
[root@localhost ~]# vim /etc/redis/6379.conf
 70 # bind 127.0.0.1 20.0.0.101     //注释掉，默认监听所有网卡
  89 protected-mode no             //关闭保护模式
 93 port 6379
 137 daemonize yes                   //以独立进程启动
 833 cluster-enabled yes            //开启群集功能
 841 cluster-config-file nodes-6379.conf           //群集名称文件设置
 847 cluster-node-timeout 15000                   //群集超时时间设置
 700 appendonly yes                           //开启aof持久化

[root@localhost utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
[root@localhost utils]# cd /var/lib/redis/6379/                 //正常启动后，目录下会多出两个文件
[root@localhost 6379]# ll
总用量 8
-rw-r--r-- 1 root root   0 11月  4 15:45 appendonly.aof 	//aof持久化文件           
-rw-r--r-- 1 root root  92 11月  4 15:45 dump.rdb
-rw-r--r-- 1 root root 114 11月  4 15:45 nodes-6379.conf	//节点首次启动生成的配置文件



#############仅在master上操作##################
[root@localhost 6379]# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3		//导入key文件

[root@localhost 6379]# cd /opt/                  //提前把复制的脚本传进来
[root@localhost opt]# ll
总用量 1964
drwxrwxr-x  6 root root     334 11月 20 2019 redis-5.0.7
-rw-r--r--  1 root root 1984203 11月  3 17:26 redis-5.0.7.tar.gz
drwxr-xr-x. 2 root root       6 3月  26 2015 rh
-rw-r--r--  1 root root   24535 11月  4 15:10 rvm-installer.sh
[root@localhost opt]# chmod +x rvm-installer.sh 
[root@localhost opt]# ./rvm-installer.sh 
（下载速度非常慢）
我们直接把下好的包源传进/opt目录中
[root@localhost profile.d]# cd /opt/
[root@localhost opt]# ll
总用量 3288
drwxrwxr-x   6 root root     334 11月 20 2019 redis-5.0.7
-rw-r--r--   1 root root 1984203 11月  3 17:26 redis-5.0.7.tar.gz
drwxr-xr-x.  2 root root       6 3月  26 2015 rh
-rwxr-xr-x   1 root root   24535 11月  4 15:10 rvm-installer.sh
drwxrwxr-x  20 root root    4096 10月 29 18:25 rvm-master
-rw-r--r--   1 root root 1351586 11月  4 16:29 rvm-master.tar.gz
[root@localhost opt]# tar zxvf rvm-master.tar.gz 
[root@localhost opt]# cd rvm-master/
[root@localhost rvm-master]# ./install 

[root@localhost opt]# source /etc/profile.d/rvm.sh		//执行环境变量

[root@localhost opt]# rvm list known		//列出Ruby可安装的版本

[root@localhost opt]# rvm install 2.4.1		//安装Ruby2.4.1版本

[root@localhost opt]# rvm use 2.4.1		//使用Ruby2.4.1版本
Using /usr/local/rvm/gems/ruby-2.4.1

[root@localhost opt]# ruby -v		//查看当前Ruby2.4.1版本
ruby 2.4.1p111 (2017-03-22 revision 58053) [x86_64-linux]

[root@localhost opt]# gem install redis		//再次安装redis

[root@localhost opt]# redis-cli --cluster create 20.0.0.101:6379 20.0.0.102:6379 20.0.0.103:6379 20.0.0.104:6379 20.0.0.105:6379 20.0.0.106:6379 --cluster-replicas 1		//创建群集
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 20.0.0.105:6379 to 20.0.0.101:6379
Adding replica 20.0.0.106:6379 to 20.0.0.102:6379
Adding replica 20.0.0.104:6379 to 20.0.0.103:6379
M: 1984fd3b2f1da1aec077acbe5a7e0a20e6f6f5cc 20.0.0.101:6379
   slots:[0-5460] (5461 slots) master
M: 0fab0b65a5ce2f9fba14fb2f60ddace7040d5225 20.0.0.102:6379
   slots:[5461-10922] (5462 slots) master
M: e26af716aac290e645ac67cfba0dac882ee3824e 20.0.0.103:6379
   slots:[10923-16383] (5461 slots) master
S: 60d823ddc62a23cec69004466273631ffc492e85 20.0.0.104:6379
   replicates e26af716aac290e645ac67cfba0dac882ee3824e
S: 366dfc6158823e0e26a4e74c396db4a60d4da352 20.0.0.105:6379
   replicates 1984fd3b2f1da1aec077acbe5a7e0a20e6f6f5cc
S: b46445ea1e8e030f7247884b3d68c110396f9fd9 20.0.0.106:6379
   replicates 0fab0b65a5ce2f9fba14fb2f60ddace7040d5225
Can I set the above configuration? (type 'yes' to accept): yes		//输入yes           
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.....
>>> Performing Cluster Check (using node 20.0.0.101:6379)
M: 1984fd3b2f1da1aec077acbe5a7e0a20e6f6f5cc 20.0.0.101:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: e26af716aac290e645ac67cfba0dac882ee3824e 20.0.0.103:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: b46445ea1e8e030f7247884b3d68c110396f9fd9 20.0.0.106:6379
   slots: (0 slots) slave
   replicates 0fab0b65a5ce2f9fba14fb2f60ddace7040d5225
S: 366dfc6158823e0e26a4e74c396db4a60d4da352 20.0.0.105:6379
   slots: (0 slots) slave
   replicates 1984fd3b2f1da1aec077acbe5a7e0a20e6f6f5cc
S: 60d823ddc62a23cec69004466273631ffc492e85 20.0.0.104:6379
   slots: (0 slots) slave
   replicates e26af716aac290e645ac67cfba0dac882ee3824e
M: 0fab0b65a5ce2f9fba14fb2f60ddace7040d5225 20.0.0.102:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.


[root@localhost ~]# redis-cli -c -h 20.0.0.101		//登录redis
20.0.0.101:6379> set name zhangsan
-> Redirected to slot [5798] located at 20.0.0.102:6379
OK
20.0.0.102:6379> keys *
1) "name"
20.0.0.101:6379> get name
-> Redirected to slot [5798] located at 20.0.0.102:6379
"zhangsan"
20.0.0.102:6379> exit
[root@localhost ~]# redis-cli -c -h 20.0.0.102
20.0.0.102:6379> get name
"zhangsan"
20.0.0.102:6379> exit
[root@localhost ~]# redis-cli -c -h 20.0.0.103
20.0.0.103:6379> get name 
-> Redirected to slot [5798] located at 20.0.0.102:6379
"zhangsan"
20.0.0.102:6379> exit
[root@localhost ~]# redis-cli -c -h 20.0.0.104
20.0.0.104:6379> get name 
-> Redirected to slot [5798] located at 20.0.0.102:6379
"zhangsan"
20.0.0.102:6379> exit
[root@localhost ~]# redis-cli -c -h 20.0.0.105
20.0.0.105:6379> get name 
-> Redirected to slot [5798] located at 20.0.0.102:6379
"zhangsan"
20.0.0.102:6379> exit
[root@localhost ~]# redis-cli -c -h 20.0.0.106
20.0.0.106:6379> get name 
-> Redirected to slot [5798] located at 20.0.0.102:6379
"zhangsan"
//说明实现集群功能

3.2 删除集群

1. 删除进程
[root@localhost 6379]# ps -ef | grep redis
[root@localhost 6379]# pkill -9 redis

2. 删除文件
[root@localhost ~]#  cd /var/lib/redis/6379/
[root@localhost 6379]# ll
总用量 8
-rw-r--r-- 1 root root   0 11月  4 19:16 appendonly.aof
-rw-r--r-- 1 root root  92 11月  5 08:36 dump.rdb
-rw-r--r-- 1 root root 131 11月  4 19:16 nodes-6379.conf
[root@localhost 6379]# rm -rf *


3. 重启redis
[root@localhost 6379]# /etc/init.d/redis_6379 restart
Stopping ...
Could not connect to Redis at 127.0.0.1:6379: Connection refused
Redis stopped
/var/run/redis_6379.pid exists, process is already running or crashed
[root@localhost 6379]# cd /var/run/
[root@localhost run]# rm -rf redis_6379.pid 
[root@localhost run]# /etc/init.d/redis_6379 restart
//然后就可以重新创建集群了
Mr_ChenWJ
关注
专栏目录
Redis集群模式详解与部署
背锅神童的博客
05-17 658
Redis的高可用解决方案，主从复制架构、哨兵模式架构、集群模式架构
Redis-cluster集群
weixin_43304804的博客
01-08 605
Redis自带Cluster集群的部署与基础使用 Redis集群特性 用于解决redis扩容问题，既可以高可用，又可以扩容 redis cluster集群方式支持主从自动切换 redis cluster集群只有一个库，单例或者主从的话有多个库 redis cluster集群去中心化，只要通过其中一个端口连接即可 redis cluster集群，只有一个db库，不支持多库 redis自带集群搭建，...
如何部署Redis ？
XuMin6的博客
03-22 1296
如何部署Redis ？ 一：定义 ​ Redis（remote dictionary server，远程字典服务）是一个开源的使用ANSI C语言编写、遵守BSD协议，支持网络，可基于内存可持久化的日志型、key-Value的数据库，并提供多种语言的API。它通常被称为结构服务器，因为值（value）可以是字符串（string），哈希（hash），列表（list），集合（sets）和有...
如何部署Redis集群？
chengu04的博客
09-10 575
Redis Cluster是一个无中心的结构，每个节点都保存数据和整个群集的状态。每个节点都会保存其他节点的信息，知道其他节点所负责的槽，并且会与其他节点定时发送心跳信息，能够及时感知群集中异常的节点。
Redis集群搭建——新手上路
weixin_43197674的博客
06-02 247
在开始redis集群搭建之前，我们先简单回顾一下redis单机版的搭建过程 1.下载redis压缩包，然后解压压缩文件； 进入到解压缩后的redis文件目录（此时可以看到Makefile文件），编译redis源文件； 把编译好的redis源文件安装到/usr/local/redis目录下，如果/local目录下没有redis目录，会自动新建redis目录； 进入/usr/local/redis/bin目录，直接./redis-server启动redis（此时为前端启动redis）； 将redis启动方式改
Redis 原理与配置优化（五种数据类型+常用键设置）
著名艺术家
11-04 923
非关系型数据库之Redis关系数据库与关系型数据库非关系型数据库产生背景关系数据库与非关系型数据库的区别Redis简介Redis的相关配置redis常规命令redis-cli命令行工具key相关命令redis-benchmark测试工具Redis多数据库操作安装redis 关系数据库与关系型数据库 ■ 关系型数据库： 一个结构化的数据库，创建在关系模型基础上 一般面向于记录 包括：Oracle、MySQL、SQL Server、Microsoft Access、DB2等 ■ 非关系型数据库 除了主流的
Redis集群搭建
CN_PanHao的博客
09-11 170
文章目录Redis集群介绍Redis集群的优势实现方法Redis-Cluster数据分片Redis-Cluster的主从复制模型 Redis集群介绍 Redis集群是一个提供在多个Redis间节点间共享数据的程序集 Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误 Redis集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令 Redis集群的优势 自动分割数据
java面试整理（+Redis21问）
kkkllllss的博客
03-26 227
一、集群、分布式、微服务的理解 1、集群是个物理形态，分布式是个工作方式。 分布式：一个业务分拆多个子业务，部署在不同的服务器上 集群：同一个业务，部署在多个服务器上 2、分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起，实现同一业务。 分布式的每一个节点，都完成不同的业务，一个节点垮了，那这个业务就不可访问了。分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式的。 举例：
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
java面试整理（Redis21问）
kkkllllss的博客
03-29 301
一、集群、分布式、微服务的理解 1、集群是个物理形态，分布式是个工作方式。 分布式：一个业务分拆多个子业务，部署在不同的服务器上 集群：同一个业务，部署在多个服务器上 2、分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起，实现同一业务。 分布式的每一个节点，都完成不同的业务，一个节点垮了，那这个业务就不可访问了。分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式的。 举例：
NoSQL之Redis集群
Cpureman的博客
09-09 228
文章目录案例概述Redis集群介绍Redis群集实验实验环境推荐步骤 案例概述 单节点Redis服务器带来的问题 ●单点故障，服务不可用 ●无法处理大量的并发数据请求 ●数据丢失–大灾难 解决方法 ●搭建Redis集群 Redis集群介绍 ●Redis集群是一个提供在多个Redis间节点间共享数据的程序集 ●Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误 ●Redis集群通过分区来提供一定程序的可用性
手动搭建高可用的Redis5.0分片集群，从理论到实践，超详细
Sicimike的博客
04-25 3403
本文通过理论+实践，图文的方式，详细讲解如何手动搭建一个高可用、易扩展的redis分片集群。看完本文后，你也能搭建一个用于生产的高性能redis集群。
实验二十九 Redis部署与简单使用
WistWill的博客
05-06 1010
实验指导： 29.1 实验目的 1．熟悉了解CentOS系统； 2．学习从C++源代码编译成可执行文件并安装运行； 3．学习安装Redis； 4．学习配置Redis； 5．学会简单使用Redis。 29.2 实验要求 在client机上，安装配置并简单使用Redis。 29.3 实验原理 29.3.1 CentOS 简介 全称为Community Enterprise Ope...
redis 部署过程
tomspcc的专栏
11-29 192
第一部分理论 1、redis的工作原理及作用 哨兵是用于监控redis集群HA中MASTER状态的工具，在2.4以上版本已集成 1）master状态的监控 2）如果发现master异常，则进行master-slave切换，把其中一台slave作为master上线，原master下线作为slave 3）master-slave切换后，相关配置发生变化，master_redis.conf ,slav...
redis实操＋理论
KAITUOZHEMJ的博客
03-25 341
一：redis单机模式 1).解压 Redis安装包 [root@localhost src]# tar -zxvf redis-5.0.4.tar.gz 看情况执行： yum install gcc-c++ -y //执行命令可完成安装 make MALLOC=libc 2：安装 3.修改redis的配置文件（展现行号 :set nu） （1）: 注释IP绑定 （2）: 关闭保护模式 （3）开启后台启动 4：redis服务器端相关命令 a....
Redis数据库的安装与基础命令
weixin_41648905的博客
11-03 1216
Redis数据库基础非关系型数据库产生的背景优点Redis的安装部署安装程序Redis支持五种数据类型: string (字符串) , hash (哈希) , list (列表) , set (集合)及zset(sorted set: 有序集合)。String (字符串)Hash (哈希字典)List (列表)Set(集合)zset(sorted set: 有序集合)多数据库概念key常规管理 非关系型数据库产生的背景 随着技术不断发展，数据量海量的增加 对数据库高并发的读写要求越来越高 对海量数据高效存储
redis集群的理解和搭建
3476511424@qq.com的博客
11-14 239
Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。启动所有服务，确保nodes-xxxx.conf文件都能够正常生成。需要在redis的安装目录下面进行配置。内容如下，端口号记得更改。创建六个文件：分别是。查看集群中节点的信息。
Redis数据库系列(七)、在windows上搭建redis集群(redis-cluster)
一宿君
05-18 618
第七章、在windows上搭建redis集群(redis-cluster) 7.1、所需软件 Redis、Ruby语言运行环境、Redis的Ruby驱动redis-xxxx.gem。 7.2、规划集群 集群规划有三分节点的集群，每个节点有一主一从，需要六台redis服务器。 我们用Redis-x64-5.0.10.zip版本做演示，redis解压后，再复制出5份，配置三主三从的集群。 由于redis默认的端口号是6379，所以另外五台redis服务器的端口一次改为6380、6381、6382、6383、6
Nosql数据库redis集群配置详解
最新发布
strongjcl的博客
08-26 828
环境介绍：一主双从：10（redis-node1）主，20（redis-node2） 30（redis-node3）从——使用的是红帽9.1系统源码安装redis[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz——先将压缩包解压[root@redis-node1 redis-7.4.0]# dnf install make gcc initscripts -y——安装编译工具。
Redis集群部署与Spring集成详解
本文档详细介绍了如何在Linux系统（如CentOS 7.0 64位）上部署Redis集群以及实现session共享。首先，我们来概述一下关键知识点： 1. **Redis集群基础**： Redis集群由多个Redis实例组成，通常至少包含三个节点，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值