Linux下Redis分片集群搭建和水平扩容

最新推荐文章于 2022-03-23 11:29:58 发布
最新推荐文章于 2022-03-23 11:29:58 发布
阅读量124 收藏
点赞数 2
分类专栏： Redis Linux 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35059264/article/details/118105235
版权

勿以浮沙筑高台

Linux搭建集群

搭建环境

  • 创建集群文件夹

    mkdir -p /usr/local/redis-cluster  
mkdir -p /usr/local/redis-cluster

  • copy源conf文件到cluster目录下

    [root@work1 redis-cluster]# cp ~/redis-6.0.7/redis.conf ./

  • 修改配置文件内容

    92 行 port 6380   #端口号
247 行 pidfile /var/run/redis_6380.pid  #pidfile文件
260 行 logfile "/usr/local/redis/logs/6380.log"   #配置文件地址
342 行 dbfilename dump_6380.rdb   #rdb文件
appendonly yes   #开启AOF
cluster-enabled yes   #开启集群
cluster-config-file nodes-6379.conf   集群配置文件读取
# 后端访问开启
bind 0.0.0.0
protected-mode no
daemonize yes

  • 将配置文件copy到六个文件夹中。

    [root@work1 redis-cluster]# echo 8001 8002 8003 8004 8005 8006 | xargs -n 1 cp -v /usr/local/redis-cluster/redis.conf
"/usr/local/redis-cluster/redis.conf" -> "8001/redis.conf"
"/usr/local/redis-cluster/redis.conf" -> "8002/redis.conf"
"/usr/local/redis-cluster/redis.conf" -> "8003/redis.conf"
"/usr/local/redis-cluster/redis.conf" -> "8004/redis.conf"
"/usr/local/redis-cluster/redis.conf" -> "8005/redis.conf"
"/usr/local/redis-cluster/redis.conf" -> "8006/redis.conf"

  • 批量替换修改6个文件夹的配置文件。

    格式: sed -i “s/查找字段/替换字段/g” grep 查找字 段 -rl 路径
    sed -i “s/oldstring/newstring/g” grep oldstring -rl yourdir

    [root@work1 redis-cluster]# sed -i "s/6379/8001/g" `grep 6379 -rl /usr/local/redis-cluster/8001/redis.conf`
[root@work1 redis-cluster]# sed -i "s/6379/8002/g" `grep 6379 -rl /usr/local/redis-cluster/8002/redis.conf`
[root@work1 redis-cluster]# sed -i "s/6379/8003/g" `grep 6379 -rl /usr/local/redis-cluster/8003/redis.conf`
[root@work1 redis-cluster]# sed -i "s/6379/8004/g" `grep 6379 -rl /usr/local/redis-cluster/8004/redis.conf`
[root@work1 redis-cluster]# sed -i "s/6379/8005/g" `grep 6379 -rl /usr/local/redis-cluster/8005/redis.conf`
[root@work1 redis-cluster]# sed -i "s/6379/8006/g" `grep 6379 -rl /usr/local/redis-cluster/8006/redis.conf`

  • 指定配置文件启动

    /usr/local/redis/bin/redis-server      /usr/local/redis-cluster/8001/redis.conf

    [root@work1 redis-cluster]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8001/redis.conf
1540:C 22 Jun 2021 14:49:32.130 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1540:C 22 Jun 2021 14:49:32.130 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=1540, just started
1540:C 22 Jun 2021 14:49:32.130 # Configuration loaded
[root@work1 redis-cluster]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8002/redis.conf
1616:C 22 Jun 2021 14:51:25.885 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1616:C 22 Jun 2021 14:51:25.885 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=1616, just started
1616:C 22 Jun 2021 14:51:25.885 # Configuration loaded
[root@work1 redis-cluster]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8003/redis.conf
1621:C 22 Jun 2021 14:51:29.075 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1621:C 22 Jun 2021 14:51:29.075 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=1621, just started
1621:C 22 Jun 2021 14:51:29.075 # Configuration loaded
[root@work1 redis-cluster]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8005/redis.conf
1626:C 22 Jun 2021 14:51:31.523 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1626:C 22 Jun 2021 14:51:31.523 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=1626, just started
1626:C 22 Jun 2021 14:51:31.523 # Configuration loaded
[root@work1 redis-cluster]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8004/redis.conf
1664:C 22 Jun 2021 15:02:18.445 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1664:C 22 Jun 2021 15:02:18.445 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=1664, just started
1664:C 22 Jun 2021 15:02:18.445 # Configuration loaded
[root@work1 redis-cluster]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8006/redis.conf
1631:C 22 Jun 2021 14:51:34.599 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1631:C 22 Jun 2021 14:51:34.599 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=1631, just started
1631:C 22 Jun 2021 14:51:34.599 # Configuration loaded

  • ps -ef | grep redis输入指令查看执行结果成功 在这里插入图片描述

配置主从

  • 输入命令自动配置主从，cluster-replicas 1，这里的1代表集群后面几个从，这里设置位1个从，代表2，2一组
    /usr/local/redis/bin/redis-cli --cluster create --cluster-replicas 1
192.168.31.109:8001 192.168.31.109:8002 192.168.31.109:8003 192.168.31.109:8004 
192.168.31.109:8005 192.168.31.109:8006
  • 配置成功，8004挂到了8002，8005挂到了8003下
    在这里插入图片描述

验证

  • 配置集群模式，每次登录都要设置集群模式
/usr/local/redis6/src/redis-cli -c -h 192.168.31.109 -p 8001    #每次登录都要设置集群模式

  • 验证集群 节点信息 cluster info 查看集群信息 cluster nodes 查看节点信息

     192.168.31.109:8002> cluster info
 cluster_state:ok
 cluster_slots_assigned:16384
 cluster_slots_ok:16384
 cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:2
cluster_stats_messages_ping_sent:8783
cluster_stats_messages_pong_sent:8154
cluster_stats_messages_meet_sent:1
cluster_stats_messages_sent:16938
cluster_stats_messages_ping_received:8154
cluster_stats_messages_pong_received:8784
cluster_stats_messages_received:16938
192.168.31.109:8002> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:2
cluster_stats_messages_ping_sent:8791
cluster_stats_messages_pong_sent:8161
cluster_stats_messages_meet_sent:1
cluster_stats_messages_sent:16953
cluster_stats_messages_ping_received:8161
cluster_stats_messages_pong_received:8792
cluster_stats_messages_received:16953

  • 数据库验证,

    [root@work1 bin]# ./redis-cli -c  -h 192.168.31.109 -p 8001   #登录要指定集群模式
192.168.31.109:8001> set name 123     #写入一个节点
-> Redirected to slot [5798] located at 192.168.31.109:8002    #发生跳转到8002
OK

192.168.31.109:8006> get name
-> Redirected to slot [5798] located at 192.168.31.109:8002    #发生跳转到8002
"123"

Redis水平扩展容

  • 新建8007和8008文件夹，并按之前的方法修改配置文件

    [root@work1 redis-cluster]# cp redis.conf ./8007
[root@work1 redis-cluster]# cp redis.conf ./8008

  • 启动2台服务器

    [root@work1 bin]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8008/redis.conf
2052:C 22 Jun 2021 18:19:00.340 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2052:C 22 Jun 2021 18:19:00.340 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=2052, just started
2052:C 22 Jun 2021 18:19:00.340 # Configuration loaded
[root@work1 bin]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/8007/redis.conf
2032:C 22 Jun 2021 18:18:26.940 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
2032:C 22 Jun 2021 18:18:26.940 # Redis version=6.0.7, bits=64, commit=00000000, modified=0, pid=2032, just started
2032:C 22 Jun 2021 18:18:26.940 # Configuration loaded

  • 新增节点8007,记住后面是8001

    /usr/local/redis/bin/redis-cli --cluster add-node 192.168.31.109:8007 192.168.31.109:8001

  • 重新分配Hash槽，需要对节点进行编写，需要选择分配的Hash槽和接收节点，接收节点信息就算前面的节点信息，最后输入done完成

    [root@work1 bin]# /usr/local/redis/bin/redis-cli --cluster reshard 192.168.31.109:8001    #重新分配Hash槽
>>> Performing Cluster Check (using node 192.168.31.109:8001)
M: 787af44d9ca8338ac2bc312430b83ac72628ac3a 192.168.31.109:8001
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 541ecb4566102ee61b4550db37e726aeca94e737 192.168.31.109:8005
   slots: (0 slots) slave
   replicates cb2002b7bf11991e467e9096b362dfd6daab60fd
M: ae715962269cf2d9122d956253d180e90dcc8293 192.168.31.109:8002
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: c5d2affde575df33b4a72f04b29e951d1e245609 192.168.31.109:8006
   slots: (0 slots) slave
   replicates 787af44d9ca8338ac2bc312430b83ac72628ac3a
M: cb2002b7bf11991e467e9096b362dfd6daab60fd 192.168.31.109:8003
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 6081324f55e7e933709669a65beba5ad3c793f6c 192.168.31.109:8007
   slots: (0 slots) master
S: c8d1034709353d4218560aa24cb4e21a31a009c4 192.168.31.109:8004
   slots: (0 slots) slave
   replicates ae715962269cf2d9122d956253d180e90dcc8293
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)? 999
What is the receiving node ID? cb2002b7bf11991e467e9096b362dfd6daab60fd
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1: done   
*** No source nodes given, operation aborted.

  • 将从节点8008添加进去

    /usr/local/redis/bin/redis-cli --cluster add-node 192.168.31.109:8008 192.168.31.109:8001

  • 查看节点

    cluster neodes

    发现这里的8008是Master，8007也是Master
    在这里插入图片描述

  • 登录8008，设置跟随8007。后面的是Node ID

    [root@work1 bin]# /usr/local/redis/bin/redis-cli -c -p 8008
127.0.0.1:8008> cluster replicate  6081324f55e7e933709669a65beba5ad3c793f6c
OK

  • 查看Nodes状态
    成功!!!，8008是Salve在这里插入图片描述

负差生
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Linux学习-Redis分片集群
丢爸
11-10 455
分片集群
Redis内存爆了怎么办？在线等挺急的
ITMuch的专栏
11-07 928
点击上方IT牧场，选择置顶或者星标技术干货每日送达Redis在高并发系统中是不可或缺的中间件，由于它本身的高性能特性可以帮助我们解决很多业务场景。同时Redis也是运维工程师重点关...
Redis cluster集群扩容缩容原理
hellozhxy的博客
10-19 1591
1. Redis Cluster集群扩容 1.1 扩容原理 redis cluster可以实现对节点的灵活上下线控制 3个主节点分别维护自己负责的槽和对应的数据，如果希望加入一个节点实现扩容，就需要把一部分槽和数据迁移和新节点 每个master把一部分槽和数据迁移到新的节点node04 1.2 扩容过程 准备新节点 准备两个配置文件redis_6379.conf和redis_6380.conf daemonize yes port 6379
Elasticsearch 7.X 集群分片 及 水平扩容 讲解
小毕超博客
12-30 6733
一、ES 中的分片 上篇文章我们讲解了ES 7.X 的集群环境搭建，本篇主要讲解下ES的分片和扩容。 上篇文章地址：https://blog.csdn.net/qq_43692950/article/details/122244793 一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，每一份就称
Redis 学习笔记（十五）Redis Cluster 集群扩容与收缩
热门推荐
men_wen的博客
06-07 3万+
Redis Cluster 集群伸缩1. 伸缩原理Redis提供了灵活的节点扩容和收缩方案。在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以对下线节点进行缩容。我们在Redis Cluster 介绍与搭建这篇文章中搭建了一个三主三从的Redis集群（如下图所示）。在搭建 Redis Cluster 通信流程剖析这篇博客中根据源码详细剖析了搭建集群的流程。本篇博客要讲的是，Redis集群
Linux(Centos7)下redis5集群搭建和使用说明详解
09-09
在Linux(CentOS7)环境下搭建Redis 5集群是一个重要的任务，这有助于提高数据的冗余性和可用性。本文将详细介绍如何在单台服务器上设置一个包含6个节点的伪分布式Redis集群。 首先，让我们了解Redis 5的一个关键变化...
Linux下Redis集群 搭建教程
01-29
在开始搭建集群之前，需要安装Redis和Ruby。Redis是nosql数据库管理系统，而Ruby是脚本语言，用于执行redis-trib.rb脚本，来创建和管理Redis集群。 二、安装Redis 首先，需要安装Redis。可以使用yum install redis...
Linux中使用Docker搭建Redis集群
01-07
使用host网络进行搭建集群 docker的网络类型 docker的网络类型有： None:不为容器配置任何网络功能，没有网络 –net=none Container:与另一个运行中的容器共享Network Namespace，–net=container:containerID Host:...
Redis Cluster集群数据分片机制原理
09-08
Redis Cluster 是 Redis 为了实现分布式环境下的数据存储和处理而设计的一种解决方案，它在 3.0 版本中引入，旨在提供高可用性和水平扩展性。在 Redis Cluster 中，数据分片是核心机制，它将数据分散到多个节点上，...
redis 正常停掉_Redis集群节点扩容大法
weixin_39663258的博客
12-19 431
[架构描述]redis组件版本：redis：5.0.8节点架构：3主3从、6主机扩容后架构：6主6从、12主机[问题描述]Redis(RemoteDictionary Server )，即远程字典服务，是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。redis是一个key-value存储系统,支持存储的valu...
redis集群扩容和缩容_redis集群cluster搭建，扩容缩容
weixin_28683065的博客
02-11 364
1. 概要说明1.1. 概述本文旨在说明平台部署环境搭建的过程和详细步骤说明，为后面系统部署提供清晰的参考依照。以下搭建部署的环境，为一个小型的分布式集群环境。满足负载均衡和单点故障转移，支持动态增减服务器等功能。后续平台的部署都可参考此搭建过程扩充。1.2. 环境清单系统：Red Hat Enterprise Linux Server release 6.5 (Santiago...
Redis Cluster集群架构部署实现及节点的扩容和缩容
m0_62024703的博客
11-30 2603
redis通过主从或者哨兵机制确实解决了单点失败问题，但是写操作都只发生在master节点，而master节点只有一个，写性能没有提升，因此，在大量的高并发场景下主从加上哨兵机制是支撑不了的，所以我们需要redis cluster来解决这个问题， redis cluster是3.0之后推出的一个技术，也就是相对偏后的一个技术，它可以很好的提升redis集群写操作的性能，也能保证服务的高可用，redis cluster的实现方案是基于所谓分布式的集群解决方案，所谓分布式就是数据不是放在单一的一个主机上，而是
Redis进阶实践之十二 Redis的Cluster集群动态扩容
u014659211的专栏
11-25 517
Redis进阶实践之十二 Redis的Cluster集群动态扩容 一、引言 　　上一篇文章我们一步一步的教大家搭建了Redis的Cluster集群环境，形成了3个主节点和3个从节点的Cluster的环境。当然，大家可以使用 Cluster info 命令查看Cluster集群的状态，也可以使用Cluster Nodes 命令来详细了解Cluster集群每个节点的详细信息和关系。我们可以在主节点上增加数据、操作数据，也可以在从节点上读取数据，这些操作当然都没有问题。我们今天这篇文章主要是讲解一下如何...
Redis集群扩容和缩容
m0_67265654的博客
03-23 603
一、引言 上一篇文章我们一步一步的教大家搭建了Redis的Cluster集群环境，形成了3个主节点和3个从节点的Cluster的环境。当然，大家可以使用 Cluster info 命令查看Cluster集群的状态，也可以使用Cluster Nodes 命令来详细了解Cluster集群每个节点的详细信息和关系。我们可以在主节点上增加数据、操作数据，也可以在从节点上读取数据，这些操作当然都没有问题。我们今天这篇文章主要是讲解一下如何在不停掉Cluster集群环境的情况下，动态的往集群环境中增加主、从节点和动态的
Redis Cluster 集群扩容 & 缩容步骤
扛麻袋的少年的博客
12-27 4525
redis 扩容、缩容、节点平衡
Redis Cluster搭建、节点扩容及节点删减
我的博客
03-14 263
文章目录一、Redis Cluster搭建二、节点扩容 一、Redis Cluster搭建 本文讲述搭建一主一从的redis集群，严格来说 redis cluster要求至少三个节点（三个主节点）：《为什么Redis Cluster中至少应该有三个结点？》 本文搭建的伪集群用同一台服务器，一个端口为4131作为主节点，一个端口4132作为从节点。 编辑配置文件 [redis@VM-0-13-centos ~]$ mkdir redis4131 [redis@VM-0-13-centos ~]$ touc
Linux环境下Redis集群搭建(主从,哨兵,分片)
donghao_1009的博客
12-08 604
Linux环境下Redis集群搭建(主从,哨兵,分片)
redis分片集群扩容
最新发布
04-05
Redis分片集群扩容是指在Redis集群中增加新的节点以扩大集群的容量和性能。下面是一种常见的Redis分片集群扩容方式： 1. 添加新节点：首先，在现有的Redis集群中添加一个或多个新的节点。可以使用redis-trib工具或者自定义脚本来完成节点的添加。新节点可以是物理服务器、虚拟机或者容器。 2. 数据迁移：一旦新节点添加到集群中，需要将部分数据从现有节点迁移到新节点上。可以使用Redis的内置工具或者第三方工具来实现数据迁移。数据迁移可以通过全量复制或者增量复制的方式进行。 3. 重新分片：在数据迁移完成后，需要重新分片来平衡各个节点上的数据负载。可以使用redis-trib工具或者自定义脚本来重新分片。重新分片可以根据数据的哈希值或者其他规则来进行。 4. 更新客户端配置：一旦重新分片完成，需要更新客户端的配置文件或者代码，以便客户端能够正确地访问新的节点。 5. 验证和监控：最后，需要验证新节点的正常运行，并进行监控以确保整个集群的稳定性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值