Redis分片机制和集群搭建

最新推荐文章于 2024-06-20 23:00:59 发布
最新推荐文章于 2024-06-20 23:00:59 发布
阅读量876 收藏 2
点赞数 1
分类专栏： 小白
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43866048/article/details/108954416
版权

需求数据

如果需要在redis中进行海量的数据存储,如果只有一台redis显然不能实现该功能.如果通过扩大内存的方式也不能达到要求.因为时间都浪费在寻址中. 如何有效的存储海量的数据呢???

Redis分片说明

说明:一般采用多台redis,分别保存用户的数据,从而实现内存数据的扩容.
对于用户而言:将redis分片当做一个整体,用户不在乎数据到底存储到哪里,只在乎能不能存.
分片主要的作用: 实现内存扩容.
在这里插入图片描述

Redis分片准备

创建目录

说明:在redis根目录中创建一个shards目录
在这里插入图片描述

分片搭建策略

说明:由于Redis启动是根据配置文件运行的,所以如果需要准备3台redis,则需要复制3份配置文件redis.conf. 端口号依次为6379/6380/6381

复制配置文件:
在这里插入图片描述
修改端口号:
根据配置文件名称,动态修改对应的端口即可.
在这里插入图片描述
在这里插入图片描述
启动redis:

 redis-server  6379.conf
 redis-server  6380.conf
 redis-server  6381.conf

在这里插入图片描述

Redis分片入门案例

 /**
     * 测试Redis分片机制
     * 业务思路:
     *      用户需要通过API来操作3台redis.用户无需关心数据如何存储,
     *      只需要了解数据能否存储即可.
     * 思考: 2005的数据存储到哪台redis中
     *      redis分片是如何实现数据存储的!
     */
    @Test
    public void testShards(){
        List<JedisShardInfo> list = new ArrayList<>();
        list.add(new JedisShardInfo("192.168.126.129", 6379));
        list.add(new JedisShardInfo("192.168.126.129", 6380));
        list.add(new JedisShardInfo("192.168.126.129", 6381));
        ShardedJedis shardedJedis = new ShardedJedis(list);
        shardedJedis.set("2005", "redis分片学习");
        System.out.println(shardedJedis.get("2005"));
    }

一致性hash算法

算法介绍

一致性哈希算法在1997年由麻省理工学院提出，是一种特殊的哈希算法，目的是解决分布式缓存的问题。 [1] 在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表( Distributed Hash Table，DHT) 中存在的动态伸缩等问题 [2] 。

常识介绍

1.常见hash多少位16进制数? 8位16进制数
2.16进制数取值有哪些 0-9 A-F 共16个数
3. hash的取值范围从 00000000 ~ FFFFFFFF (24)8
4. 上述取值的个数共有多少个??? 要求以2为底 2^32 幂
5. 对相同的数据进行hash值一致

一致性hash说明

步骤:
1.首先计算node节点
2.将用户的key进行hash计算,之后按照顺时针的方向找到最近的node节点之后链接,执行set操作.
在这里插入图片描述

特性一 平衡性

①平衡性是指hash的结果应该平均分配到各个节点，这样从算法上解决了负载均衡问题 [4] 。
说明: 如果发现节点中存储的数据负载不均,则采用虚拟节点的方式实现数据的平衡(相对平衡)
在这里插入图片描述

特性一 单调性

②单调性是指在新增或者删减节点时，不影响系统正常运行 [4] 因为可以实现自动的数据迁移.。
原则: 在进行数据迁移时 应该尽可能少的改变原有的数据.

特性一 分散性

③分散性是指数据应该分散地存放在分布式集群中的各个节点(节点自己可以有备份)，不必每个节点都存储所有的数据 [4] 。
鸡蛋不要放在一个篮子里

关于Spring整合Redis分片

关于分片说明

Redis分片的主要的作用是实现内存数据的扩容,Redis分片如果宕机不能实现高可用!!!
Redis的分片的计算发生在业务服务器中 将需要保存的数据存储到redis中.
Redis分片的执行的效率是最高的.

Spring整合Redis分片

编辑pro配置文件

#添加redis的配置

#添加单台配置
#redis.host=192.168.126.129
#redis.port=6379

#配置多台的redis信息
redis.nodes=192.168.126.129:6379,192.168.126.129:6380,192.168.126.129:6381

编辑Redis配置类

package com.jt.config;

import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.PropertySource;
import org.springframework.context.annotation.Scope;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisShardInfo;
import redis.clients.jedis.ShardedJedis;

import java.util.ArrayList;
import java.util.List;

@Configuration //标识我是一个配置类
@PropertySource("classpath:/properties/redis.properties")
public class JedisConfig {

    @Value("${redis.nodes}")
    private String nodes; //node,node,node
    /**
     * 添加Redis分片的配置
     * 需求1: 动态的获取IP地址/PORT端口
     *        动态的获取多个的节点信息. 方便以后扩展
     */
    @Bean
    public ShardedJedis shardedJedis(){
        List<JedisShardInfo> list = new ArrayList<>();
        String[] strArray = nodes.split(","); //[node,node,node]
        for (String node : strArray){  //ip:port
            String host = node.split(":")[0];
            int port = Integer.parseInt(node.split(":")[1]);
            list.add(new JedisShardInfo(host,port ));
        }
        return new ShardedJedis(list);
    }





   /* @Value("${redis.host}") //spel表达式  yml为准
    private String  host;
    @Value("${redis.port}")
    private Integer port;
    *//**
     * 将jedis对象交给spring容器管理
     *//*
    @Bean   //默认条件下是单例对象
    //@Scope("prototype") //设置为多利对象
    public Jedis jedis(){
        //由于将代码写死不利于扩展,所以将固定的配置添加到配置文件中
        return new Jedis(host,port);
    }*/
}

编辑 CacheAOP中的注入项

说明:将AOP缓存中的注入项 改为分片对象
在这里插入图片描述

Redis主从实现

Redis高可用实现前提

问题分析: 如果需要实现Redis服务器的高可用,前提条件应该实现主从的配置.

复制哨兵目录

前提:先关闭Redis服务器.
1).复制shards文件
在这里插入图片描述
2).删除持久化文件
在这里插入图片描述
3).运行3台Redis服务器

[root@localhost sentinel]# redis-server 6379.conf & redis             -server 6380.conf & redis-server 6381.conf &

在这里插入图片描述

实现主从挂载

搭建规则:

  1. 6379 当作主机
  2. 6380/6381 当作从机

检查主从的状态: info replication
在这里插入图片描述
3). 实现主从的挂载 slaveof 主机IP 主机端口
在这里插入图片描述
4).关于主从挂载的特点
检查从机中的状态
在这里插入图片描述
检查主机的状态:
在这里插入图片描述

关于挂载错误的说明

说明:由于误操作可能导致主从的结构挂载异常.如何重新挂载呢?
操作说明:可以将redis服务器全部关闭,之后重启 默认条件下的主从的挂载则会失效. 重新挂载即可.
在这里插入图片描述
补充说明:由于slaveof指令在内存中生效.如果内存资源释放,则主从的关系将失效.为了实现永久有效,应该将主从的关系写在配置文件中即可.
新问题的产生: 如果主机意外宕机,则由谁来完成配置文件的修改呢?

哨兵的工作原理

在这里插入图片描述
哨兵工作原理说明
1.当哨兵启动时,会监控当前的主机信息.同时获取链接当前主机的从机信息.
2.当哨兵利用心跳检测机制(PING-PONG),检验主机是否正常.如果连续3次发现主机没有响应信息.则开始进行选举.
3.当哨兵选举完成之后.其他的节点都会当做新主机的从.

哨兵机制实现

复制哨兵配置文件

在这里插入图片描述

修改配置文件

1).修改保护模式
在这里插入图片描述
2).开启后台运行
在这里插入图片描述
3).修改哨兵的监控 其中的1表示投票生效的数量.
在这里插入图片描述
4).哨兵宕机之后的选举时间
如果主机宕机10秒之后开始进行推选.
在这里插入图片描述
5.修改哨兵选举的超时时间
在这里插入图片描述

哨兵高可用测试

1).启动哨兵

[root@localhost sentinel]# redis-sentinel sentinel.conf

2).先关闭主机,之后等待10秒之后,检查从机是否当选主机.之后再次启动主机(宕机的),检查是否为新主机的从
在这里插入图片描述

关于哨兵选举平票的说明

如果有多个哨兵进行选举,如果连续3次投票失败,可能引发脑裂现象的发生.
问题: 脑裂现象发生的概率是多大?? 1/8 = 12.5%
解决策略: 只要增加选举的节点的数量,可以有效的降低脑裂现象的发生. 概率论

链接哨兵的入门案例

   /**
     * 哨兵的测试
     * 参数说明:  masterName: 主机的变量名称
     *           sentinels:   链接哨兵的集合.
     * 理解: 哨兵虽然链接3台redis. 但是3台redis中存储的数据都是一样的.对于用户而言
     * 就是一台.
     */
    @Test
    public void testSentinel(){
        Set<String> sets = new HashSet<>();
        sets.add("192.168.126.129:26379");
        JedisSentinelPool sentinelPool =
                new JedisSentinelPool("mymaster",sets);
        Jedis jedis = sentinelPool.getResource();
        jedis.set("aaa", "wt");
        System.out.println(jedis.get("aaa"));
        jedis.close();
    }

关于分片哨兵的总结说明

分片:
1.主要的作用实现内存数据的扩容.
2.由于运算发生在业务服务器中,所以执行的效率更高.
3.Redis的分片没有高可用的效果. 如果其中一个节点出现了问题则导致程序运行出错.
哨兵机制:
1.实现Redis高可用,当redis服务器发生宕机的现象时,哨兵可以灵活的监控.实现自动的选举实现 故障的迁移.
2.哨兵中所监控的redis节点中的数据都是相同的. 无法实现海量的数据存储.
3.哨兵虽然可以实现redis的高可用,但是由于哨兵的本身没有实现高可用.所以存在风险.
如果想要最大程度上减少损耗,则建议不要引入第三方的监控

Redis集群说明

Redis集群数据存储的原理

Hash槽算法 分区算法.
说明: RedisCluster采用此分区，所有的键根据哈希函数**(CRC16[key]%16384)**映射到0－16383槽内，共16384个槽位，每个节点维护部分槽及槽所映射的键值数据.根据主节点的个数,均衡划分区间.
算法:哈希函数: Hash()=CRC16[key]%16384
在这里插入图片描述
当向redis集群中插入数据时,首先将key进行计算.之后将计算结果匹配到具体的某一个槽的区间内,之后再将数据set到管理该槽的节点中.

在这里插入图片描述

Redis集群搭建

搭建步骤

说明:Redis集群搭建步骤 参见资料的文档.

链接：https://pan.baidu.com/s/1v6q9FF6tzhYqdfMkPUeu5A 
提取码：deuo

关于Redis集群搭建错误的说明

前提条件: redis.conf的配置文件首先应该配置正确 码云中有redis配置.
搭建步骤:

  1. 关闭所有的Redis服务项
    在这里插入图片描述
    2.删除nodes.conf配置文件
    由于搭建集群之后,所有的集群的信息都会写入nodes.conf文件中,如果下次重启会读取其中的配置信息实现redis集群的主从的搭建. 所以如果需要重新搭建集群,则必须删除该文件重新生成.
    在这里插入图片描述
    3.重启Redis服务器之后重新搭建集群
redis-cli --cluster create --cluster-replicas 1 192.168.126.129:7000 192.168.126.129:7001 192.168.126.129:7002 192.168.126.129:7003 192.168.126.129:7004 192.168.126.129:7005

关于集群工作原理的说明

redis集群高可用测试

1).检查redis主机的状态
在这里插入图片描述
2).将主机关闭
redis-cli -p 7000 shutdown

3).检查主机是否切换
在这里插入图片描述
4).重启7000服务器.检查是否为7003的从
在这里插入图片描述

关于Redis集群的面试题

原则: Redis的内存缺失则集群崩溃

如果3主3从(1主1从) 最少/宕机几台集群崩溃? B

	A. 1台      B.2台  C.3台  D.4台

如果3主6从(1主2从) 最少宕机几台集群崩溃? C

A. 3台      B.4台  C.5台  D.6台
**说明: 如果没有子节点 则会借用其他主机的多余的从.**

问: Redis集群中最多存储16384个key 错
CRC16(KEY1)%16384 = 2000
CRC16(KEY2)%16384 = 2000
表示key1和key2都归节点1进行管理. 至于节点到底是否能够存储 由内存决定.

问: Redis集群中最多有多少个主机?? 16384台

不敲代码的人会死亡
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis架构之哨兵机制与集群
m0_73088370的博客
08-21 466
Sentinel（哨兵）是redis高可用性解决方案：由一个或多个由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器属下的某个从服务器升级为新的主服务器。简单的说哨兵就是带有自动故障转移功能的主从架构。（简单来说就是哨兵机制会监视所有的服务器，当主服务器宕机时，会自动将主服务器下的某个从服务器变成新的主服务器，当原来的主服务器恢复后会变成从服务器。
Redis集群模式搭建
01-20
Redis 集群模式搭建是将多个 Redis 服务器组织成一个集群，以实现数据的分布式存储、负载均衡和高可用性。在Redis集群中，为了保证数据的安全性和高可用性，通常采用主从复制（Master-Slave）的策略，即每个主节点...
Redis的分片集群搭建 (Cluster 集群模式-三主三从)
weixin_71901717的博客
04-25 1414
PS：分享记录一下学习Redis分片集群的过程吧。
集群部署篇--Redis 集群分片模式
拽着尾巴的鱼儿的博客
12-29 1149
对于平常的业务往往使用redis 的哨兵模式就可以了，虽然redis 单台服务可以提供10W 的并发，但是对于并发量非常大的服务来说可能还不够，所以此时就需要对redis 进行分片集群；如果说依靠哨兵可以实现redis的高可用，如果还想在支持高并发同时容纳海量的数据，那就需要 redis 集群。redis 集群是 redis 提供的分布式数据存储方案，集群通过数据分片sharding来进行数据的共享，同时提供复制和故障转移的功能。
Redis分片集群搭建
最新发布
qq_62383709的博客
06-20 867
Redis分片集群如何判断某个key应该在哪个实例？将16384个插槽分配到不同的实例根据key计算哈希值，对16384取余余数作为插槽，寻找插槽所在实例即可如何将同一类数据固定的保存在同一个Redis实例？Redis计算key的插槽值时会判断key中是否包含{}，如果有则基于{}内的字符计算插槽数据的key中可以加入{类型}，例如key都以{typeId}为前缀，这样同类型数据计算的插槽一定相同。
分布式缓存 --redis -- 大量数据储存及写（分片集群）
Peng_zhj的博客
05-25 1227
搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据 每个master都可以有多个slave节点 master之间通过ping监测彼此健康状态 客户端请求可以访问集群任意节点，最终都会被转发到正确节点 散列插槽 插槽原理 Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上，查看
Redis搭建分片集群
lovoo的博客
06-08 3274
Redis分片集群是用于将Redis的数据分布在多个Redis节点上的分布式系统。通过分片集群，可以将数据分成多个部分，并将每个部分存储在不同的节点上，以便实现Redis的高可用性和高性能。
Redis集群分片
冯同学的博客
04-07 2137
Redis集群分片
Redis 高可用之集群搭建和数据分片
BXA
08-27 1520
Redis 集群是将数据和负载分散在多个节点上的一种方法。每个节点都是一个独立的 Redis 实例，这些实例协同工作以提供高可靠性和性能。在 Redis 集群中，数据被分数个槽位， 并将这些槽位分配给不同的节点存储，在读写数据时会自动进行数据迁移。Redis 集群的这种方式可以无需使用共享存储或共享内存等资源，便可以实现线性扩展。此外，Redis 集群还支持故障恢复和单点故障自动转移。
基于Redis6的Redis集群搭建方法
09-24
Redis集群（Redis Cluster）是Redis官方提供的分布式解决方案，通过数据分片（Sharding）实现水平扩展，并支持主从复制和故障转移，以保证服务的高可用性。在Redis 6中，引入了更多改进，如客户端重定向、更好的错误...
Redis集群搭建及维护文档.docx
03-31
Redis 集群是Redis官方提供的分布式解决方案，自Redis 3.0版本开始引入，旨在解决单机...不过，集群管理也有一些复杂性，如槽的分配、数据的分片和复制，以及故障恢复机制，这些都是在实际应用中需要考虑的重要因素。
redis集群批处理一键搭建
06-22
Redis集群是Redis提供的分布式解决方案，它将数据分散存储在多个节点上，通过一致性哈希算法实现数据的分片和负载均衡。每个节点都存储部分数据，同时负责处理一部分客户端请求。当需要扩展存储能力或处理能力时，...
redis集群，使用ruby脚本搭建集群
09-25
Redis 集群是通过数据分片（Sharding）实现的，即将数据分散存储在多个节点上，每个节点负责一部分数据。这种方式能够确保系统的高可用性和可伸缩性。Redis 集群不支持主从复制模式下的写入操作，而是采用槽（Slot）...
Redis分片集群
m0_58524181的博客
09-22 2281
Redis的分片集群结构
Redis集群部署
BridgeCloud的博客
06-13 1519
我们需要执行命令来创建集群，在Redis5.0之前创建集群比较麻烦，5.0之后集群管理命令都集成到了redis-cli中。修改redis-6.2.4/redis.conf文件，将其中的持久化模式改为默认的RDB模式，AOF保持关闭状态。要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。这里我们搭建一个三节点形成的Sentinel集群，来监管之前的Redis主从集群。
Redis的数据分片和数据备份机制是怎样的？Redis如何实现分布式锁？Redis是否支持主从复制？如何配置主从复制？如何保证Redis的高可用性？
luoluoal的博客
07-04 746
每个主节点都可以有多个从节点，主节点负责处理写请求，并将写操作的命令发送给所有从节点进行备份。当主节点发生故障或者下线时，从节点可以提升为新的主节点，保证数据的可用性和持久性。可以将多个Redis节点组成一个集群，数据会被分散存储在不同的节点上，实现数据的分布和负载均衡。需要注意的是，主从复制是异步的，主节点将数据推送给从节点，但从节点可能会存在一定的延迟。可以配置多个Sentinel实例，它们会监控Redis的主节点和从节点，并在主节点宕机时自动将从节点升级为主节点，保证系统的可用性。
redis之分片集群
Crazy博客
12-20 614
在海量的数据面前，单个 redis 实例的能力是有限的，无可能无限增大的内存，所以必须要构建分片集群，来横向拓展来支持保存更多的数据。
redis搭建主从哨兵模式＋分片集群部署(redis系列二)
dahulihuli的博客
10-27 921
redis主从搭建哨兵模式，分片集群部署，在前一章了解redis的基本介绍后，这一章主要介绍redis的实战部署，文章有点长请一步步耐心看完，我相信肯定会有收获的，这里用的资源包是2022年最新的redis版本可能会跟旧版本不同，在此章节中redis的集群搭建是在同一台服务器中部署，通过开放不同端口实现
Redis分片集群一步一步全过程搭建
weixin_43378573的博客
12-06 1308
使用分片集群可以解决海量数据存储问题、高并发写的问题，本文一步一步记录了Redis分片集群搭建的全过程。
redis 分片集群搭建
08-27
Redis分片集群搭建可以使用Redis官方提供的工具redis-trib.rb，也可以使用自带的脚本create-cluster。其中，redis-trib.rb是Redis 3.0以上版本中一个用于管理Redis集群的Ruby脚本，而create-cluster是Redis解压目录下的一个自动搭建集群的脚本。 在一个Redis分片集群中，每个节点负责一部分哈希槽。例如，如果集群中只有三个分片，分别是101、104和107，那么我们可以使用命令给每个节点分配哈希槽： ``` redis-cli -h 192.168.1.101 -p 6379 cluster addslots {0..5461} redis-cli -h 192.168.1.104 -p 6379 cluster addslots {5462..10922} redis-cli -h 192.168.1.107 -p 6379 cluster addslots {10923..16383} ``` 这样，每个节点就负责了一定范围的哈希槽，从而实现了Redis分片集群的搭建。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [手动搭建高可用的Redis5.0分片集群，从理论到实践，超详细](https://blog.csdn.net/Baisitao_/article/details/105668466)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值