精灵商场项目(九)--搭建Redis集群

最新推荐文章于 2022-10-02 13:21:18 发布
最新推荐文章于 2022-10-02 13:21:18 发布
阅读量166 收藏
点赞数
分类专栏： 分布式电商项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42495388/article/details/103017779
版权

文章目录

一、Redis集群实现

1.1 为什么要用集群?

Redis分片:

功能特点:实现了redis内存数据的扩容.
缺点:如果某台redis节点宕机,则整个redis分片将不能运行.没有实现高可用的效果

Redis哨兵机制:

功能:实现了redis高可用机制

缺点:无法实现数据的扩容并且哨兵本身没有实现高可用

Redis集群:

Redis集群设计时主机实现分片的功能,每台主机之后都有对应的从机.并且在内部实现高可用(不需要依赖第三方监控)

1.2 Redis集群

采用redis集群:

  1. 可以保证数据分散存储,同时保证数据存储的一致性

  2. 并且在内部实现高可用的机制,

  3. 实现了服务故障的自动迁移

1.3 集群搭建

1.3.1 集群搭建计划

3主3从 , 集群(哨兵)正常工作的条件: 存活的服务器数量 > 总数N/2

1.3.2 准备集群文件夹

mkdir cluster

1.3.3 复制配置文件

将redis根目录中的redis.conf文件复制到cluster/7000/ 并以原名保存

cp redis.conf cluster/7000/

1.3.4 编辑配置文件

vim redis.conf

  1. 注释本地绑定IP地址 : #bind 127.0.0.1 69行
  2. 关闭保护模式 : protected-mode no 88行
  3. 修改端口号 : port 7000 92行
  4. 后台启动 : daemonize yes 136行
  5. 修改pid文件 : pidfile /usr/local/src/redis/cluster/7000/redis.pid 158行
  6. 修改持久化文件路径 : dir /usr/local/src/redis/cluster/7000 263行
  7. 设定内存优化策略 : maxmemory-policy volatile-lru 597行
  8. 关闭AOF模式 : appendonly no 699行
  9. 开启集群配置 : cluster-enabled yes 838行
  10. 开启集群配置文件 : cluster-config-file nodes.conf 846行
  11. 修改集群超时时间 : cluster-node-timeout 15000 852行

1.3.5 复制修改后的配置文件

将7000文件夹下的redis.conf文件分别复制到7001-7005中

1.3.6 批量修改

分别将7001-7005文件中的7000改为对应的端口号的名称

:%s/7000/7001/g

1.3.7 通过脚本编辑启动/关闭指令

1.创建启动脚本 : vim start.sh

#!/bin/sh
redis-server 7000/redis.conf &
redis-server 7001/redis.conf &
redis-server 7002/redis.conf &
redis-server 7003/redis.conf &
redis-server 7004/redis.conf &
redis-server 7005/redis.conf &

2.编辑关闭的脚本 : vim shutdown.sh

#!/bin/sh
redis-cli -p 7000 shutdown &
redis-cli -p 7001 shutdown &
redis-cli -p 7002 shutdown &
redis-cli -p 7003 shutdown &
redis-cli -p 7004 shutdown &
redis-cli -p 7005 shutdown &

3.启动redis节点 : sh start.sh

4.关闭redis节点 : sh shutdow.sh

1.3.8 创建redis集群

#5.0版本执行 使用C语言内部管理集群
redis-cli --cluster create --cluster-replicas 1 192.168.56.129:7000 192.168.56.129:7001 192.168.56.129:7002 192.168.56.129:7003 192.168.56.129:7004 192.168.56.129:7005

执行后 : yes

在这里插入图片描述

1.3.9 Redis集群高可用测试

  1. 关闭redis主机.检查是否自动实现故障迁移.
  2. 再次启动关闭的主机.检查是否能够实现自动的挂载.

一般情况下 能够实现主从挂载
个别情况: 宕机后的节点重启,可能挂载到其他主节点中(7001-7002) 正确的

二、Spring整合redis集群

2.1 入门案例

	@Test
    public void test01(){
        Set<HostAndPort> nodes =new HashSet<>();
        nodes.add(new HostAndPort("192.168.56.129",7000));
        nodes.add(new HostAndPort("192.168.56.129",7001));
        nodes.add(new HostAndPort("192.168.56.129",7002));
        nodes.add(new HostAndPort("192.168.56.129",7003));
        nodes.add(new HostAndPort("192.168.56.129",7004));
        nodes.add(new HostAndPort("192.168.56.129",7005));
        JedisCluster jediscluster = new JedisCluster(nodes);
    }

2.2 编辑pro文件

#redis集群配置
redis.nodes=192.168.56.129:7000,192.168.56.129:7001,192.168.56.129:7002,192.168.56.129:7003,192.168.56.129:7004,192.168.56.129:7005

2.3 编辑配置类

@Configuration //标识配置类
@PropertySource("classpath:/properties/redis.properties")
public class RedisConfig {
    @Value("${redis.nodes}")
    private String nodes;

    /**将set集合交给容器管理*/
    @Bean("redisSet")
    public Set<HostAndPort> redisSet() {
        Set<HostAndPort> redisSet = new HashSet<>();
        String[] arrayNodes = nodes.split(",");
        for (String node : arrayNodes) {
            String host = node.split(":")[0];
            int port = Integer.parseInt(node.split(":")[1]);
            HostAndPort hostAndPort = new HostAndPort(host, port);
            redisSet.add(hostAndPort);
        }
        return redisSet;
    }

    @Bean
    @Scope("prototype")
    public JedisCluster jedisCluster(@Qualifier("redisSet") Set<HostAndPort> redisSet) {
        return new JedisCluster(redisSet);
    }
}

三、修改项目,使用JedisCluster

将使用 Jedis的改为 JedisCluster 集群

随手笔记

1.Rides集群(哨兵)一般是奇数,最小单位3台

一般是3主3从

2.linux命令

在Vi/Vim编辑器下,取消高亮显示 : :nohl

防火墙关闭 : server iptables stop

批量修改配置文件 :将7001替换全部的7000 :%s/7000/7001/g

3.redis操作命令

主/从复制信息 : info replication

查询redis中全部的key : keys *

4.关于Redis集群搭建报错问题

1.关闭redis集群节点 sh stop.sh
2.删除全部文件 除redis.conf文件之外
rm -rf 700*/dump.rdb
rm -rf 700*/nodes.conf
3.之后重启redis节点 sh start.sh
4.重新运行集群搭建命令

5.Redis集群原理(分区)

5.1 Redis集群高可用推选原理

Redis的所有节点都会保存当前redis集群中的全部主从状态信息.并且每个节点都能够相互通信.当一个节点发生宕机现象.则集群中的其他节点通过PING-PONG检测机制检查Redis节点是否宕机.当有半数以上的节点认为宕机.则认为主节点宕机.同时由Redis剩余的主节点进入选举机制.投票选举链接宕机的主节点的从机.实现故障迁移

5.2 Redis集群宕机条件

特点 : 集群中如果主机宕机,那么从机可以继续提供服务,
当主机中没有从机时,则向其它主机借用多余的从机.继续提供服务.如果主机宕机时没有从机可用,则集群崩溃.
例如 : 9个redis节点,节点宕机5-7次时集群才崩溃.

5.3 Redis hash槽存储数据原理

RedisCluster采用此分区，所有的键根据哈希函数(CRC16[key]&16383)映射到0－16384槽内，共16384个槽位，每个节点维护部分槽及槽所映射的键值数据.根据主节点的个数,均衡划分区间

算法:哈希函数: Hash()=CRC16[key]&16383按位与,如图:

在这里插入图片描述

当向redis集群中插入数据时,首先将key进行计算.之后将计算结果匹配到具体的某一个槽的区间内,之后再将数据set到管理该槽的节点中

在这里插入图片描述

效率 :

1.分片效率高: 发生在服务器中 redis只负责存取

2.Redis集群: 发生在redis内部 效率低

冷潇丶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker-compose一键搭建Redis集群
06-12
1.先运行 createFile.py 输入宿主机IP地址，输入redis密码 2.按照控制台输出执行docker-compose up -d 启动命令 3.启动成功后执行加入集群命令即可
centos7使用集群服务搭建——商城网站
qq_65100354的博客
01-15 336
centos7搭建集群商城网站
Redis集群
Drw_Dcm的博客
10-02 8451
Redis集群
09 微服务技术—— Redis集群
拥抱白菜的猪博客
02-24 956
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 目录 文章目录 前言 一、rides持久化 1、RDB持久化 1.1执行时机： 1.2、RDB执行原理 2、AOF持久化 2.1、配置AOF频率 2.2、AOF文件重写 3、RDB对比AOF 前言 与Redis集群相对应的，就是单点Redis，Redis搭建集群出现的原因，也是解决单点Redis所存在的问题。主要存在以下四种问题，也有相对应的解决...
Redis【有与无】【R1】Redis 集群
琴韵悠悠
11-24 234
参考：https://redis.io/topics/cluster-tutorial 目录 1.前提说明 2.简介 2.1.Redis Cluster 101 2.2.Redis 集群 TCP 端口 2.3.Redis Cluster 和 Docker 2.4.Redis 集群数据分片 2.5.Redis 集群主从模型（master-slave） 2.6.Redis 集群一致性保证 3.Redis 集群配置参数 4.创建和使用 Redis 集群 4.1.创建集群 4.2.使用 c
理解Redis集群
点滴记录
04-08 1万+
一、什么是Redis集群 Redis 集群是一个分布式（distributed）、容错（fault-tolerant）的 Redis 实现， 集群可以使用的功能是普通单机 Redis 所能使用的功能的一个子集（subset）。 Redis 集群中不存在中心（central）节点或者代理（proxy）节点， 集群的其中一个主要设计目标是达到线性可扩展性（linear scalability）。 ...
resty-redis-cluster：Redis集群的Openresty lua客户端
02-03
《深入理解resty-redis-cluster：Openresty Lua中的Redis集群客户端》 在现代Web服务开发中，数据存储和缓存扮演着至关重要的角色。Redis作为一款高性能的键值存储系统，广泛应用于缓存、消息队列等领域。而...
Redis-Cluster集群搭建
01-17
为了搭建 Redis 集群，需要安装Redis、Ruby 环境、Redis 的 Ruby 驱动、redis-trib.rb 集群工具等插件。 1. 安装 Redis 首先，需要安装 Redis。Redis 的最新版本可以从官方网站上下载。安装完成后，需要将 Redis ...
讲义-使用docker搭建redis集群.pdf
08-15
本课程将指导学员如何使用Docker搭建Redis集群，以提高数据处理的效率和可靠性。 首先，课程介绍了前端系统提供mock服务的概念。Mock服务是指模拟的后端服务，它可以模拟数据返回给前端系统进行测试。课程中提到...
redis-trib.rb redis集群搭建使用
11-30
`redis-trib.rb` 是 Redis 集群搭建过程中的一个重要工具，它用于初始化和管理集群。下面将详细介绍如何使用 `redis-trib.rb` 来搭建和管理 Redis 集群。 首先，我们需要了解 Redis 集群的基本概念。Redis 集群采用...
课堂笔记 - Redis - 03 NoSQL数据库-集群篇
chengjiexing7464的博客
07-15 400
NoSQL数据库-集群篇 目录 1 要讲的内容 3 2 redis集群简介 3 2.1 集群的概念 3 2.1.1 使用redis集群的必要性 3 ...
spring boot之Session实现集群-redis
彦偈
12-31 438
一、添加jar包<dependency> <groupId>org.springframework.session</groupId> <artifactId>spring-session</artifactId> </dependency>二、修改配置文件# spring session使用存储类型 spring.session.store-type=none # spring s
redis：详解三种集群策略
卜可的博客
04-13 5万+
redis包含三种集群策略 主从复制 哨兵 集群 主从复制 在主从复制中，数据库分为俩类，主数据库(master)和从数据库(slave)。其中主从复制有如下特点： 主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库 从数据库一般都是只读的，并且结束主数据库同步过来的数据 一个master可以拥有多个slave，但是一个slave只能对应一个master...
Redis cluster集群：原理及搭建
热门推荐
MayMatrix 的博客
03-19 9万+
1.为什么使用redis？redis是一种典型的no-sql 即非关系数据库 像python的字典一样 存储key-value键值对 工作在memory中所以很适合用来充当整个互联网架构中各级之间的cache 比如lvs的4层转发层 nginx的7层代理层尤其是lnmp架构应用层如php-fpm或者是Tomcat到mysql之间 做一个cache 以减轻db的压力因为有相当一部分的数据 只是简单的...
Redis集群搭建、主从复制、哨兵模式
chuang777的博客
05-14 236
Redis集群搭建 主从复制 主从复制，就是主机数据更新后，根据配置和策略，自动更新到备机的master/slaver机制，Master以写为主，Slaver以读为主。 配置主从 掌握配从不陪主的原理 首先拷贝多个redis.conf文件 内容修改如下 开启daemonize yes Pid文件名字 pidfile 指定端口port Log文件名字 Dump.rdb名字dbfilename Appendonly 关掉或者换名字 分别启动三个Redis实例 先找到 bin 文件夹下的 redis-serve
架构设计：系统存储（18）——Redis集群方案：高性能
JAVA入门中
12-31 1万+
从这篇文章开始我们一起来讨论Redis中两种高性能集群方案，并且在讨论过程中将上一篇文章介绍的高可用集群方案结合进去。这两种高性能集群方案是：Twemproxy和Redis自带的Cluster方案。
rides介绍和安装
【✎__三味書屋】的博客
11-29 1432
http://write.blog.csdn.net/postedit
负载均衡-rides和nginx应用
创造自我、追求无我
06-24 2268
负载均衡官方定义：           负载均衡是由多台服务器以对称的方式组成一个服务器集合，每台服务器都 具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某 种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器 上，而接收到请求的服务器独立地回应客户的请求。 均衡负载能够平均分配客户请求到服务器列阵，籍此提供快速获取重要数据， 解决大量并发访问服务
高性能网站架构之缓存篇—Redis集群搭建
03-09 1万+
看过 高性能网站架构之缓存篇--Redis安装配置和高性能网站架构之缓存篇--Redis使用配置端口转发 这两篇文章的，相信你已经对redis有一定的了解，并能够安装上，进行简单的使用了，但是在咱们的实际应用中，使用redis肯定不会使用单机版，不光是redis不能使用单机版，其他的也不会使用，所以今天我们来说一下redis cluster的安装。        1.  Redis Clus
docker-compose 搭建 redis 集群
最新发布
07-25
要使用docker-compose搭建Redis集群，你可以按照以下步骤进行操作： 1. 创建一个docker-compose.yml文件，并在其中定义Redis集群的服务。你可以使用以下示例作为参考： ``` version: '3' services: redis-6379: image: redis ports: - "6379:6379" volumes: - ./redis-6379:/data command: redis-server /data/redis.conf redis-6380: image: redis ports: - "6380:6379" volumes: - ./redis-6380:/data command: redis-server /data/redis.conf redis-6381: image: redis ports: - "6381:6379" volumes: - ./redis-6381:/data command: redis-server /data/redis.conf redis-6382: image: redis ports: - "6382:6379" volumes: - ./redis-6382:/data command: redis-server /data/redis.conf redis-6383: image: redis ports: - "6383:6379" volumes: - ./redis-6383:/data command: redis-server /data/redis.conf redis-6384: image: redis ports: - "6384:6379" volumes: - ./redis-6384:/data command: redis-server /data/redis.conf ``` 2. 在每个Redis服务的目录中创建一个redis.conf文件，用于配置Redis集群的参数。你可以使用以下示例作为参考： ``` port 6379 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes ``` 3. 运行docker-compose命令来启动Redis集群： ``` docker-compose up -d ``` 这将启动Redis集群的所有服务，并将它们连接在一起。 请注意，以上步骤中的示例仅适用于在本地搭建Redis集群。如果你需要在生产环境中搭建Redis集群，你可能需要进行更多的配置和安全性措施。 #### 引用[.reference_title] - *1* *2* *3* [docker(八)—docker-compose搭建redis集群](https://blog.csdn.net/xiaoqiang65/article/details/121011071)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值