【进阶篇】 redis 高级使用

最新推荐文章于 2024-08-11 08:49:25 发布
最新推荐文章于 2024-08-11 08:49:25 发布
阅读量3.3k 收藏 32
点赞数 19
文章标签： redis 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56265207/article/details/127811496
版权

文章目录

1、Redis持久化之RDB

在指定的时间间隔内将内存中的数据集快照写入磁盘.

1.1、备份是如何执行的

Redis 会单独创建一个子进程（fork）来进行持久化，会先将数据写入一个临时文件中，等持久化过程结束后，用这个临时文件替换上次持久化好的文件。在整个过程中，主进程不进行任何io操作，确保了极高的性能。

RDB 的缺点是 最后一次持久化后的数据可能丢失

1.2、Fork

  • Fork 的作用是复制一个与当前进程一样的进程，新进程的所有数据（变量，环境变量，程序计数器等）数值都和原来的进程一致，但是是一个全新的进程，并且作为原进程的子进程.

  • Linux 中引入了“写时复制技术”

  • 一般情况下父进程和子进程共用一段物理内存，只有进程空间的各段内容要发生变化时，才会将父进程的内容复制一份给子进程。

1.3、RDB持久化流程

在这里插入图片描述

1.4、dump.rdb文件

在redis.conf中配置文件名称，默认为dump.rdb

1.5、如何触发RDB快照

配置文件中默认的快照配置

在这里插入图片描述

命令save VS bgsave

  • save ：save时只管保存，其它不管，全部阻塞。手动保存。不建议。

  • bgsave：Redis会在后台异步进行快照操作，快照同时还可以响应客户端请求。

1.6、优势以及劣势

优势：

  • 适合大规模的数据恢复
  • 对数据的完整性和一致性要求不高
  • 节省磁盘空间
  • 恢复速度快

在这里插入图片描述

劣势：

  • fork时内存中的数据被克隆了一份，造成2倍膨胀性
  • fork时写时复制技术,若数据庞大会损耗性能
  • 在备份周期一定间隔时间做一次备份，如果redis 意外down掉，会丢失最后一次快照时的所有修改

动态停止RDB：redis-cli config set save "" #save后给空值，表示禁用保存策略

2、Redis持久化之AOF

以日志的形式来记录每个写操作（增量保存），将Redis 执行过的所有写操作记录下来（读操作不记录），只许追加文件但不可以改写文件，redis 启动后会读取该文件重新构建数据。一句话：redis 重启根据日志文件内容将写指令完整执行一次以恢复数据。

2.1、AOF持久化流程

  1. 客户端的请求写命令会被appand追加到AOF缓冲区内

  2. AOF缓冲区根据AOF持久化策略（always,everysec,no）将操作sync同步到磁盘的AOF文件中

  3. AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量

  4. redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的

在这里插入图片描述

可以在redis.conf中配置文件名称，默认为 appendonly.aof

AOF文件的保存路径，同RDB的路径一致。

AOF和RDB同时开启，redis听谁的？

AOF和RDB同时开启，系统默认取AOF的数据（数据不会存在丢失）

2.2、AOF启动/修复/恢复

  • AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样，都是拷贝备份文件，需要恢复时再拷贝到Redis工作目录下，启动系统即加载。

  • 正常恢复

    • 修改默认的appendonly no，改为yes
    • 将有数据的aof文件复制一份保存到对应目录(查看目录：config get dir)
    • 恢复：重启redis然后重新加载

  • 异常恢复

    • 修改默认的appendonly no，改为yes
    • 如遇到AOF文件损坏，通过/usr/local/bin/redis-check-aof--fix appendonly.aof进行恢复
    • 备份被写坏的AOF文件
    • 恢复：重启redis，然后重新加载

2.3、AOF同步频率设置

  • appendfsync always

    始终同步，每次Redis的写入都会立刻记入日志；性能较差但数据完整性比较好

  • appendfsync everysec

    每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失。

  • appendfsync no

    redis不主动进行同步，把同步时机交给操作系统。

2.4、优势以及劣势

在这里插入图片描述

优势：

  • 备份机制更稳健，丢失数据概率更低。
  • 可读的日志文本，通过操作AOF，可以处理误操作。

劣势：

  • 比起RDB占用更多的磁盘空间
  • 恢复备份速度要慢
  • 每次读写都同步的话，有一定的性能压力
  • 存在个别Bug，造成恢复不能

小总结

在这里插入图片描述
在这里插入图片描述

官方推荐两个都启用。

如果对数据不敏感，可以选单独用RDB。

不建议单独用 AOF，因为可能会出现Bug。

如果只是做纯内存缓存，可以都不用。

3、Redis主从复制

主机数据更新后根据配置和策略，自动更新到备机的master/slaver机制,master以写为主，slaver以读为主

  • 读写分离，性能扩展
  • 容灾快速恢复

在这里插入图片描述

3.1、怎么玩

  1. 新建redis6379.conf，填写以下内容
include /myredis/redis.conf
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump6379.rdb

​ 重复操作新建6380、6381

在这里插入图片描述

  1. 启动三台redis服务器

在这里插入图片描述

  1. 查看三台主机运行情况

在这里插入图片描述

  1. 配从(库)不配主(库)

slaveof #成为某个实例的从服务器

在6380和6381上执行: slaveof 127.0.0.1 6379

在这里插入图片描述

在这里插入图片描述

在主机上写，在从机上可以读取数据

在从机上写数据报错

主机挂掉，重启就行，一切如初

从机重启需重设：slaveof 127.0.0.1 6379

在这里插入图片描述

3.2、常用三招

3.2.1、一主二仆

  • 切入点问题？slave1、slave2是从头开始复制还是从切入点开始复制?比如从k4进来，那之前的k1,k2,k3是否也可以复制？可以

  • 从机是否可以写？set可否？ 不可

  • 主机shutdown后情况如何？从机是上位还是原地待命？

  • 主机又回来了后，主机新增记录，从机还能否顺利复制？

  • 其中一台从机down后情况如何？依照原有它能跟上大部队吗？

在这里插入图片描述

3.2.2、薪火相传

上一个Slave可以是下一个slave的Master，Slave同样可以接收其他 slaves的连接和同步请求，那么该slave作为了链条中下一个的master, 可以有效减轻master的写压力,去中心化降低风险

用 slaveof <ip><port>

中途变更转向:会清除之前的数据，重新建立拷贝最新的

风险是一旦某个slave宕机，后面的slave都没法备份

主机挂了，从机还是从机，无法写数据了

在这里插入图片描述

3.2.3、反客为主

当一个master宕机后，后面的slave可以立刻升为master，其后面的slave不用做任何修改

用slaveof no one 将从机变为主机

3.3、复制原理

  • slave启动成功连接到master 后会发送一个sync命令
  • master 接到命令启动后台的存盘进程。同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave,完成一次完全数据同步
  • 全量复制：slave 服务在接收到数据库文件数据后，将其存盘并加入到内存中
  • 增量复制：master 继续将新的所有收集到的修改命令依次传给slave ，完成同步
  • 只要重新连接master ,一次完全同步（全量复制）将被自动执行

在这里插入图片描述

3.4、哨兵模式

反客为主的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库

在这里插入图片描述

怎么玩：调整为一主二仆模式，6379带着6380、6381

  • 自定义的/myredis目录下新建文件vi sentinel.conf（注意文件名字不能错）

  • 配置文件内容

    sentinel monitor mymaster 127.0.0.1 6379 1

    mymaster为监控对象起的服务器名称，1为至少有多少个哨兵同意迁移的数量

在这里插入图片描述

  • 启动哨兵
redis-sentinel  /myredis/sentinel.conf

在这里插入图片描述

当主机挂掉，从机选举中产生新的主机

那么哪一个从机会被选举为主机呢？根据优先级别：slave-priority

设置从机的优先级，值越小，优先级越高，用于选举主机时使用。默认100

原主机重启后会变为从机

3.5、复制延迟

所有的写操作都是在master上，要同步更新到slaver 从机需要一定的时间，当系统很繁忙时，延迟问题会更加严重，slaver 机器的增加也会使得延迟问题更加严重。

3.6、故障恢复

在这里插入图片描述

  • 优先级在redis.conf中默认：slave-priority 100，值越小优先级越高

  • 偏移量是指获得原主机数据最全的

  • 每个redis实例启动后都会随机生成一个40位的runid

4、Redis 集群

4.1、引出问题

容量不够，redis如何进行扩容？

并发写操作， redis如何分摊？

无中心化集群配置。

删除持久化数据:将rdb,aof文件都删除掉。

4.2、什么是集群

  • Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N
  • Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求

4.3、搭建集群

  1. 制作6个实例，6379,6380,6381,6389,6390,6391

  2. 删掉rdb 文件
    在这里插入图片描述

  3. 配置文件修改

include /myredis/redis.conf
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump6379.rdb
cluster-enabled yes #打开集群模式
cluster-config-file nodes-6379.conf #设定节点配置文件名
cluster-node-timeout 15000 #设定节点失联时间，超过该时间（毫秒），集群自动进行主从切换

3.修改好redis6379.conf文件，拷贝6个redis.conf文件

4.使用查找替换修改另外5个文件 例如：:%s/6379/6380

5.启动6个redis服务

在这里插入图片描述

  1. 将六个节点合成一个集群

​ 组合之前，请确保所有redis实例启动后，nodes-xxxx.conf文件都生成正常。

在这里插入图片描述

  1. 合体（高版本rb环境已经配好）

    cd /opt/redis-6.2.7/src

    #src 目录下执行
redis-cli --cluster create --cluster-replicas 1 192.168.181.100:6379 192.168.181.100:6380 192.168.181.100:6381 192.168.181.100:6389 192.168.181.100:6390 192.168.181.100:6391

    此处不要用127.0.0.1， 请用真实IP地址（自己电脑）

    –replicas 1 采用最简单的方式配置集群，一台主机，一台从机，正好三组

在这里插入图片描述

在这里插入图片描述

  1. 登录

    普通方式：
    在这里插入图片描述

    可能直接进入读主机，存储数据时，会出现MOVED重定向操作

    集群方式：

    采用集群策略连接，设置数据会自动切换到相应的写主机
    在这里插入图片描述

  2. 通过cluster nodes命令查看集群信息

  3. redis cluster 如何分配这六个节点?

一个集群至少要有三个主节点

  1. 什么是slots?

    • 一个 Redis 集群包含 16384 个插槽（hash slot）， 数据库中的每个键都属于这 16384 个插槽的其中一个

    • 集群中的每个节点负责处理一部分插槽。 举个例子， 如果一个集群可以有主节点， 其中：

      节点 A 负责处理 0 号至 5460 号插槽。

      节点 B 负责处理 5461 号至 10922 号插槽。

      节点 C 负责处理 10923 号至 16383 号插槽。

  2. 在集群中录入值

    • redis-cli客户端提供了 –c 参数实现自动重定向

    • 不在一个slot下的键值，是不能使用mget,mset等多键操作

    • 可以通过{}来定义组的概念，从而使key中{}内相同内容的键值对放到一个slot中去
      在这里插入图片描述

  3. 查询集群中的值

    CLUSTER GETKEYSINSLOT <slot><count> 返回 count 个 slot 槽中的键

  4. 故障恢复

    • 如果主节点下线,从节点自动升为主节点

    • 主节点恢复后变成从机

    • 如果某一段插槽的主从都挂掉，而cluster-require-full-coverage 为yes ，那么 ，整个集群都挂掉

      如果某一段插槽的主从都挂掉，而cluster-require-full-coverage 为no ，那么，该插槽数据全都不能使用，也无法存储

4.4、集群的Jedis开发

即使连接的不是主机，集群会自动切换主机存储。主机写，从机读。

无中心化主从集群。无论从哪台主机写的数据，其他主机上都能读到数据

在这里插入图片描述

4.5、集群优劣势

优势：

  • 实现扩容
  • 分摊压力
  • 无中心配置相对简单

劣势：

  • 多键操作是不被支持的

  • 多键的Redis事务是不被支持的。lua脚本不被支持

5、Redis应用问题

5.1、缓存穿透

问题描述：

  • key对应的数据在数据源并不存在，每次针对此key的请求从缓存获取不到，请求都会压到数据源，从而可能压垮数据源。比如用一个不存在的用户id获取用户信息，不论缓存还是数据库都没有

在这里插入图片描述

解决办法：

  • 对空值缓存

    如果一个查询返回的数据为空，我们仍然把这个空结果（null）进行缓存，设置空结果的过期时间会很短，最长不超过五分钟

  • 设置可访问的名单

    使用bitmaps类型定义一个可以访问的名单，名单id作为bitmaps的偏移量，每次访问和bitmap里面的id进行比较，如果访问id不在bitmaps里面，进行拦截，不允许访问

  • 采用布隆过滤器

5.2、缓存击穿

问题描述：

key 对应的value值存在，但是key 过期,若有大量的并发请求，这些请求发现缓存过期一般会从后端数据库加载数据并回设到缓存，此时高并发的请求可能瞬间搞跨数据库。

在这里插入图片描述

解决方案：

  • 预先设置热门数据
    • 在redis高峰访问之前，把一些热门数据提前存入到redis里面，加大这些热门数据key的时长
  • 实时调整
    • 现场监控哪些数据热门，实时调整key的过期时长
  • 使用锁（性能问题）

5.3、缓存雪崩

问题描述：

与缓存击穿类似，区别在于缓存雪崩是针对很多key 缓存

正常访问：

在这里插入图片描述

缓存失效访问：

在这里插入图片描述

解决方案：

  • 构建多级缓存架构
    • nginx缓存 + redis缓存 +其他缓存（ehcache等）
  • 使用锁或者队列
    • 使用加锁或者队列的方式来保证不会有大量的线程一次性访问数据库，从而避免失效时大量的并发请求落到底层的存储系统上。不适合高并发场景。
  • 设置过期标志更新缓存
    • 记录缓存数据是否过期，如果过期会触发通知另外的线程去后台更新实际key 的缓存
  • 将缓存失效时间分散开

5.4、分布式锁

使用redis 实现分布式锁

SET key value nx ex 12 :nx上锁 ex 设置过期时间

  1. 使用setnx上锁，通过del释放锁
  2. 锁一直没有释放，设置key过期时间 ，自动释放

在这里插入图片描述

问题：上锁之后突然出现异常，无法设置过期时间了

解决：上锁的同时设置过期时间，自动释放锁

​ set users 10 nx ex 12

在这里插入图片描述

设置过期时间：

在这里插入图片描述

6、Redis 6 新功能

6.1、ACL

访问控制列表，对用户进行更细粒度的权限控制

命令：

  • 使用acl list命令展现用户权限列表

在这里插入图片描述

  • 简单了解，后续补充

6.2、io多线程

IO多线程其实指客户端交互部分的网络IO交互处理模块多线程，而非执行命令多线程。Redis6执行命令依然是单线程

King Gigi.
关注
Redis --- 高级篇
shuai_h的博客
01-09 1358
Redis分布式缓存
Redis进阶 一篇怼完
weixin_43713778的博客
06-30 799
Redis 过期的策略      可能有时候你会遇到一个场景，在 Redis 中大量的 key 明明已经过期了，结果发现 Redis 的占用还是很高？如果要明白为什么，那就要知道Redis 的过期策略。策略分为 2 种，定期删除与惰性删除。 定期删除     假设在 Redis 中存在 10w 个设置了过期的 key，如果此时 Redis 每隔指定毫秒每隔都扫描一遍看下有没有过期，那这个时候 Redis 基本就废了，CPU 负载
Redis系列之-慢查询、pipline与事务、发布订阅、HyperLogLog、GEO
just_do_it_20的博客
06-18 314
Redis系列之-高级用法 一 慢查询 1.1 生命周期 我们配置一个时间，如果查询时间超过了我们设置的时间，我们就认为这是一个慢查询. 慢查询发生在第三阶段 1.2 两个配置 1.2.1 slowlog-max-len 慢查询是一个先进先出的队列 固定长度 保存在内存中 1.2.2 slowlog-max-len 慢查询阈值（单位：微秒） slowlog-log-slower-than=0 记录所有命令 slowlog-log-slower-than<0 不记录任何命令 1.2.3 配置方法
Redis高级知识学习
最新发布
weixin_62969822的博客
08-11 672
【代码】Redis高级知识学习。
Redis-发布订阅
weixin_30294709的博客
09-21 172
发布者不是计划发送消息给特定的接收者（订阅者），而是发布的消息分到不同的频道，不需要知道什么样的订阅者订阅 订阅者对一个或多个频道感兴趣，只需接收感兴趣的消息，不需要知道什么样的发布者发布的 客户端发到频道的消息，将会被推送到所有订阅此频道的客户端 客户端不需要主动去获取消息，只需要订阅频道，这个频道的内容就会被推送过来 消息的格式 推送消息的格式包含三部分 ...
redis入门——redis高级应用
一只独孤的程序猿
12-30 7054
1、安全性     设置客户端连接后进行任何操作指定前需要密码，一个外部用户可以再一秒钟进行150W次访问，具体操作密码修改设置redis.conf里面的requirepass属性给予密码，当然我这里给的是primos 之后如果想操作可以采用登陆的时候就授权使用: sudo /opt/java/redis/bin/redis-cli -a primos 或者是进入以后auth primos
Redis 高级用法
weixin_43456343的博客
09-29 350
事务 . 基础概念 场景: 小明账户100元, 小红账户50元 需求: 小明转账50给小红 数据库语句: <1. 小明账户-50元><2. 小红账户+50元> 问题: 如果执行1句时, 数据库进程就死掉了… 事务是逻辑上数据库的一组操作, 这组操作要么一次成功, 或者这组操作全部失败, 是不可分割的一个工作单位 事务的四大特性: 原子性 一致性 隔离性 持久性 事务的四大特性(ACID) 原子性 事务中所有操作是不可分割的原子单位, 事务中所有擦欧洲哦要么全部执行成
redis高级用法
qq_32424581的博客
07-01 526
1.分布式锁 使用setnx命令可以实现分布式锁，但是这个锁会有原子性、可重入问题，就⽐如setnx成功，设置失效时间expire的时候可能失败。第三⽅的⼀些插件可以解决这些问题，Redission ，Jedis等，他们的底层都是通过lua脚本去保证的，就⽐如去删除的时候，去校验是否当前线程锁定的，就把⽐较和删除这样⼀些动作都放到⼀起了： 2.位图bitmap 在我们平时开发过程中，会有⼀些 bool 型数据需要存取，⽐如⽤户⼀年的签到记录，签了是 1，没签是 0，要记录 365 天。如果使⽤普通的 ke
Redis-高级篇资料
09-13
本“Redis-高级篇资料”主要探讨Redis的进阶特性、优化策略和实际应用，旨在帮助读者深入理解并有效利用Redis。 1. Redis的数据类型与操作 Redis支持五种基本数据类型：字符串(Strings)、哈希(Hashes)、列表(Lists...
【进阶篇】高级爬虫项目实战：大规模数据采集：实现分布式爬虫系统
[【进阶篇】高级爬虫项目实战：大规模数据采集：实现分布式爬虫系统](https://ask.qcloudimg.com/http-save/1305760/99730e6774737f2ecdd4cb029b952c24.png) # 1. 分布式爬虫系统概述** 分布式爬虫是一种利用分布式...
【进阶篇】高级Scrapy实践：定制中间件和管道
![python爬虫开发合集]...# 1. Scrapy框架概述及定制中间件 Scrapy是一个用于从网站提取数据的强大网络爬虫框架。它提供了广泛的内置功能，使开发者能够轻松地编写高效且可扩展的爬虫。
Redis进阶实践之五Redis的高级特性
weixin_34362991的博客
01-24 172
一、引言    上一篇文章写了Redis的特征，使用场景，同时也介绍了Redis的基本数据类型，redis的数据类型是操作redis的基础，这个必须好好的掌握。今天我们开始介绍一些Redis的高级特性，虽然有些命令很简单，但是这些命令是使用很广泛的，并且是通用的一些命令，好好的把握这些命令，通过组合这些命令可以完成比较复杂的任务，这都是基础，我们就开始我们今天的学习之旅吧。二、Redis的高级特性...
分布式缓存技术redis学习（三）——redis高级应用（主从、事务与锁、持久化）...
weixin_34159110的博客
07-18 159
  上文《详细讲解redis数据结构（内存模型）以及常用命令》介绍了redis的数据类型以及常用命令，本文我们来学习下redis的一些高级特性。目录如下：   安全性设置 设置客户端操作秘密 客户端授权方式 主从复制 主从复制的特点 主从复制的过程 配置主从服务器 事务与锁 事务开启与取消 乐观锁 持久化机制 RDB方式 AOF方式 发布以及订阅消息   安全性...
Redis
agrj56057的博客
08-02 173
Redis 1 Redis事务 基本事务指令 Redis提供了一定的事务支持，可以保证一组操作原子执行不被打断，但是如果执行中出现错误，事务不能回滚，Redis未提供回滚支持。 multi开启事务 exec执行事务 127.0.0.1:6379> multi OK 127.0.0.1:6379> set a 100 QUEUED 127.0.0.1:6...
Redis 一些高级用法
weixin_34258078的博客
06-25 283
延迟消息队列 利用 expire keyspace notification Redis 过期时，会向特定的消息队列发送消息，监听该消息队列 在 redis.conf 修改 notify-keyspace-events "Ex"，重启 Redis；或者直接利用 config set notify-keyspace-events "Ex" 设置定时任务的 key，key 包含了你在过期那一刻所需要...
redis（二）高级用法
weixin_34107739的博客
04-08 82
redis（二）高级用法 事务 redis的事务是一组命令的集合。事务同命令一样都是redis的最小执行单元，一个事务中的命令要么执行要么都不执行。 首先需要multi命令来开始事务，用exec命令来执行事务。 127.0.0.1:6379&gt; multi OK 127.0.0.1:6379&gt; hset user:1 name xiaoming QUEUED 127....
redis入门之高级用法
aogogo的博客
11-24 416
这篇文章接上篇redis入门基础教程,写写redis的稍稍高级一点的用法~~ 文章目录part 3:高级用法1、HyperLogLog(pfadd/pfcount)Redis HyperLogLog 命令2、订阅/消费Redis 发布订阅命令3、redis事务Redis 事务命令4、Redis 安全some err: part 3:高级用法 1、HyperLogLog(pfadd/pfcount) Redis HyperLogLog 是用来做基数统计的算法，优点是在输入元素的数量或者体积非常非常大时，计.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

King Gigi.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值