Redis持久化AOF与RDB全面解析（大厂面试必问，看完之后offer直接到手，你学废了吗？）

最新推荐文章于 2024-11-14 18:27:46 发布
最新推荐文章于 2024-11-14 18:27:46 发布
阅读量1.1k 收藏 17
点赞数 19
文章标签： redis 面试 bootstrap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_87252417/article/details/142437682
版权

2.2 Fork

2.3 自动触发

2.2 手动触发

2.3 RDB持久化文件的备份

3、AOF

3.1 简介

3.2 AOF配置

3.3 AOF修复功能

3.4 AOF重写

4、混合持久化

5、总结

1、简介

Redis的非常快，很大一部分原因是因为Redis的数据存储在内存中，既然在内存中，那么当服务器宕机或者断电的时候，数据就会全部丢失了，所以Redis提供了两种机制来保证Redis数据不会因为故障而全部丢失，这种机制称为Redis的持久化机制。

Redis的持久化机制有两种：

  • RDB(Redis Data Base) 内存快照

  • AOF(Append Only File) 增量日志

**RDB(Redis DataBase) **指的是在指定的时间间隔内将内存中的数据集快照写入磁盘，RDB是内存快照（内存数据的二进制序列化形式）的方式持久化，每次都是从Redis中生成一个快照进行数据的全量备份。

优点：

  • 存储紧凑，节省内存空间

  • 恢复速度非常快

  • 适合全量备份、全量复制的场景，经常用于灾难恢复（对数据的完整性和一致性要求相对较低的场合）

缺点：

  • 容易丢失数据，容易丢失两次快照之间Redis服务器中变化的数据。

  • RDB通过fork子进程对内存快照进行全量备份，是一个重量级操作，频繁执行成本高。

  • fork子进程，虽然共享内存，但是如果备份时内存被修改，最大可能膨胀到2倍大小。

**AOF(Append Only File)**是把所有对内存进行修改的指令（写操作）以独立日志文件的方式进行记录，重启时通过执行AOF文件中的Redis命令来恢复数据。AOF能够解决数据持久化实时性问题，是现在Redis持久化机制中主流的持久化方案（后续会谈到4.0以后的混合持久化）。

优点：

  • 数据的备份更加完整，丢失数据的概率更低，适合对数据完整性要求高的场景

  • 日志文件可读，AOF可操作性更强，可通过操作日志文件进行修复

缺点：

  • AOF日志记录在长期运行中逐渐庞大，恢复起来非常耗时，需要定期对AOF日志进行瘦身处理（后续详述）

  • 恢复备份速度比较慢

  • 同步写操作频繁会带来性能压力

官网地址

http://www.redis.io

2、RDB

2.1 简介

RDB持久化方案进行备份时，Redis会单独fork一个子进程来进行持久化，会将数据写入一个临时文件中，持久化完成后替换旧的RDB文件。在整个持久化过程中，主进程（为客户端提供服务的进程）不参与IO操作，这样能确保Redis服务的高性能，RDB持久化机制适合对数据完整性要求不高但追求高效恢复的使用场景。

下面展示RDB持久化流程：

Redis-RDB流程.png

2.2 Fork

上面说到了RDB持久化过程中，主进程会fork一个子进程来负责RDB的备份，这里简单介绍一下fork

  • Linux操作系统中的程序，fork会产生一个和父进程完全相同的子进程。子进程与父进程所有的数据均一致，但是子进程是一个全新的进程，与原进程是父子进程关系

  • 出于效率考虑，Linux操作系统中使用COW(Copy On Write)写时复制机制，fork子进程一般情况下与父进程共同使用一段物理内存，只有在进程空间中的内存发生修改时，内存空间才会复制一份出来。

在Redis中，RDB持久化就是充分的利用了这项技术，Redis在持久化时调用glibc函数fork一个子进程，全权负责持久化工作，这样父进程仍然能继续给客户端提供服务。fork的子进程初始时与父进程（Redis的主进程）共享同一块内存；当持久化过程中，客户端的请求对内存中的数据进行修改，此时就会通过COW机制对数据段页面进行分离，也就是复制一块内存出来给主进程去修改。

cow示意图 (1).png

RDB触发的规则分为两大类，分别是手动触发和自动触发：

自动触发：

  1. 配置触发规则

  2. shutdown触发

  3. flushall触发

手动触发：

  1. save

  2. bgsave

2.3 自动触发

以下介绍Redis的RDB持久化机制中的自动触发机制中的配置触发规则来触发RDB，涉及到RDB规则的配置、文件存储路径配置、文件名配置、文件压缩配置、文件完整性校验配置。

​

2.3.1 配置规则触发

  • 在Redis安装目录下的redis.conf配置文件中搜索 /snapshot即可快速定位，配置文件默认注释了下面三行数据，通过配置规则来触发RDB的持久化，需要开启或者根据自己的需求按照规则来配置。

image.png

下面对配置规则进行解释，实际使用过程中可以根据需求进行合理的配置

save 3600 1 -> 3600秒内有1个key被修改，触发RDB

save 300 100 -> 300 秒内有100个key被修改，触发RDB

save 60 10000 -> 60 秒内有10000个key被修改，触发RDB

  • 配置RDB文件的存储路径

image.png

我们可以在Redis的安装目录下看到dump.rdb文件，如果没看到，连接到客户端执行一次shutdown，这个是后面shutdown自动触发规则，后续会讲述

image.png

  • 配置RDB文件的名称

image.png

  • 配置RDB文件压缩

Redis默认会使用LZF算法对Redis的RDB文件进行压缩，这会消耗一定的CPU计算资源，但是会带来空间上的节省

image.png

  • 配置RDB文件完整性校验

Redis 默认使用CRC64的算法，对RDB文件完整性进行校验，以此来保证RDB文件的完整

image.png

2.3.2 shutdown触发

shutdown触发Redis的RDB持久化机制非常简单，我们在客户端执行shutdown即可。

image.png

2.3.3 flushall触发

首先这里一定要特别注意，flushall是删库跑路，它是清空dump.rdb文件，千万千万不要看了博主的文章，跑到公司备份的时候顺手来个flushall，然后到时候来问候我……，这个flushall是为了清空Redis数据的同时清空dump.rdb文件，要不然重启Redis的时候，数据又会恢复到上一次备份的时候的数据，与flushall的执行指令含义就冲突了。

为了证明这个文件不会保留数据，我特地特地的写个脚本测试一下：

编写一个批量插入的脚本文件

vi batchKeyInsert.sh

#!/bin/bash

for((i=0;i<100000;i++))

do

echo -en “Hello Redis.” | redis-cli -h 192.168.211.108 -p 6379 -c -x set name$i >>redis.log

done

文件赋权

chmod +x batchKeyInsert.sh

image.png

./batchKeyInsert.sh

image.png

此时查看dump.rdb

image.png

执行flushall，后再次查看，rbd文件被清空

image.png

2.2 手动触发

手动触发RDB持久化的方式可以使用save命令和bgsave命令，这两个命令的区别如下。

save：执行save指令，阻塞Redis的其他操作，会导致Redis无法响应客户端请求，不建议使用。

bgsave：执行bgsave指令，Redis后台异步进行快照的保存操作，此时Redis仍然能响应客户端的请求。

2.3 RDB持久化文件的备份

在实际的生产环境中，我们一般不会使用主节点Master来进行持久化备份，我们会通过在Redis的多个从服务器上进行RDB持久化备份，这样是为了对Redis数据的多次备份，防止出现网络分区或者部分节点宕机甚至是硬件损坏的情况发生。

作为运维或者架构师，李子捌觉得应该要定时定期的通过脚本对Redis持久化文件进行转移备份，这样双重保险，更加可靠，万一遇到突发情况，也是多一手解决方案。

3、AOF

3.1 简介

Redis配置文件中开启，AOF持久化方案进行备份时，客户端所有请求的写命令都会被追加到AOF缓冲区中，缓冲区中的数据会根据Redis配置文件中配置的同步策略来同步到磁盘上的AOF文件中，同时当AOF的文件达到重写策略配置的阈值时，Redis会对AOF日志文件进行重写，给AOF日志文件瘦身。Redis服务重启的时候，通过加载AOF日志文件来恢复数据。

Redis-AOF持久化流程 (2).png

3.2 AOF配置

AOF默认不开启，默认为appendonly no，开启则需要修改为appendonly yes

image.png

AOF配置文件的名称默认为appendonly.aof

image.png

配置文件的地址可以通过在redis客户端执行config get dir获取，其保存路径与RDB一致

image.png

3.2.2 同步频率配置

AOF日志是以文件的形式存在的，当程序对AOF日志文件进行写操作时，实际上将内容写到了内核为文件描述符分配的一个内存缓冲区中，随后内核会异步的将缓冲区中的数据刷新到磁盘中。如果缓冲区中的数据没来得及刷回磁盘时，服务器宕机了，这些数据就会丢失。

因此Redis通过调用Linux操作系统的glibc提供的fsync(int fid)来将指定文件的内容强制从内核缓冲区刷回磁盘，以此来保证缓冲区中的数据不会丢失。不过这是一个IO操作，相比Redis的性能来说它是非常慢的，所以不能频繁的执行。

Redis配置文件中有三种刷新缓冲区的配置：

appendfsync always

每次Redis写操作，都写入AOF日志，这种配置理论上Linux操作系统扛不住，因为Redis的并发远远超过了Linux操作系统提供的最大刷新频率，就算Redis写操作比较少的情况，这种配置也是非常耗性能的，因为涉及到IO操作，所以这个配置基本上不会用

appendfsync everysec

每秒刷新一次缓冲区中的数据到AOF文件，这个Redis配置文件中默认的策略，兼容了性能和数据完整性的折中方案，这种配置，理论上丢失的数据在一秒钟左右

appendfsync no

Redis进程不会主动的去刷新缓冲区中的数据到AOF文件中，而是直接交给操作系统去判断，这种操作也是不推荐的，丢失数据的可能性非常大。

image.png

注意要刷新缓冲区的数据到磁盘需要将如下配置，配置为no，不是yes

no-appendfsync-on-rewrite no

3.3 AOF修复功能

AOF持久化机制正常恢复与RDB持久化机制的恢复是一样的，都只需要将备份文件放置到Redis的工作目录下，Redis启动时就会自动的加载。AOF持久化机制提供了AOF文件异常时恢复的功能，这个功能在AOF文件损坏的场景中经常被使用到。

​测试，清空Redis服务中的数据

image.png

写入数据

image.png

AOF日志文件每秒会被刷新一次数据，此时数据已经写入了appendonly.aof文件

image.png

打开文件我们可以非常清除的阅读AOF的文件内容，看到Redis的指令序列

image.png

此时人为的进行数据破坏

image.png

再次启动发现无法启动（我配置的别名启动）

image.png

执行redis-check-aof --fix …/appendonly.aof 对AOF日志文件进行修复

image.png

修复过程中会有部分数据丢失

image.png

连接客户端查看数据

image.png

3.4 AOF重写

前面提到AOF的缺点时，说过AOF属于日志追加的形式来存储Redis的写指令，这会导致大量冗余的指令存储，从而使得AOF日志文件非常庞大，比如同一个key被写了10000次，最后却被删除了，这种情况不仅占内存，也会导致恢复的时候非常缓慢，因此Redis提供重写机制来解决这个问题。Redis的AOF持久化机制执行重写后，保存的只是恢复数据的最小指令集，我们如果想手动触发可以使用如下指令：

bgrewriteaof

2401_87252417
关注
【大厂面试】Redis 持久化AOF、RDB概念总结
01-21
【大厂面试】面试官都爱问的 Redis 持久化 (RDB) 【大厂面试】面试官都爱问的 Redis 持久化 (AOF) RDB 持久化方式能够在指定的时间间隔能对你的数据进行快照存储 AOF 持久化方式记录每次对服务器写的操作，当服务器...
Redis持久化——RDF与AOF两种方式怎么做？有什么区别？
m0_70325779的博客
08-31 1577
RDB全称是 Redis Database file(Redis数据备份文件)，也被叫做Redis数据快照。它的原理也很好理解，因为Redis本身是基于内存的，一旦服务器宕机或停电，数据就会丢失，因此 Redis 它本身就带有数据备份的一个功能，它会每隔一段时间将数据从内存写入到磁盘进行保存，保存的数据形成的文件我们就称它为快照，当我们重启 Redis 之后，它就会再次读取快照文件中的数据，将数据恢复，防止数据的丢失，RDB文件默认保存在当前运行目录。
数据不丢失：Redis RDB与AOF持久化深度解析
08-17
2. **持久化**：尽管 Redis 是一个内存数据库，但它提供了持久化机制，可以将内存中的数据保存到磁盘，防止数据丢失。 3. **支持事务**：Redis 支持简单的事务功能，可以保证操作的原子性。 4. **丰富的数据类型**：...
Redis 持久化之RDB和AOF.doc
10-09
Redis 持久化是确保数据安全的重要机制，它提供了两种主要的方法：RDB（Redis Database）和 AOF（Append Only File）。RDB 是一种快照式的持久化方式，而 AOF 则记录每次写操作的日志。 RDB 持久化在特定条件下将...
Redis两种持久化方案RDB和AOF详解
09-09
它提供了两种主要的持久化方案：RDB（Redis DataBase）和AOF（Append Only File）。这两种方式各有特点，适用于不同的场景需求。 **RDB持久化**： RDB是Redis的默认持久化策略，它会在特定条件下生成数据的快照并...
Redis
m0_73837751的博客
11-14 505
String：简单键值存储，适合计数器、单一属性缓存。Hash：结构化存储，适用于存储对象数据（如用户信息）。List：有序队列，适合消息队列、任务队列。Set：无序集合，用于去重、唯一性统计、共同好友等。Sorted Set：有序集合，适合排行榜和积分排名。问题类型描述主要解决方案缓存穿透请求的数据既不在缓存中也不在数据库中，大量请求穿过缓存访问数据库缓存空结果、布隆过滤器、参数校验缓存击穿高并发请求集中访问缓存中某个热点数据，缓存过期导致直接访问数据库。
Redis简介、数据结构、高性能读写、持久化机制、分布式架构
weixin_42267411的博客
11-14 854
Redis简介、数据结构、高性能读写、持久化机制、分布式架构
Spring Boot 应用程序中集成 Redis 并实现存储读取字符串或者复杂对象
最新发布
wujian_csdn_csdn的博客
11-14 132
【代码】Spring Boot 应用程序中集成 Redis 并实现存储读取字符串或者复杂对象。
Spring Boot中集成Redis与MySQL
m0_73837751的博客
11-14 1184
用途：将键或简单的值序列化为字符串。适用场景：通常用于键的序列化，确保键在 Redis 中以字符串存储，以便于直接查看和管理。用途：将对象序列化为 JSON 格式的字符串，并支持 JSON 反序列化回对象。适用场景：通常用于值的序列化，尤其是需要存储复杂对象的情况。它可以确保数据的可读性，且 JSON 格式数据跨系统兼容性好。缓存穿透指的是请求的数据在缓存和数据库中都不存在，这种请求直接穿过缓存访问数据库。当恶意请求大量涌入时，缓存层无法拦截这些无效请求，导致数据库承受大量压力，从而影响性能。
Redis的Zset在排行榜中应用
m0_72410274的博客
11-14 94
Zset在排行榜中的应用
高级java每日一道面试题-2024年11月01日-Redis篇-Redis支持的数据类型有哪些?
qq_43071699的博客
11-11 797
Redis 支持多种数据类型，每种数据类型都有其特定的用途和操作方法。理解这些数据类型及其应用场景对于设计高效的缓存系统和数据存储解决方案非常重要。在高级面试中，能够详细解释这些数据类型及其使用场景，可以展示你对 Redis 的深入理解和实际应用能力。
redis 原理篇 30 redis内存回收 过期key处理
qq_41577703的博客
11-11 311
三十分，又是一个长视频，挺好，但是从标题来看，内容应该很简单，或者说，是他能讲简单的类型，本来还想再搞一篇，但是三十分钟的话，五点五十了，算了，下周吧，对于 redis 的 过期 实现， 我感觉用有排序的 数据结构会更好， 根据过期时间排序 读写， 更快，学习能力还是可以的，之前看视频然后应试没问题，现在继续看视频，然后应用，应用视频比应试视频简单太多了，惰性删除挺好的，懒汉模式，redis 很多地方都用这种思想，比如 rehash 等，最后2集，这周干完，redis精通了，
部署安装jdk8\redis\mysql8\nginx
weixin_45969142的博客
11-10 870
部署安装jdk8\redis\mysql8\nginx
Redis 5 种基本数据类型详解
2403_87122707的博客
11-14 745
设置一个或多个指定 key 的值MGET key1 key2 ...获取一个或多个指定 key 的值STRLEN key返回 key 所储存的字符串值的长度INCR key将 key 中储存的数字值增一DECR key将 key 中储存的数字值减一EXISTS key判断指定 key 是否存在DEL key（通用）删除指定的 keyEXPIRE key seconds（通用）给指定 key 设置过期时间。，但是 C 语言并没有实现链表，所以 Redis 实现了自己的链表数据结构。
redis实现消息队列的几种方式
qq_43419029的博客
11-11 786
众所周知，redis是我们日常开发过程中使用最多的非关系型数据库，也是消息中间件。实际上除了常用的rabbitmq、rocketmq、kafka消息队列（大家自己下去研究吧~模式都是通用的），我们也能使用redis实现消息队列。因为其他中间件可能更适用于大型/企业级项目，在咱们项目前期不需要这么多的数据，redis跟我们也是高度集成的。这里就简化了技术栈。
在 Spring Boot 中实时监控 Redis 命令流
花伤情犹在的博客
11-08 1039
在Redis的日常使用和调试中，监控命令流有助于我们更好地理解Redis的工作状态。Redis提供了MONITOR命令，可以实时输出Redis中所有客户端的命令请求，这一功能在调试和分析性能时非常有帮助。在项目中，我们可以通过Jedis客户端来实现Redis命令监控。本文将介绍如何使用 Jedis 实现这一功能，并对比telnet实现MONITOR机制的工作方式。RedisMONITOR命令可以实时输出所有客户端的命令日志，是调试和分析 Redis 性能的利器。在项目中，可以利用Jedis的monitor。
redis7.x源码分析:(3) dict字典
jwybobo2007的博客
11-14 201
另外，dict对hash值相同的key采用了常规的开链法存储，而unordered_map在采用开链法的前提下，又使用了_M_before_begin将不同桶中的链表串联成了一个大链表，从而将遍历速度优化为O(n)；还有就是，dict为应对服务器性能上的特殊要求，设计成了双hash表的形式，这也使得它的rehash等操作存在一些特殊性。hash表的创建比较简单直接略过，先看下 _dictExpand 的实现，它在hash表扩容缩容和创建时都会用到。两者在代码实现层面存在一些差异，比如gnustl的。
redis开启远程登录
ithongchou的博客
11-10 158
Redis 默认配置下仅允许本地访问，要开启远程登录，你需要修改 Redis 配置文件中的一些设置。确保你了解这些风险，并采取适当的安全措施，例如设置防火墙规则、使用强密码以及定期更新 Redis。修改配置后，你需要重启 Redis 服务以使更改生效。，而在 Windows 系统上，位置可能不同，取决于你安装 Redis 的方式。默认情况下，Redis 在保护模式下运行，仅允许本地连接。如果配置正确，你应该能够成功连接到 Redis 服务器。例如，在 Linux 上，你可以使用。或者，如果你的系统使用。
Redis RDB与AOF持久化策略深度解析
"Redis的两种持久化方案是RDB（Redis DataBase）和AOF（Append Only File）。RDB是默认方案，它会在指定时间间隔和更新条件满足时，将内存中的数据快照写入磁盘生成dump.rdb文件。AOF则记录每次写操作，当Redis重启...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值