redis的持久化方式RDB和AOF的区别

最新推荐文章于 2024-07-30 10:10:12 发布

玉标

最新推荐文章于 2024-07-30 10:10:12 发布

阅读量3.6k

点赞数 1

https://blog.csdn.net/m0_38110132/article/details/76906422

转

redis的持久化方式RDB和AOF的区别

2017年08月08日 14:44:33 浮生忆梦阅读数：22220

1、前言

最近在项目中使用到Redis做缓存，方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。redis提供两种方式进行持久化，一种是RDB持久化（原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化），另外一种是AOF持久化（原理是将Reids的操作日志以追加的方式写入文件）。那么这两种持久化方式有什么区别呢，改如何选择呢？网上看了大多数都是介绍这两种方式怎么配置，怎么使用，就是没有介绍二者的区别，在什么应用场景下使用。

2、二者的区别

RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘，实际操作过程是fork一个子进程，先将数据集写入临时文件，写入成功后，再替换之前的文件，用二进制压缩存储。

AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作，查询操作不会记录，以文本的方式记录，可以打开文件看到详细的操作记录。

3、二者优缺点

RDB存在哪些优势呢？

1). 一旦采用该方式，那么你的整个Redis数据库将只包含一个文件，这对于文件备份而言是非常完美的。比如，你可能打算每个小时归档一次最近24小时的数据，同时还要每天归档一次最近30天的数据。通过这样的备份策略，一旦系统出现灾难性故障，我们可以非常容易的进行恢复。

2). 对于灾难恢复而言，RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。

3). 性能最大化。对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。

4). 相比于AOF机制，如果数据集很大，RDB的启动效率会更高。

RDB又存在哪些劣势呢？

1). 如果你想保证数据的高可用性，即最大限度的避免数据丢失，那么RDB将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象，此前没有来得及写入磁盘的数据都将丢失。

2). 由于RDB是通过fork子进程来协助完成数据持久化工作的，因此，如果当数据集较大时，可能会导致整个服务器停止服务几百毫秒，甚至是1秒钟。

AOF的优势有哪些呢？

1). 该机制可以带来更高的数据安全性，即数据持久性。Redis中提供了3中同步策略，即每秒同步、每修改同步和不同步。事实上，每秒同步也是异步完成的，其效率也是非常高的，所差的是一旦系统出现宕机现象，那么这一秒钟之内修改的数据将会丢失。而每修改同步，我们可以将其视为同步持久化，即每次发生的数据变化都会被立即记录到磁盘中。可以预见，这种方式在效率上是最低的。至于无同步，无需多言，我想大家都能正确的理解它。

2). 由于该机制对日志文件的写入操作采用的是append模式，因此在写入过程中即使出现宕机现象，也不会破坏日志文件中已经存在的内容。然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题，不用担心，在Redis下一次启动之前，我们可以通过redis-check-aof工具来帮助我们解决数据一致性的问题。

3). 如果日志过大，Redis可以自动启用rewrite机制。即Redis以append模式不断的将修改数据写入到老的磁盘文件中，同时Redis还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite切换时可以更好的保证数据安全性。

4). AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上，我们也可以通过该文件完成数据的重建。

AOF的劣势有哪些呢？

1). 对于相同数量的数据集而言，AOF文件通常要大于RDB文件。RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

2). 根据同步策略的不同，AOF在运行效率上往往会慢于RDB。总之，每秒同步策略的效率是比较高的，同步禁用策略的效率和RDB一样高效。

二者选择的标准，就是看系统是愿意牺牲一些性能，换取更高的缓存一致性（aof），还是愿意写操作频繁的时候，不启用备份来换取更高的性能，待手动运行save的时候，再做备份（rdb）。rdb这个就更有些 eventually consistent的意思了。

4、常用配置

RDB持久化配置

Redis会将数据集的快照dump到dump.rdb文件中。此外，我们也可以通过配置文件来修改Redis服务器dump快照的频率，在打开6379.conf文件之后，我们搜索save，可以看到下面的配置信息：

save 900 1 #在900秒(15分钟)之后，如果至少有1个key发生变化，则dump内存快照。

save 300 10 #在300秒(5分钟)之后，如果至少有10个key发生变化，则dump内存快照。

save 60 10000 #在60秒(1分钟)之后，如果至少有10000个key发生变化，则dump内存快照。

AOF持久化配置

在Redis的配置文件中存在三种同步方式，它们分别是：

appendfsync always #每次有数据修改发生时都会写入AOF文件。

appendfsync everysec #每秒钟同步一次，该策略为AOF的缺省策略。

appendfsync no #从不同步。高效但是数据不会被持久化。

加载数据库

在完成了上面的所有的初始化工作之后，Redis开始加载数据到内存中，如果启用了appendonly了，则Redis从appendfile加载数据，否则就从dbfile加载数据。

1. 从appendfile中加载数据：loadAppendOnlyFile()函数

在此之前，我们先来看一下appendfile里面保存了什么，如我执行了下面两条命令（记得在配置文件中开启appendonly）：

redis> SET mykey001 myvalue001
OK
redis> GET mykey001
"myvalue001"

使用cat命令查看appendonly.aof的内容：

复制代码

$ cat appendonly.aof
*2
$6
SELECT
$1
0
*3
$3
SET
$8
mykey001
$10
myvalue001

复制代码

在appendonly.aof文件中保存的正是从客户端发过来的请求命令，还可以看到对于GET命令，并没有保存。

既然appendonly.aof中保存了所有写入数据的请求命令，那么在加载数据的时候只要重新执行一遍这些命令即可。

事实上Redis也正是这么做的，在开始加载之前暂时关闭appendonly，然后Redis创建一个假的Redis客户端。

然后读取appendonly.aof文件中的命令，在假的Redis客户端上下文中执行，同时服务器也不对该客户端做任何应答。

如果加载过程中物理内存不够用，并且Redis开启了VM，则还需要处理swap操作，最后加载完成后重新设置appendonly标志。

2. 从dbfile中加载数据：rdbLoad()函数

如果Redis没有开启appendonly，就需要从数据库文件中加载数据到内存，基本步骤如下：

a. 处理SELECT命令，即选择数据库
b. 读取key
c. 读取value
d. 检测key是否过期
e. 添加新的对象到哈希表
f. 设置过期时间（如果需要）
g. 如果开启了VM，处理swap操作

Redis启动加载过程

1. 初始化全局服务器配置

2. 加载配置文件（如果指定了配置文件，否则使用默认配置）

3. 初始化服务器

4. 加载数据库

5. 网络监听

下面对上面这些步骤进行介绍

初始化全局服务器配置

初始化全局服务器配置通过initServerConfig()函数完成，主要是初始化server变量

初始化的内容包括下面几个方面：

1. 网络监听相关，如绑定地址，TCP端口等
2. 虚拟内存相关，如swap文件、page大小等
3. 保存机制，多长时间内有多少次更新才进行保存
4. 复制相关，如是否是slave，master地址、端口
5. Hash相关设置
6. 初始化命令表

如其中的保存机制中，服务器初始化策略为：

复制代码

// 1小时内1次更新
appendServerSaveParams(60*60,1);

// 5分钟内100次更新
appendServerSaveParams(300,100);

// 1分钟内10000次更新
appendServerSaveParams(60,10000);

复制代码

如果在启动服务器时，指定了配置文件，则会在下面的“加载配置文件”步骤中，根据配置文件内容，更改其中的某些服务器配置。

加载配置文件

如果指定了配置文件，Redis使用loadServerConfig()函数加载配置文件，使用标准I/O库打开配置文件，循环读取每一行然后覆盖上一步进行的默认配置。

需要注意的是，下载Redis后代码包中有一个默认配置文件，如果启动Redis服务器时，不指定配置文件，Redis不会使用这个默认文件的配置，而是使用上一步“初始化全局服务器配置”中的配置。在默认配置文件中提供的配置项与上一步默认初始化的配置有些事不一样的，所以如果没有指定配置文件，千万不能认为Redis的行为会按照默认配置文件进行，最典型的一个例子，在默认配置文件中的数据保存策略是：

复制代码

# 15分钟内1次更新
save 900 1

# 5分钟内100次更新
save 300 10

# 1分钟内10000次更新
save 60 10000

复制代码

而默认初始化的全局配置中数据保存策略：appendServerSaveParams的配置项

初始化服务器

初始化服务器的工作在initServer()函数中，主要是完成前面未完成的工作，继续对server变量初始化，如设置信号处理、创建clients、slaves列表，创建Pub/Sub通道列表，同时还会创建共享对象：

shared.crlf = createObject(REDIS_STRING,sdsnew("\r\n"));
shared.ok = createObject(REDIS_STRING,sdsnew("+OK\r\n"));
shared.err = createObject(REDIS_STRING,sdsnew("-ERR\r\n"));
shared.emptybulk = createObject(REDIS_STRING,sdsnew("$0\r\n\r\n"));

最后，如果启用了虚拟内存机制，还需要初始化虚拟内存相关，如Thread I/O等。

加载数据库

在完成了上面的所有的初始化工作之后，Redis开始加载数据到内存中，如果启用了appendonly了，则Redis从appendfile加载数据，否则就从dbfile加载数据。

1. 从appendfile中加载数据：loadAppendOnlyFile()函数

在此之前，我们先来看一下appendfile里面保存了什么，如我执行了下面两条命令（记得在配置文件中开启appendonly）：

redis> SET mykey001 myvalue001
OK
redis> GET mykey001
"myvalue001"

使用cat命令查看appendonly.aof的内容：

复制代码

$ cat appendonly.aof
*2
$6
SELECT
$1
0
*3
$3
SET
$8
mykey001
$10
myvalue001

复制代码

在appendonly.aof文件中保存的正是从客户端发过来的请求命令，还可以看到对于GET命令，并没有保存。

既然appendonly.aof中保存了所有写入数据的请求命令，那么在加载数据的时候只要重新执行一遍这些命令即可。

事实上Redis也正是这么做的，在开始加载之前暂时关闭appendonly，然后Redis创建一个假的Redis客户端。

然后读取appendonly.aof文件中的命令，在假的Redis客户端上下文中执行，同时服务器也不对该客户端做任何应答。

如果加载过程中物理内存不够用，并且Redis开启了VM，则还需要处理swap操作，最后加载完成后重新设置appendonly标志。

2. 从dbfile中加载数据：rdbLoad()函数

如果Redis没有开启appendonly，就需要从数据库文件中加载数据到内存，基本步骤如下：

网络监听

在完成了初始化配置和数据加载后，Redis启动监听。Redis的网络库没有使用libevent或者libev，而是作者自己实现的一个非常轻量级的库（主要实现在ae.c文件中）

然而回到我的问题上，如果数据库中数据已经放入了32G的数据，在启动redis时加载数据库这部分必定会相当相当慢，而且涉及到宕机的问题（物理内存到达峰值）

这时可能单台redis很难解决这个问题，而应该考虑集群。

5、参考资料

http://blog.csdn.net/jackpk/article/details/30073097

http://www.jb51.net/article/65264.htm

千万不要再乱喝蜂蜜了!知情人士亲赴深山，发现惊人真相！邱拉 · 顶新

樊鹏飞： 6666(3个月前#1楼)

redis 持久化详解,RDB和AOF是什么？他们优缺点是什么？运行流程是什么？

4153

Redis支持RDB和AOF两种持久化机制，持久化功能有效地避免因进程退出造成的数据丢失问题，当下次重启时利用之前持久化文件即可实现数据恢复。 1. RDB是什么 RDB持...来自：陈新明博客

Redis源码剖析和注释（十七）--- RDB持久化机制

3117

Redis RDB持久化机制1. RDB的介绍因为Redis是内存数据库，因此将数据存储在内存中，如果一旦服务器进程退出，服务器中的数据库状态就会消失不见，为了解决这个问题，Redis提供了两种持久化...来自： men_wen的博客

Redis持久化：RDB和AOF配置和对比

588

1. 前言 Redis的高性能是由于其将所有数据都存储在了内存中，为了使Redis在重启之后仍能保证数据不丢失，需要将数据从内存中同步到硬盘中，这一过程就是持久化。 Redis支持两种方式的...来自：琦彦

Redis的持久化-RDB

4414

Redis优秀的性能是由于其将所有的数据都存储在内存中，同样memcached也是这样做的，但是为什么Redis能够脱颖而出呢，很大程度上是因为Redis有出色的持久化机制，能够保证服务器重启后，数据...来自：胸无大志，枉活一世

Redis配置文件redis.conf 详解--aof&rdb

4074

Redis配置文件redis.conf 详解 1.基本配置内存单位的表示 # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000...来自： senlin1202的博客

数据库随笔1-RDB概述

719

做应用开发的童鞋，关系数据库RDB肯定接触不少，天天闹腾SQL，本文主要以InnoDB和Oracle举例，就是这张经典的图，把RDB的主要组件都描述出来了：查询编译器，把SQL语言，经过语法树...来自：柳云龙

RDB和AOF的区别和联系

5344

RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照优势 RDB 是一个非常紧凑（compact）的文件，它保存了 Redis 在某个时间点上的数据集。这种文件非常适合用...来自：发现-成长

下载

rdb打包解包3.9(更新）

11-19

需要安装 .NET 4.0 提醒: 1.本工具是根据作者对RDB文件结构进行黑箱分析推测出来的,并无事实依据.经过测试解包后再打包的文件与源文件大小相同,但是内容不同,经过测试可以替换正常使用.但是请

redis的 rdb 和 aof 持久化的区别

2.9万

redis的 rdb 和 aof 持久化的区别 url: http://ptc.35.com/?p=275 aof，rdb是两种 redis持久化的机制。用于crash后，redis的恢复。 r...来自： jackpk的专栏

文章热词

神经网络过拟合解决方式蒙特卡罗on-policy off-policy区别图像超分辨率重建模块区别机器学习机器学习课程

个人分类

展开

归档

展开

联系我们

微信客服

QQ客服

kefu@csdn.netQQ客服

客服论坛400-660-0108

工作时间 8:30-22:00

关于我们招聘广告服务网站地图

百度提供站内搜索 京ICP证09002463号

玉标

关注

1
点赞
踩
9

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

redis的持久化方式RDB和AOF的区别

redis的持久化方式RDB和AOF的区别

加载数据库

Redis启动加载过程

初始化全局服务器配置

加载配置文件

初始化服务器

加载数据库

网络监听

最新文章

个人分类

归档

热门文章

最新评论

联系我们