Redis持久化

最新推荐文章于 2023-01-11 01:24:44 发布
最新推荐文章于 2023-01-11 01:24:44 发布
阅读量93 收藏
点赞数 1
文章标签： redis 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46158141/article/details/120605438
版权

redis持久化RDB与AOF

前言

什么是持久化？

持久化就是利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化
持久化用于防止数据的意外丢失，确保数据安全性

Redis 提供了2个不同形式的持久化方式。

  1. RDB（Redis DataBase）：直接将内存中的数据持久化硬盘
  2. AOF（Append Of File）：保存的执行的命令

一、RDB是什么？

在指定的时间间隔内将内存中的数据集快照写入磁盘， 也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。
（RDB持久化可以手动执行也可以根据配置定期执行，它的作用是将某个时间点上的数据库状态保存到RDB文件中，RDB文件是一个压缩的二进制文件，通过它可以还原某个时刻数据库的状态。由于RDB文件是保存在硬盘上的，所以即使redis崩溃或者退出，只要RDB文件存在，就可以用它来恢复还原数据库的状态。）

1.备份是如何执行的

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到 一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。 整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

2. dump.rdb文件

在redis.conf中配置文件名称，默认为dump.rdb
在这里插入图片描述

3. 配置位置

rdb文件的保存路径，也可以修改。默认为Redis启动时命令行所在的目录下
在这里插入图片描述

4.如何触发RDB快照；保持策略

1、配置文件中默认的快照配置
在这里插入图片描述
2、命令save VS bgsave

save ：save时只管保存。save指令的执行会阻塞当前Redis服务器，直到当前RDB过程完成为止，有可能会造成长时间阻塞，线上环境不建议使用。
bgsave：Redis会在后台异步进行快照操作， 快照同时还可以响应客户端请求。
3、flushall命令
执行flushall命令，也会产生dump.rdb文件，但里面是空的，无意义

5.优势

  • RDB是一个紧凑压缩的二进制文件，存储效率较高
  • RDB内部存储的是redis在某个时间点的数据快照，非常适合用于数据备份，全量复制等场景
  • RDB恢复数据的速度要比AOF快很多
  • 应用：服务器中每X小时执行bgsave备份，并将RDB文件拷贝到远程机器中，用于灾难恢复。

6.劣势

  • Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑
  • 虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。
  • 在备份周期在一定间隔时间做一次备份，所以如果Redis意外down掉的话，就会丢失最后一次快照后的所有修改。
  • RDB方式无论是执行指令还是利用配置，无法做到实时持久化，具有较大的可能性丢失数据
  • bgsave指令每次运行要执行fork操作创建子进程，要牺牲掉一些性能
  • Redis的众多版本中未进行RDB文件格式的版本统一，有可能出现各版本服务之间数据格式无法兼容现象

二、AOF是什么？

（AOF和RDB不同，AOF是通过保存redis服务器所执行的写命令来记录数据库状态的。
AOF通过追加、写入、同步三个步骤来实现持久化机制）
以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

1. AOF持久化流程

（1）客户端的请求写命令会被append追加到AOF缓冲区内；

（2）AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中；

（3）AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；

（4）Redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的；

2.AOF默认不开启

可以在redis.conf中配置文件名称，默认为 appendonly.aof

AOF文件的保存路径，同RDB的路径一致。

3.AOF和RDB同时开启，redis听谁的？

AOF和RDB同时开启，两个都生效

4.AOF启动/修复/恢复

  • AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样，都是拷贝备份文件，需要恢复时再拷贝到Redis工作目录下，启动系统即加载。

  • 正常恢复

    • 修改默认的appendonly no，改为yes
    • 将有数据的aof文件复制一份保存到对应目录(查看目录：config get dir)
    • 恢复：重启redis然后重新加载

  • 异常恢复

    • 修改默认的appendonly no，改为yes
    • 如遇到AOF文件损坏，通过/usr/local/bin/redis-check-aof–fix appendonly.aof进行恢复
    • 备份被写坏的AOF文件
    • 恢复：重启redis，然后重新加载

5.AOF同步频率设置

  • appendfsync always

    始终同步，每次Redis的写入都会立刻记入日志；性能较差但数据完整性比较好

  • appendfsync everysec

    每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失。

  • appendfsync no

    redis不主动进行同步，把同步时机交给操作系统。

6. Rewrite压缩

1是什么：

AOF采用文件追加方式，文件会越来越大为避免出现此种情况，新增了重写机制, 当AOF文件的大小超过所设定的阈值时，Redis就会启动AOF文件的内容压缩， 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof

2重写原理，如何实现重写

AOF文件持续增长而过大时，会fork出一条新进程来将文件重写(也是先写临时文件最后再rename)，redis4.0版本后的重写，是指上就是把rdb 的快照，以二级制的形式附在新的aof头部，作为已有的历史数据，替换掉原来的流水账操作。

no-appendfsync-on-rewrite：

如果 no-appendfsync-on-rewrite=yes ,不写入aof文件只写入缓存，用户请求不会阻塞，但是在这段时间如果宕机会丢失这段时间的缓存数据。（降低数据安全性，提高性能）

​ 如果 no-appendfsync-on-rewrite=no, 还是会把数据往磁盘里刷，但是遇到重写操作，可能会发生阻塞。（数据安全，但是性能降低）

触发机制，何时重写

Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发

重写虽然可以节约大量磁盘空间，减少恢复时间。但是每次重写还是有一定的负担的，因此设定Redis要满足一定条件才会进行重写。

auto-aof-rewrite-percentage：设置重写的基准值，文件达到100%时开始重写（文件是原来重写后文件的2倍时触发）

auto-aof-rewrite-min-size：设置重写的基准值，最小文件64MB。达到这个值开始重写。

例如：文件达到70MB开始重写，降到50MB，下次什么时候开始重写？100MB

系统载入时或者上次重写完毕时，Redis会记录此时AOF大小，设为base_size,

如果Redis的AOF当前大小>= base_size +base_size*100% (默认)且当前大小>=64mb(默认)的情况下，Redis会对AOF进行重写。

3、重写流程

（1）bgrewriteaof触发重写，判断是否当前有bgsave或bgrewriteaof在运行，如果有，则等待该命令结束后再继续执行。

（2）主进程fork出子进程执行重写操作，保证主进程不会阻塞。

（3）子进程遍历redis内存中数据到临时文件，客户端的写请求同时写入aof_buf缓冲区和aof_rewrite_buf重写缓冲区保证原AOF文件完整以及新AOF文件生成期间的新的数据修改动作不会丢失。

（4）子进程写完新的AOF文件后，向主进程发信号，父进程更新统计信息。2).主进程把aof_rewrite_buf中的数据写入到新的AOF文件。

（5）使用新的AOF文件覆盖旧的AOF文件，完成AOF重写。

7.优势

  • 备份机制更稳健，丢失数据概率更低。
  • 可读的日志文本，通过操作AOF稳健，可以处理误操作。

8.劣势

  • 比起RDB占用更多的磁盘空间。
  • 恢复备份速度要慢。
  • 每次读写都同步的话，有一定的性能压力。
  • 存在个别Bug，造成恢复失败

三、用哪个好？

  1. 对数据非常敏感，建议使用默认的AOF持久化方案

    • AOF持久化策略使用everysecond，每秒钟fsync一次。该策略redis仍可以保持很好的处理性能，当出现问题时，最多丢失0-1秒内的数据。
    • 注意：由于AOF文件存储体积较大，且恢复速度较慢

  2. 数据呈现阶段有效性，建议使用RDB持久化方案

    • 数据可以良好的做到阶段内无丢失（该阶段是开发者或运维人员手工维护的），且恢复速度较快，阶段点数据恢复通常采用RDB方案
    • 注意：利用RDB实现紧凑的数据持久化会使Redis降的很低，慎重总结：

  3. 综合比对

    • RDB与AOF的选择实际上是在做一种权衡，每种都有利有弊

    • 如不能承受数分钟以内的数据丢失，对业务数据非常敏感，选用AOF

    • 如能承受数分钟以内的数据丢失，且追求大数据集的恢复速度，选用RDB

    • 灾难恢复选用RDB

崛起之路6
关注
Redis进阶（二）
qq_44921837的博客
09-05 773
Redis进阶（二）Redis持久化之RDB Redis持久化之RDB
rdb 文件查看工具
10-09
可以打开rdb格式的文件，rdb文件的优点，自己可以去查。QQ里的图标资源就是rdb格式的，这个工具可以提取其中的图标，good lucy。
从零学Linux-每天学一点点-LAMP+Redis主从工作的原理+Redis主从复制备份
Devops学习旅途
08-26 185
1.1 LAMP+Redis主从工作的原理 LAMP+Redis工作机制：用户通过浏览器访问LAMP网站，并以用户名和密码登录到网站，默认Redis缓存中没有该用户名和密码对应列表，PHP程序会读取MYSQL数据库中的用户名和密码，然后将用户名和密码缓存至Redis中，下次用户通过浏览器再次使用同样的用户名和密码登录网站，PHP无需从数据库中读取该用户和密码信息，而是直接优先从Redis缓存中读取...
redis dump.rdb appendonly.aof 文件路径修改
热门推荐
九天工作室
03-29 1万+
# The working directory. # # The DB will be written inside this directory, with the filename specified # above using the 'dbfilename' configuration directive. # # The Append Only File will also b
Linux学习-redis持久化之AOF和RDB
丢爸
11-08 326
有关redis持久化，AOF和RDB
redis持久化
01-07
redis持久法的方式主要为两种：快照（rdb）；写日志（aof）； rdb原理 rdb实现持久化主要是将当前进程中的数据生成快照保存到硬盘上，在重启的时候读取硬盘上的数据（如果同时配置了aof，将会先执行aof策略，因为...
02-Redis持久化、主从与哨兵架构详解.zip
11-18
Redis是一款高性能的键值对内存数据库，常用于缓存、消息队列以及数据持久化等场景。本资料包主要探讨Redis的三个核心概念：持久化、主从复制和哨兵架构，这些都是确保Redis高可用性和数据安全的重要机制。 首先，...
从源码解读redis持久化
12-16
【Redis持久化】Redis作为一款内存数据库，其数据存储在内存中，存在因服务器宕机导致数据丢失的风险。为了确保数据安全，Redis提供了持久化机制，将内存中的数据保存到磁盘，即使服务器重启，也能恢复数据。持久化...
Linux 持久化之AOF操作【redis】
qq_46489085的博客
12-05 1320
前言✍ 可以先看往期的 【RDB????】 快照功能（RDB）并不是非常耐久（durable）： 如果 Redis 因为某些原因而造成故障停机， 那么服务器将丢失最近写入、以及未保存到快照中的那些数据。 从 1.1 版本开始， Redis 增加了一种完全耐久的持久化方式： AOF 持久化。 什么是AOF 如果要使用AOF，需要修改配置文件： appendonly no yes则表示启用AOF 默认是不开启的，我们需要手动配置，然后重启redis，就可以生效了！ 将我们的命令都记录下来，hist
Redis学习笔记（三）：Linux环境安装Redis、配置Redis、持久化（RDB、AOF）
Miracle42的博客
05-08 650
基于Linux环境安装Redis 基于Center OS7安装Redis 下载安装包： wget http://download.redis.io/releases/redis-?.?.?.tar.gz 解压 tar –xvf 文件名.tar.gz 编译 make 安装 make install [destdir=/目录] 创建软链接 #ln -s 原始目录名 快速访问目录名 ln -s /usr/local/redis/src/redis-cli /sbin/red
linux下如何搜索某个文件,技术|如何在 Linux 中查找一个文件
weixin_39788131的博客
04-28 977
对于新手而言，在 Linux 中使用命令行可能会非常不方便。没有图形界面，很难在不同文件夹间浏览，找到需要的文件。本篇教程中，我会展示如何在 Linux 中查找特定的文件。第一步要做的是find 命令，另外一种是使用 locate 命令。我们先看第一种。find 命令使用 Linux find 命令可以用不同的搜索标准如名字、类型、所属人、大小等来搜索目录树。基本语法如下：# find path ...
Linux环境下，在redis.conf文件配置save自动保存，后文件不生效
qq_45769627的博客
10-12 787
今天学习配置save自动保存的时候，明明文件修改了，启动服务的时候也带上了 redis-6379.conf, 但是自动保存就是没生效。 原因：redis-server 服务没关闭就直接启动了，修改文件后应该kill掉redis-server，再启动，这样便生效了。 参考博客 ...
redis迁移至linux,redis几种数据导出导入方式
weixin_35315019的博客
05-15 473
环境说明：172.20.0.1 redis源实例172.20.0.2 redis目标实例172.20.0.3 任意linux系统一、redis-dump方式1.安装redis-dump工具[root@172.20.0.3~]#yuminstallrubyrubygemsruby-devel-y更改gem源[root@172.20.0.3~]#gemsources-ahttp...
Redis——持久化之RDB
★★光亭★★
07-24 7049
Redis——持久化之RDB
redis
ckx215的博客
03-11 348
安装 Redis是c语言开发的。 安装redis需要c语言的编译环境。如果没有gcc需要在线安装。yum install gcc-c++ 安装步骤： 第一步：redis的源码包上传到linux系统。 第二步：解压缩redis。 第三步：编译。进入redis源码目录。make 第四步：安装。make install PREFIX=/usr/local/redis PREFIX参数指定redis的安...
手把手带你实操 【RDB & AOF】 （保姆级）
Java领域博主
03-14 1825
RDB-AOF实操·（建议收藏）
redis 学习(17) -- RDB
weixin_30765475的博客
06-03 111
redis -- RDB 什么是 RDB 经过RDB之后，redis会将内存中的数据创建一份快照到硬盘中，称为RDB文件（二进制） 当redis重新启动时，会加载硬盘中的RDB文件，加载到内存中完成数据恢复。 RDB 的触发方式 - 主要三种方式 save（同步） bgsave（异步） 自动 1. save（同步） 执行流程如下： 在 save 的同时，其他命令会阻塞等待 如果存在老的 ...
假如Redis同时开了RDB和AOF会怎样？
最新发布
m0_54385790的博客
01-11 1633
因为前面的数据是RDB记录的二进制形式的数据，所以直接加载进内存即可，而appendonly.aof 后面是少量的 AOF记录的命令，则需要重新执行。虽然是两种持久化方式都开启了，也就是说会产生 dump.rdb 和 appendonly.aof 两种文件，但是掉电恢复时，是只会使用 appendonly.aof 来恢复的！也就是说，这种情况下， appendonly.aof 文件的前部分是 RDB的数据，后部分才是AOF的数据。其实是可以的，我们可以两种持久化方式都开启（AOF默认是不开启的）
Redis持久化深度解析：RDB与AOF对比
本文主要介绍Redis的两种主要持久化方案：RDB (Redis持久化) 和 AOF (Append Only File)。 RDB（Redis持久化文件）是Redis默认的持久化方式，它的工作原理是定期（如每30分钟、60分钟等自定义设置）创建一个基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值