Redis持久化的取舍和选择

最新推荐文章于 2024-01-05 11:02:23 发布
最新推荐文章于 2024-01-05 11:02:23 发布
阅读量437 收藏 2
点赞数 1
分类专栏： # Redis 数据库 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43040688/article/details/106156421
版权

目录

持久化的作用

redis所有数据保存在内存中，对数据的更新将异步地保存到磁盘上。

有两种方式可以选择：
在这里插入图片描述

一、RDB（默认）

什么是RDB？

  • 通过一条命令将当前redis内存数据完整的生成一个快照然后写入到RDB文件中
  • RDB文件有自身的一些格式，是采用二进制形式来保存的，当需要对redis数据进行恢复，比如redis做了一次重启，那么就可以将该文件重新载入到redis中，将某个时刻的redis数据备份恢复到redis当中。
  • 在主从复制中RDB还充当了复制的媒介作用。

在这里插入图片描述

触发机制 - 主要三种方式

主要三种方式包括：save(同步)、bgsave(异步)、自动

save命令
  • 在客户端执行save命令，redis就会帮我们生成一个RDB文件。
  • 执行这个命令有个问题就是它是一个同步命令，如果save命令执行比较慢，其他所有命令都需要排队，也就是说数据量大的时候可能造成redis服务器阻塞。

在这里插入图片描述
文件策略是：当存在老的RDB文件时，执行命令会先生成一个临时文件，当命令执行完毕后将老的文件替换掉。

bgsave命令(异步)

  • 首先客户端执行 bgsave 命令，它不会像save命令一样去同步生成RDB，而是会在后台单独开启一个线程去执行。

  • 即使用了linux的fork()函数生成了主进程的一个子进程，由redis子进程去生成RDB文件，当RDB文件生成完毕后会通知主进程文件已经生成成功了。

注意：fast说明子进程是执行非常快的(大多数情况)，但是极少数情况下fork执行慢的话依然会阻塞redis

在这里插入图片描述

自动生成RDB

通过配置实现，达到某些条件情况下自动生成RDB文件。
如图所示的配置代表，如果60s改变了1万次数据，300s改变了10次数据，900s内改变了一条数据，三个条件任意满足一条即会自动生成RDB文件，当然它的自动生成实际是执行了bgsave命令。

在这里插入图片描述

自动生成问题

  • 如果对数据频繁的进行操作，会经常的进行数据的保存，无法精确的控制（一般不会使用）

两种方式对比

在这里插入图片描述

其他触发

有时候会造成自动的创建RDB文件，有下面几种可能：

  • 主从之间进行复制时，会需要全量复制，生成RDB文件
  • debug reload，即debug级别的重启，不会清空内存的数据，会生成RDB文件
  • 使用命令关闭时，会自动保存

总结

  • RDB是Redis内存到硬盘的快照，用于持久化
  • save通常会阻塞Redis
  • bgsave不会阻塞Redis，但是会fork新进程
  • save自动配置满足任一条件就会被执行(通常不使用)
  • 有些触发机制不容忽视

二、AOF

RDB的问题

耗时、耗性能
  • RDB生成过程就是内存中的Redis数据dump到硬盘当中，形成一个RDB文件。
  • 因为需要将所有数据进行dump，所以是比较耗时的
  • 写比较消耗CPU资源，fork消耗内存。
  • 如果数据量很大，写入硬盘也会消耗IO性能。
不可控、丢失数据
  • 无论是定时执行save/bgsave命令，还是使用自动生成策略，都存在数据丢失的可能性
    在这里插入图片描述

AOF运行原理

基于日志的原理，客户端执行每条写入命令都会追加到AOF文件中，当然存入命令时肯定是使用AOF特定的格式

在这里插入图片描述

恢复：当redis发生宕机之后，就可以使用AOF将redis中的数据进行完整的恢复，而且恢复基本是实时的。因为有记录到每个写入命令，当然根据不同AOF的策略也会决定写入的频率

在这里插入图片描述

AOF的三种策略

  • 三种策略: always、everysec、no

在记录写入命令时，通常会先存放在缓冲区中，可以提高写入的效率，缓冲区再根据生成策略刷新到AOF文件中。

  • always: 每条命令都会fsync到硬盘中，这样redis的写入数据就不会丢失

在这里插入图片描述
everysec: 每秒都会刷新缓冲区到硬盘中(默认值)
在高写入量时候会适当保护到硬盘，但是如果redis出现故障，有可能会丢失1秒的数据

在这里插入图片描述no: 根据当前操作系统的规则决定什么时候刷新到硬盘中，不需要我们来考虑

在这里插入图片描述

三种策略选择

通常采用默认配置：everysec，第一种如果redis写入量非常大，硬盘压力也会非常大。

在这里插入图片描述

AOF重写

AOF存在的问题是：随着时间逐步推移，AOF文件也会逐渐变大，那就会出现很多问题，比如如果使用AOF文件来进行恢复会非常慢。

如果文件无限制的增大，无论是对硬盘的管理还是写入命令的速度都会有一定影响，所以redis提供了AOF重写的方式来解决这个问题。

在这里插入图片描述

AOF重写作用

其实AOF重写就是将一些过期的、没有用的、重复的以及一些可优化的命令都可以进行化简，化简成一个很小的AOF文件。

从而达到如下目的：减少硬盘占用量、加速恢复速度

AOF重写实现两种方式
bgrewriteaof命令(类似bgsave)

本质上：是从内存中进行重写，而不是对文件重写
在这里插入图片描述

AOF重写配置(自动重写，实际也是执行命令)
  • 第一个配置就是说当AOF文件多大时进行重写，
  • 第二个就是说下一次增长率是多少进行重写。

比如达到100M进行重写，并且文件增长率为100%，即200M，400M后会再次进行重写。
在这里插入图片描述

AOF统计项

在这里插入图片描述

AOF重写流程

  • 客户端发送bgrewriteaof命令，由redis主(父)进程执行

  • 父进程会fork出一个子进程

  • 父进程仍然会进行正常的客户端的读写以及3.1和3.2过程
    ① redis仍然会将写命令写入到aof_buf当中，然后去写入到旧的AOF文件当中
    ② 除此之外，redis还会将这期间的写命令写入到aof_rewrite_buf当中

  • 子进程去完成AOF重写过程，其实是将内存中的数据进行回溯，然后写到新的AOF文件中
    ① 当新文件生成之后，子进程会发送信号通知父进程
    ② 当新文件生成之后，会将这个buffer(在重写期间新的增长数据)补充到新的AOF文件当中
    ③ 最终会用新的AOF文件来替换老的AOF文件完成AOF重写过程

在这里插入图片描述

AOF相关配置

  • appendonly: 要使用AOF功能需要设置为yes，默认为no
  • appendfilename: AOF文件名
  • appendfsync: AOF生成策略
    dir: 保存RDB、AOF文件以及日志文件的目录
  • no-appendfsync-on-rewrite: 在AOF重写的时候，是否要做正常的append操作，yes代表不做这个操作
  • auto-aof-rewrite-percentage: AOF文件增长率
  • auto-aof-rewrite-min-size: AOF文件重写需要的尺寸

在这里插入图片描述

RDB VS AOF

在这里插入图片描述

Xzzz2020
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis持久化RDB和AOF区别详解
12-14
Redis是世界上最受欢迎的内存数据存储系统之一，它广泛应用于缓存和数据库场景。为了确保数据在服务器重启或异常情况下的安全，Redis提供了两种主要的持久化...在选择持久化策略时，应根据业务需求和性能指标进行权衡。
Redis的持久化详解
怪咖@的博客
06-05 2万+
Redis的持久化，Redis是一个基于内存的数据库，它的数据是存放在内存中，内存有个问题就是关闭服务或者断电会丢失。Redis的数据也支持写到硬盘中，这个过程就叫做持久化。RDB（Redis DataBase）：简而言之，就是在指定的时间间隔内，定时的将 redis 存储的数据生成Snapshot快照并存储到磁盘等介质上；AOF（Append Of File）：将 redis 执行过的所有写指令记录下来，在下次 redis 重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复了。
Redis持久化
islunatic的博客
06-08 8043
redis
Redis持久化----RDB和AOF 的区别
热门推荐
ljheee的博客
07-28 3万+
关于Redis说点什么，目前都是使用Redis作为数据缓存，缓存的目标主要是那些需要经常访问的数据，或计算复杂而耗时的数据。缓存的效果就是减少了数据库读的次数，减少了复杂数据的计算次数，从而提高了服务器的性能。 一、redis持久化----两种方式 1、redis提供了两种持久化的方式，分别是RDB（Redis DataBase）和AOF（Append Only File）。 2、RDB，简
Redis持久化详解(简单易懂)
GSl0408的博客
09-07 2714
Redis持久化
Redis的持久化方式
啊勇的博客
12-06 1万+
Redis支持两种方式的持久化，一种是RDB方式、另一种是AOF（append-only-file）方式，两种持久化方式可以单独使用其中一种，也可以将这两种方式结合使用。
redis持久化方式
01-13
介绍redis两种持久化方式及配置，以及它们各自的优缺点
redis持久化
01-07
redis的持久化是对数据的更新异步的保存在磁盘上。redis服务启动，将保存在磁盘上的数据读取到内存中，实现持久化。 redis持久法的方式主要为两种：快照（rdb）；写日志（aof）； rdb原理 rdb实现持久化主要是将...
Redis持久化(五)-AOF文件的载入与数据还原、AOF文件重写实现原理
星光之子的博客
09-28 1146
AOF文件的载入与数据还原AOF文件的载入与数据还原AOF文件重写实现原理AOF后台重写(BGREWRITEAOF命令实现原理)触发AOF后台重写的条件(重要!!!) AOF文件的载入与数据还原 因为AOF文件里面包含了重建数据库状态所需的所有写命令，所以服务器只要读入并重新执行一遍AOF文件里面保存的写命令，就可以还原服务器关闭之前的数据库状态 Redis读取AOF文件并还原数据库状态的详细步骤如下： 创建一个不带网络连接的伪客户端（fake client）：因为Redis的命令只能在客户端上下文中执行
四、Redis 持久化 —— 超详细操作演示！
weixin_43412762的博客
12-10 5574
 Redis是一个内存数据库，所以其运行效率非常高。但也 存在一个问题：内存中的数据是不持久的，若 主机宕机 或 Redis 关机重启，则内存中的数据全部丢失。当然，这是不允许的。 Redis 具有持久化功能，其会按照设置以 快照 或 操作日志 的形式将数据持久化到磁盘。     根据持久化使用技术的不同，Redis 的持久化分为两种： RDB（Redis DataBase） 与 AOF （Append Only File）。
Redis 持久化
最新发布
Zyw907155124的博客
01-05 1960
Redis 持久化配置 ：RDB、AOF、混合持久化 RDB：save、bgsave AOF:自动触发AOF重写、AOF重写机制 Redis 4.0 混合持久化：混合持久化配置 Redis持久化关闭未生效：不同版本Redis关闭RDB的坑
Redis持久化存储策略机制（RDB、AOF）
IT之一小佬的博客
01-08 3722
Redis持久化存储策略机制（RDB、AOF）
Redis持久化方案
BushRo
02-10 5311
持久化方式 通常数据库存在三种用于持久操作以防止数据损坏的常见策略: 1．是数据库不关心故障，而是在数据文件损坏后从数据备份或快照中恢复。RDB就是这种情况 2．该数据库使用操作日志记录每个操作的操作行为，以在失败后通过日志恢复一致性。由于操作日志是按顺序追加写入的，因此不会出现无法恢复操作日志的情况。类似于Mysql的重做和撤消日志。 3．数据库不修改旧数据，而仅通过追加进行写入，因此数据本身就是日志，因此永远不会出现数据无法恢复的情况。CouchDB是一个很好的例子。AOF类似这种情况 严格上讲Re
Redis三种持久化方式详解
治愈里
08-20 2918
AOF（追加写文件）：AOF持久性记录服务器接收到的每个写入操作。于是在 Redis 重启的时候，可以 先加载 RDB 的内容，然后再重放增量 AOF 日志就可以完全替代之前的 AOF 全量文件重放，因此重启效率大幅得到提升。新的文件一开始不叫appendonly.aof，等到重写完新的AOF文件才会进行改名，覆盖原有的AOF文件，完成新旧两个AOF文件的替换。而是将重写这一刻之前的内存做RDB快照处理，并且将RDB快照内容和增量的AOF修改内存数据的命令存在一起，都写入新的AOF文件。
Redis(一)：Redis的持久化的原理和操作
mingyuli的博客
10-01 6721
的
redis的三种持久化策略及选取建议
qq_39350797的博客
06-05 752
redis的三种持久化策略及选取建议
Redis持久化详解
深圳市多克创新科技有限公司
12-15 1546
Redis持久化详解
Redis持久化机制详解
q58829的博客
08-04 521
Redis是一款高性能的键值存储和缓存数据库，而持久化机制是Redis的重要特性之一。本文将深入探讨Redis的两种持久化方式：快照（RDB）和追加日志文件（AOF），并详细介绍它们的工作原理、优缺点以及配置和使用方法。持久化是指将数据从内存中保存到磁盘上，以实现数据的持久性。Redis提供了两种持久化机制：快照（RDB）和追加日志文件（AOF）。这两种机制的目的都是在Redis重启后能够恢复数据，并提供数据持久化的保证。
redis 持久化方式的选择
07-24
选择 RDB 还是 AOF 持久化方式取决于你的需求和对数据安全性和恢复速度的要求。RDB 方式适用于对数据完整性要求不高、备份和恢复速度要求较高的场景，而 AOF 方式适用于对数据完整性要求较高、可以接受稍慢的恢复...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值