Redis持久化

已于 2024-01-18 16:38:06 修改
阅读量61 收藏 1
点赞数 1
分类专栏： redis 笔记 文章标签： redis java spring cloud spring maven
于 2023-07-08 13:44:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44980517/article/details/131611068
版权
Redis的持久化包括RDB和AOF两种方式。RDB是定期生成数据集的快照，适合大规模数据恢复，但可能丢失最近数据。AOF记录每次写操作，保证数据一致性，支持不同写回策略。AOF重写用于压缩文件。混合持久化同时启用两者，优先加载AOF恢复数据。
摘要由CSDN通过智能技术生成

Redis持久化 AOF RDB 大白话理解

一图解释

image

RDB

在指定的时间间隔,执行数据集的时间点快照

image

配置文件

stop-writes-on-bgsave-error默认yes, 你不在乎数据不一致或者有其他手段发现和控制这种不一致,在快照写入失败时,也能确保redis继续接受新的写请求
rdbcompression默认yes,对于存储到磁盘中的快照,可以设置是否进行压缩存储. 如果是的话,redis会采用LZF算法进行压缩,如果不想消耗CPU来进行压缩的话,可以设置关闭此功能
rdbchecksum默认yes,在存储快照后,还可以让redis使用CRC64算法进行数据校验,会多消耗10%的性能消耗,建议关闭此功能
rdb-del-sync-files默认no,在没有持久性的情况下删除复制中使用的RDB文件启用,禁用
save 多少秒之内有多少次修改,触发rdb
dbfilenamerdb文件保存名称
dirrdb保存路径

redis6.2以上 , 可以写在一行
        save 3600 1 300 100 60 3000
redis6.0.16以下
        save 3600 1
        save 300 100
        …

手动触发

  • save
    会阻塞当前redis服务器,直到持久化工作完成,线上禁止使用
  • bgsave
    Redis会在后台异步进行快照操作,不阻塞快照同时还可以相应客户端请求,
    该出发方式会fork一个紫禁城复制持久化过程

lastsave 获取最后一次执行save/bgsave的时间

优势/劣势

优势
  • 适合大规模的数据恢复
  • 按照业务定时备份
  • 对数据完整性和一致性要求不高
  • RDB文件在内存中的加载速度比AOF要快的多
劣势
  • 在一定间隔时间做备份期间,如果redis意外down掉的话 就会丢失 期间的数据
  • 内存数据的全量同步,数据量过大影响I/O影响服务器性能
  • RDB依赖于主进程的fork,会膨胀到两倍,服务器请求瞬间延迟

修复dump文件

image

AOF

用日志的形式来记录每个写操作

默认关闭 开启需要设置: appendonly yes

image

AOF持久化工作流程

image

  1. Client作为命令的来源,会有多个源头以及源源不断的请求命令.
  2. 在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中进行保存.这里的AOF缓冲区实际上是内存中的一片区域,存在的目的是当这些命令达到一定量之后再写入磁盘,避免配饭的磁盘IO操作
  3. AOF缓冲会根据AOF缓冲区同步文件的三种写回策略将命令写入磁盘上的AOF文件.
  4. 随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(AOF重写),从而起到AOF文件压缩的目的.
  5. 当Redis Server 服务器重启的时候会从AOF文件载入数据.

AOF缓冲区三种写回策略

Always同步写回,每个写命令执行完立即同步的将日志写回磁盘
everysec每秒写回,每个命令执行完,先将日志写入到AOF文件的内存缓冲区,每个1秒写入到AOF文件中
no由操作系统决定何时写入到AOF磁盘

image

配置文件

配置指令配置含义配置实例
appendonly是否开启aofappendonly yes
appendfilenameaof文件名称appendfilename “appendonly.aof”
appendfsync同步方式everysec/always/no
no-appendfsync-on-rewriteaof重写期间是否同步no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage重写触发配置auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size文件重写策略auto-aof-rewrite-min-size 64mb|
aof文件-保存路径

image

  • redis6
    • AOF和RDB保存位置一样,通过redis.conf的dir配置
  • redis7
    • dir配置的路径+appenddirname配置
aof文件-保存名称
  • redis6
    • 有且仅有一个文件
  • **redis7 **Multi Part AOF的设计
    • MP-AOF实现

image

  • 在增量文件中写入,文件大小到达重写出发配置而且文件重写策略触发重写保存进基本文件中

image

修复AOF文件

故意乱写正常的AOF文件,恢复就会error

image

异常修复命令:redis-check-aof --fix xxx/xxx/xxx.aof

AOF重写机制

启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集

触发机制
  • 自动触发
    满足配置文件中的选项后,Redis会记录上次重写时的AOF大小,
    默认配置是当AOF文件大小是上次rewrite后大小的一倍而且大于64M时
  • 手动触发
    bgrewriteaof 命令
重写原理
  1. 在重写开始前，redis会创建一个“重写子进程”，这个子进程会读取现有的AOF文件，并将其包含的指令进行分析压缩并写入到一个临时文件中。
  2. 与此同时，主进程会将新接收到的写指令一边累积到内存缓冲区中，一边继续写入到原有的AOF文件中，这样做是保证原有的AOF文件的可用性，避免在重写过程中出现意外。
  3. 当“重写子进程”完成重写工作后，它会给父进程发一个信号，父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中
  4. 当追加结束后，redis就会用新AOF文件来代替旧AOF文件，之后再有新的写指令，就都会追加到新的AOF文件中
  5. 重写aof文件的操作，并没有读取旧的aof文件，而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件，这点和快照有点类似

RDB-AOF混合持久化

同时启用RDB和AOF,redis重启时会优先加载AOF文件来恢复初始的数据

纯缓存模式

同时关闭RDB和AOF

  • 禁用rdb save ""
  • 禁用aof appendonly no
好多大米
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis持久化
pk5478的博客
09-08 101
redis是工作在内存中的缓存服务器，数据存放在内存中，当重启服务器后，内存的数据会丢失。redis能通过快照和写日志的方式，持久化数据到磁盘。重启后通过重新装载快照或者重放日志的方式恢复数据。redis有两种方式持久化数据。 RDB快照 简介 redis会根据当前的内存数据，生成一个RDB镜像文件。服务器重启后通过装载之前生成的RDB文件恢复数据。同时在主从架构中,主服务器通过向其他从服务器发送...
Redis 持久化
Zyw907155124的博客
01-05 2068
Redis 持久化配置 ：RDB、AOF、混合持久化 RDB：save、bgsave AOF:自动触发AOF重写、AOF重写机制 Redis 4.0 混合持久化：混合持久化配置 Redis持久化关闭未生效：不同版本Redis关闭RDB的坑
redis持久化方式
01-13
### Redis持久化方式详解 Redis 是一款高性能的键值存储系统，因其卓越的读写速度、丰富的数据结构以及灵活的应用场景而备受青睐。为了保证数据的安全性和持久性，Redis 提供了两种主要的持久化机制：RDB 快照...
本地访问不到公网redis的解决方法
qq_46896305的博客
08-13 404
连接redis失败
【redis】redis集群数据节点修改
zerotoall的博客
08-13 636
一、redis集群节点修改 　　 1.添加节点 　　 2.删除节点 #删除没有数据的主节点 [root@db01 ~]# redis-trib.rb del-node 172.16.1.52:6381 a298dbd22c10b8492d9ff4295504c50666f4fb2e >>> Removing node a298dbd22c10b8492d9ff4295504c50666f4fb2e from cluster 172.16.1.52:6381 >>> Sending CLUSTER
redis事件机制
笑笑布丁的博客
08-16 484
aeApiAddEvent、aeApiDelEvent：增加或删除一个监听对象。aeEventLoop：redis事件循环器，负责管理事件。aeFileEvent：存储一个文件描述符已注册的文件事件。aeApiPoll：阻塞进程，等待事件就绪或给定事件到期。aeApiCreate：初始化I/O复用机制上下文环境。aeTimeEvent：存储一个时间事件的信息。
Redis 为什么读写性能高？
heromps的博客
08-09 537
Redis 作为一种开源的、基于内存的数据结构存储系统，以其卓越的读写性能而闻名。它被广泛应用于缓存、消息队列、实时数据处理等场景。那么，是什么使得 Redis 拥有如此高的读写性能呢？本文将从以下几个方面进行探讨。
NoSQL之 Redis 配置与优化
YYL0019的博客
08-12 751
Redis 服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis 进程， 而 Redis 的实际处理速度则是完全依靠于主进程的执行效率。事实上，每秒同步也是异步完成的，其效率也是非常高的，弊端是一旦系统出现宕机现象，那么这一秒钟之内修改的数据将会丢失。性能最大化，对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。对于普通的BBS 网站，往往也会存在高并发的写数据请求。
RedisTemplate 如何对set类型进行操作。
m0_51045361的博客
08-12 516
以上是 RedisTemplate 对 Set 类型进行操作的一些常用方法，根据具体的需求可以选择合适的方法来操作 Set 数据结构。方法，返回 Set 类型的 key1 中与 Set 类型的 key2 不同的元素。方法，返回 Set 类型的 key1 中与 Set 类型的 key2 相同的元素。方法，将指定的元素添加到 Set 类型的 key 中，并返回添加成功的元素个数。方法，从 Set 类型的 key 中删除指定的元素，并返回删除成功的元素个数。方法，返回 Set 类型的 key 中元素的个数。
Redis中String数据类型常用命令
最新发布
m0_65347933的博客
08-16 291
Redis中String数据类型常用命令：1、基本操作；2、计数与长度；3、设置和获取部分值；4、过期与持久化
【Redis】Redis 初探：特性、应用场景与高并发架构演进之路
Hsusan的博客
08-13 911
在进⾏技术学习过程中，由于⼤部分读者没有经历过⼀些中⼤型系统的实际经验，导致⽆法从全局理解⼀些概念，所以本⽂以⼀个 “电⼦商务” 应⽤为例，介绍从⼀百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让⼤家对架构的演进有⼀个整体的认知，⽅便⼤家对后续知识做深⼊学习时有⼀定的整体视野。
redis I/O复用机制
笑笑布丁的博客
08-16 606
epoll是linux提供的I/O复用API，是一种事件驱动的I/O模型，它可以用于高效地处理大量的并发连接。其中，'e’代表"event"（事件），意味着epoll可以监测并响应特定的事件，如文件描述符上的读写事件、错误事件等。用一个进程监听大量连接，当某个连接可读/可写的时候，系统就发送事件通知进程处理该连接的数据。串行化处理，就是要等，假如进行到accept操作，cpu需要等待客户端发送的数据到tcp接收缓冲区才能进行read操作，而在此期间cpu不能执行任何操作。
用命令行敲命令的方式学会redis stream
servepeople的博客
08-13 808
通过这些命令，你已经了解了 Redis Stream 的基础操作，包括如何添加消息、读取消息、创建和管理消费者组、确认消息、处理挂起消息以及自动修剪 Stream 的长度。你可以根据需要组合这些命令来构建更加复杂的消息处理系统。a.你可以进一步学习如何处理消费者故障场景，例如使用XCLAIM重新分配未确认的消息。b.你可以尝试在真实的应用场景中使用 Redis Stream，比如构建一个简单的分布式日志系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值