4.Redis-持久化

最新推荐文章于 2022-07-08 14:52:31 发布

孤独的木头人

最新推荐文章于 2022-07-08 14:52:31 发布

阅读量207

点赞数

分类专栏： Redis

本文链接：https://blog.csdn.net/dreampee/article/details/105975690

版权

Redis 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

持久化

持久化简介

简介

意外断电
在这里插入图片描述
“自动备份”

什么是持久化
利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化。

为什么要进行持久化
防止数据的意外丢失，确保数据安全性

持久化过程保存什么

将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据
将数据的操作过程进行保存，日志形式，存储操作过程，存储格式复杂，关注点在数据的操作过程

RDB

RDB启动方式

谁，什么时间，干什么事情

命令执行

谁：redis操作者（用户）
什么时间：即时（随时进行）
干什么事情：保存数据

save指令

命令

save

作用

手动执行一次保存操作

工作原理

在这里插入图片描述

数据量过大，单线程执行方式造成效率过低如何处理

后台执行

谁：redis操作者（用户）发起指令；redis服务器控制指令执行
什么时间：即时（发起）；合理的时间（执行）
干什么事情：保存数据

bgsave指令

命令

bgsave

作用

手动启动后台保存操作，但不是立即执行

工作原理

在这里插入图片描述

反复执行保存指令，忘记了怎么办？不知道数据产生了多少变化，何时保存？

自动执行

谁：redis服务器发起指令（基于条件）
什么时间：满足条件
干什么事情：保存数据

save 配置（自动执行）

该配置要在 redis的配置文件中配置，这不是命令
配置

//在 second 的时间范围内，监控到了 changes 个数据发生变化，就进行持久化
save second changes

作用

满足限定时间范围内key的变化数量达到指定数量即进行持久化
参数
second：监控时间范围
changes：监控key的变化量
位置
在conf文件中进行配置
范例

save 900 1 //15分钟内 有 1个 发生变化
save 300 10 //5分钟内 有 10个 发生变化
save 60 10000 //60秒内 有 10000个 发生变化

配置原理

在这里插入图片描述

RDB三种启动方式对比

在这里插入图片描述

rdb特殊启动形式

全量复制

在主从复制中详细讲解

服务器运行过程中重启

debug reload

关闭服务器时指定保存数据

shutdown save

默认情况下执行shutdown命令时，自动执行 bgsave (如果没有开启AOF持久化功能)

RDB优点与缺点

优点

RDB是一个紧凑压缩的二进制文件，存储效率较高
RDB内部存储的是redis在某个时间点的数据快照，非常适合用于数据备份，全量复制等场景
RDB恢复数据的速度要比AOF快很多
应用：服务器中每X小时执行bgsave备份，并将RDB文件拷贝到远程机器中，用于灾难恢复。

缺点

RDB方式无论是执行指令还是利用配置，无法做到实时持久化，具有较大的可能性丢失数据
bgsave指令每次运行要执行fork操作创建子进程，要牺牲掉一些性能
Redis的众多版本中未进行RDB文件格式的版本统一，有可能出现各版本服务之间数据格式无法兼容现象（版本不统一不能混用）

AOF（Append Only File）

RDB存储的弊端

存储数据量较大，效率较低

基于快照思想，每次读写都是全部数据，当数据量巨大时，效率非常低

大数据量下的IO性能较低

基于fork创建子进程，内存产生额外消耗

宕机带来的数据丢失风险

解决思路

不写全数据，仅记录部分数据
降低区分数据是否改变的难度，改记录数据为记录操作过程
对所有操作均进行记录，排除丢失数据的风险

AOF概念

AOF(append only file)持久化：以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中命令达到恢复数据的目的。与RDB相比可以简单描述为改记录数据为记录数据产生的过程
AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式

AOF写数据过程

在这里插入图片描述
每次接收到命令会将命令存放在 AOF 写命令刷新缓存区，然后将命令同步到 AOF 文件中。
呢么，一次写过去多少条，多久写一次？

AOF写数据三种策略(appendfsync)

always（每次）
- 每次写入操作均同步到AOF文件中，数据零误差，性能较低，不建议使用。
everysec（每秒）
- 每秒将缓冲区中的指令同步到AOF文件中，数据准确性较高，性能较高，建议使用，也是默认配置
- 在系统突然宕机的情况下丢失1秒内的数据
no（系统控制）
- 由操作系统控制每次同步到AOF文件的周期，整体过程不可控

AOF功能开启

配置

appendonly yes|no

作用
是否开启AOF持久化功能，默认为不开启状态

配置

appendfsync always|everysec|no

作用

AOF写数据策略

AOF写数据遇到的问题

如果连续执行如下指令该如何处理

在这里插入图片描述

AOF 重写

随着命令不断写入AOF，文件会越来越大，为了解决这个问题，Redis引入了AOF重写机制压缩文件体积。AOF文件重写是将Redis进程内的数据转化为写命令同步到新AOF文件的过程。简单说就是将对同一个数据的若干个条命令执行结果转化成最终结果数据对应的指令进行记录。

AOF 重写的作用

降低磁盘占用量，提高磁盘利用率
提高持久化效率，降低持久化写时间，提高IO性能
降低数据恢复用时，提高数据恢复效率

AOF 重写规则

进程内已超时的数据不再写入文件

忽略无效指令，重写时使用进程内数据直接生成，这样新的AOF文件只保留最终数据的写入命令

如del key1、 hdel key2、srem key3、set key4 111、set key4 222等

对同一数据的多条写命令合并为一条命令

如 lpush list1 a、lpush list1 b、 lpush list1 c 可以转化为：lpush list1 a b c。
为防止数据量过大造成客户端缓冲区溢出，对list、set、hash、zset等类型，每条指令最多写入64个元素

AOF 重写方式

手动重写

bgrewriteaof

在这里插入图片描述

自动重写

auto-aof-rewrite-min-size  size
auto-aof-rewrite-percentage  percentage

在这里插入图片描述
在 redis 客户端中使用 info 指令，可以查到 aof_current_size、aof_base_size…

AOF 工作流程

在这里插入图片描述

AOF重写流程

在这里插入图片描述

AOF缓冲区同步文件策略，由参数appendfsync控制

系统调用write和fsync说明：

write操作会触发延迟写（delayed write）机制，Linux在内核提供页缓冲区用来提高硬盘IO性能。write操作在写入系统缓冲区后直接返回。同步硬盘操作依赖于系统调度机制，列如：缓冲区页空间写满或达到特定时间周期。同步文件之前，如果此时系统故障宕机，缓冲区内数据将丢失。
fsync针对单个文件操作（比如AOF文件），做强制硬盘同步，fsync将阻塞知道写入硬盘完成后返回，保证了数据持久化。

除了write、fsync、Linx还提供了sync、fdatasync操作，具体API说明参见

RDB 与 AOF 区别

在这里插入图片描述

RDB 与 AOF 的选择之惑

对数据非常敏感，建议使用默认的AOF持久化方案

AOF持久化策略使用everysecond，每秒钟fsync一次。该策略redis仍可以保持很好的处理性能，当出现问题时，最多丢失0-1秒内的数据。
注意：由于AOF文件存储体积较大，且恢复速度较慢

数据呈现阶段有效性，建议使用RDB持久化方案（回档）

数据可以良好的做到阶段内无丢失（该阶段是开发者或运维人员手工维护的），且恢复速度较快，阶段点数据恢复通常采用RDB方案
注意：利用RDB实现紧凑的数据持久化会使Redis降的很低，慎重总结：

综合比对

RDB与AOF的选择实际上是在做一种权衡，每种都有利有弊
如不能承受数分钟以内的数据丢失，对业务数据非常敏感，选用AOF
如能承受数分钟以内的数据丢失，且追求大数据集的恢复速度，选用RDB
灾难恢复选用RDB
双保险策略，同时开启 RDB 和 AOF，重启后，Redis优先使用 AOF 来恢复数据，降低丢失数据的量

持久化应用场景

在这里插入图片描述

configure

port 6379 #端口号
daemonize yes #启用守护线程
logfile "6379.log" #日志文件的名称
dir /home/zyj/redis/redis-5.0.5/date #设置持久化数据保存的位置
dbfilename dump-6379.rdb #设置RDB的文件名
save 10 2 #当 10 秒内，2个数据发生哪个变化就进行保存
appendonly yes #开启AOF
appendfsync everysec #每秒将缓冲区中的指令同步到AOF文件中（默认配置）
appendfilename appendonly-6379.aof #aof文件名 建议 appendonly-端口号.aof

孤独的木头人

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
4.Redis-持久化

持久化简介简介意外断电“自动备份”什么是持久化利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化。为什么要进行持久化防止数据的意外丢失，确保数据安全性持久化过程保存什么将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据将数据的操作过程进行保存，日志形式，存储操作过程，存储格式复杂，关注点在数据的操作过程...
复制链接

扫一扫