Redis持久化

已于 2024-08-05 20:37:46 修改
阅读量793 收藏 26
点赞数 29
文章标签： redis 数据库 缓存
于 2024-08-05 01:43:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_70703282/article/details/140913749
版权

前期准备工作

1. 将redis-6.0.6的压缩包上传到服务器中

# 将redis-6.0.6进行解压   解压 tar.gz 格式的文件 

tar -xzvf redis-6.0.6.tar.gz

2. 自定义redis数据卷

# 将解压的压缩包中的配置文件复制到将挂载的目录中

cp /usr/local/redis-6.0.6/redis.conf /home/redis/persistence/conf/redis.conf

3.修改配置文件

1.只允许本机访问

1. 将其注释

2. 修改为 0.0.0.0

2.节点端口

3.关闭保护模式

yes -> no

4. 修改密码

5.设置文件产生目录

1. REB(Redis DataBase)

1. RDB的备份机制

在指定的时间间隔内将内存中的数据集快照写入磁盘

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到 一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。 整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能。

  • 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。

  • RDB的缺点是最后一次持久化后的数据可能丢失。

  • 数据如果有变化的，会在/usr/local/bin目录下生成一个dump.rdb的文件

Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等） 数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程。

  • 在Linux程序中，fork()会产生一个和父进程完全相同的子进程，但子进程在此后多会exec系统调用，出于效率考虑，Linux中引入了“写时复制技术”

  • 一般情况父进程和子进程会共用同一段物理内存，只有进程空间的各段的内容要发生变化时，才会将父进程的内容复制一份给子进程。

2. 测试RDB持久化

因为是临时文件，如果redis关闭之后，rdb的东西就

1.redis相关配置

# 快照
################################ SNAPSHOTTING  ################################
#save 秒钟 写操作次数，例如：60秒传10000次的写操作
save 20 3

#关闭写入磁盘操作。比如当Redis无法写入磁盘的话，直接关掉Redis的写操作
stop-writes-on-bgsave-error yes 

#对于存储到磁盘中的快照，可以设置是否进行压缩存储，如果你不想消耗CPU来进行压缩的话，可以设置为关闭此功能。
#推荐yes.
rdbcompression yes 

#增加数据校验，增加大约10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能
rdbchecksum yes 

#在redis.conf中配置文件名称，默认为dump.rdb
dbfilename dump.rdb 

#默认为Redis启动时命令行所在的目录下
dir ./

 2. 测试步骤

#备份dump.rdb文件
cp dump.rdb d.rdb

#关闭redis，并删除dump.rdb文件，用来模拟redis出现异常关闭
rm -rf dump.rdb

#在启动之前，恢复dump.rdb文件
mv d.rdb dump.rdb

#启动redis, 备份数据将会直接加载
> keys *

3. RDB的优缺点

1.优点

  • 适合大规模的数据恢复

  • 对数据完整性和一致性要求不高更适合使用

  • 节省磁盘空间

  • 恢复速度快

2. 缺点

  • Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑

  • 虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。

  • 在备份周期在一定间隔时间做一次备份，所以如果Redis意外down掉的话，就会丢失最后一次快照后的所有修改。

2. AOF（Append Only File）

1. AOF的备份机制

        以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件。

        redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

2.测试AOF持久化

AOF的备份机制和性能虽然和RDB不同，但是备份和恢复的操作同RDB一样，都是拷贝备份文件，需要的时候再拷贝到Redis工作目录下，启动系统即加载。

开启AOF

默认是不开启AOF，开启RDB

在redis.conf配置文件中

  • 若想开启AOF持久化策略，将 appendonly 修改为 yes

  • AOF文件的名称，默认为 appendonly.aof

  • AOF文件的保存路径，默认同RDB的路径一致

  • 重启redis-server服务后，产生 appendonly.aof 文件

  • 若AOF和RDB同时开启，则系统将默认优先读取AOF的数据，数据不存在丢失情况。

测试AOF

1. 退出容器

SHUTDOWN save

2. 重启容器

重启容器后，数据都在

3. 去除rdb文件和aof文件，再次重启容器

数据全部消失

3.若AOF文件损坏，恢复数据

1.修改AOF文件

通过vim来修改文件

2.再次启动容器

容器无法正常重新启动，容器日志中：

3. 将损坏文件备份，再次启动

4. 恢复文件

用备份文件将新生成的aof文件覆盖

# 修改损坏的aof文件

redis-check-aof --fix appendonly.aof

修改好配置文件后，需要重新启动容器，因为容器启动时读取的文件的空的aof文件，只有重新启动容器，再次能读取修改后的aof文件，才能获取到数据

4. AOF同步频率机制

AOF不能够单独使用，由于是每秒同步，所以最后一秒的数据很有可能丢失；

#始终同步，每次Redis的写入都会立刻记入日志；性能较差但数据完整性比较好
appendfsync always   

#每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失
appendfsync everysec 

#redis 不主动进行同步，把同步时机交给操作系统
appendfsync no 

5. 重写压缩操作

AOF采用文件追加方式，文件会越来越大。为避免出现此情况，新增了重写机制，当AOF文件的大小超过所设定的阈值时，Redis就会启动AOF文件的内容压缩，只保留可以恢复数据的最小指令集。

机制

AOF文件持续增长而过大时，会fork出一条子进程来将文件重写

no-appendfsync-on-rewrite：

#缓存，yes ,不写入aof文件只写入缓存，用户请求不会阻塞，但是在这段时间如果宕机会丢失这段时间的缓存数据。（降低数据安全性，提高性能）

#磁盘，no，还是会把数据往磁盘里刷，但是遇到重写操作，可能会发生阻塞。（数据安全，但是性能降低）

重写时间点

  1. Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发，重写虽然可以节约大量磁盘空间，减少恢复时间。但是每次重写还是有一定的负担的，因此设定Redis要满足一定条件才会进行重写。

# 设置重写的基准值，文件达到100%时开始重写（文件是原来重写后文件的2倍时触发，即128M）

auto-aof-rewrite-percentage

#设置重写的基准值，最小文件64MB，达到这个值开始重写

auto-aof-rewrite-min-size  

重写流程

  1. bgrewriteaof触发重写，判断是否当前有bgsave或bgrewriteaof在运行，如果有，则等待该命令结束后再继续执行。
  2. 主进程fork出子进程执行重写操作，保证主进程不会阻塞。
  3. 子进程遍历redis内存中数据到临时文件，客户端的写请求同时写入aof_buf缓冲区和aof_rewrite_buf重写缓冲区保证原AOF文件完整以及新AOF文件生成期间的新的数据修改动作不会丢失。
  4.  1）子进程写完新的AOF文件后，向主进程发信号，父进程更新统计信息。                         2).主进程把aof_rewrite_buf中的数据写入到新的AOF文件。
  5. 使用新的AOF文件覆盖旧的AOF文件，完成AOF重写

6. AOF持久化流程

  1. 客户端的请求写命令会被append追加到AOF缓冲区内（日志文件）；
  2. AOF缓存区工具AOF持久化策略将操作sync同步到磁盘的AOF文件中；
  3. AOF文件带下超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；
  4. Redis服务重启时，会重新加载AOF文件中的写操作达到数据恢复的目的；

7.AOF优缺点

优点：

  1. 备份机制更稳健，丢失数据概率更低；
  2. 可读的日志文本，通过操作AOF文件，可以处理误操作；

缺点：

  1. 比起RDB占用更多的磁盘空间；
  2. 恢复备份速度要慢（因为是根据记录的写操作，将数据重新写入到redis中）
  3. 名称读写都同步的话，有一定的性能压力；
  4. 存在个别bug，造成不能恢复

3.RDB与AOF的区别

  1. 数据量和恢复速度：RDB 备份速度快，但是可能会丢失从上次备份到发生故障之间的数据；AOF 记录了所有的写操作，故障发生时可以通过重放命令来完全恢复，但是恢复速度可能较慢
  2. 文件类型：RDB 是二进制格式，AOF 是文本格式。
  3. 使用场景：RDB 更适合用于备份、导出数据、快速恢复等场景；AOF 更适合用于数据持久化和保证数据安全性（因为它记录了每个写操作）。
墨某人本墨
关注
Redis 持久化存储shell脚本
weixin_59521750的博客
06-11 150
将Redis配置文件中以# dir ./开头的行替换为dir /var/lib/redis，同时将Redis配置文件中以# save ""开头的行替换为save 900 1，#即将Redis的数据目录设置为/var/lib/redis。echo "Redis 服务已成功启动。echo "Redis 服务启动失败！echo "Redis 安装成功！echo "Redis 安装失败！# 检查 Redis 服务是否启动成功。# 启动 Redis 服务。
redis持久化
01-07
redis持久法的方式主要为两种：快照（rdb）；写日志（aof）； rdb原理 rdb实现持久化主要是将当前进程中的数据生成快照保存到硬盘上，在重启的时候读取硬盘上的数据（如果同时配置了aof，将会先执行aof策略，因为...
Redis学习之持久化方式和配置
afa的专栏
08-07 945
http://blog.91gaoqing.com/archives/209.html 1、 快照的方式持久化到磁盘 自动持久化规则配置 save 900 1 save 300 10 save 60 10000 上面的配置规则意思如下: #   In the example below the behaviour will be to save:
Redis key的过期时间和永久有效
最新发布
Flying_Fish_roe的博客
08-26 1616
Redis是一种基于内存的高性能键值存储系统。在Redis中，key可以设置过期时间或者被永久保存。本文将对Redis中key的过期时间和永久有效的设置进行详细介绍。过期时间的设置： 在Redis中，可以使用EXPIRE命令来设置key的过期时间。EXPIRE命令的语法为：EXPIRE key seconds，其中key是要设置过期时间的键名，seconds是过期时间的秒数。例如，要将名为"username"的key设置为10秒后过期，可以使用如下命令： EXPIRE username 10。
Redis持久化配置
qq_16410733的博客
05-12 436
Redis持久化配置前言关于持久化RDBRDB配置工作原理RDB优点RDB缺点AOFAOF配置工作原理AOF优点AOF 的缺点总结性能建议： 前言 上面要求要做一个投票功能，所以不能直接用mysql进行存储，而是先将数据库存储进redis，再用定时任务将redis的数据写入mysql。而为了防止redis因为服务器宕掉而导致数据的丢失情况出现，配置redis持久化是很有必要的。 关于持久化 Red...
Redis数据持久化
Lzcsfg的博客
06-26 1452
RDB 是 Redis 的一种快照方式的持久化方法。它定期将 Redis 内存中的数据保存到磁盘上的一个二进制文件。当 Redis 重新启动时，可以加载这个 RDB 文件来恢复之前保存的数据状态。 AOF 是一种追加日志方式的持久化方法。它记录每次写操作（如 SET、INCR 等）到一个日志文件中。当 Redis 重新启动时，会重新执行这些写操作来恢复数据集的原始状态。
Redis 持久化
Zyw907155124的博客
01-05 2396
Redis 持久化配置 ：RDB、AOF、混合持久化 RDB：save、bgsave AOF:自动触发AOF重写、AOF重写机制 Redis 4.0 混合持久化：混合持久化配置 Redis持久化关闭未生效：不同版本Redis关闭RDB的坑
02-Redis持久化、主从与哨兵架构详解.zip
11-18
Redis是一款高性能的键值对内存数据库，常用于缓存、消息队列以及数据持久化等场景。本资料包主要探讨Redis的三个核心概念：持久化、主从复制和哨兵架构，这些都是确保Redis高可用性和数据安全的重要机制。 首先，...
从源码解读redis持久化
12-16
【Redis持久化】Redis作为一款内存数据库，其数据存储在内存中，存在因服务器宕机导致数据丢失的风险。为了确保数据安全，Redis提供了持久化机制，将内存中的数据保存到磁盘，即使服务器重启，也能恢复数据。持久化...
redis持久化配置
m0_61417337的博客
05-17 659
文件重写的触发，分为手动触发和自动触发.aof持久化，以追加的方式将redis写的操作命令记录到文件中，实时性较好，支持秒级持久化，兼容性较好，缺点是持久化的问文件占用空间较大，恢复速度较慢，对io性能消耗更大aof文件重写期间，在fork子进程时会阻塞父进程，且对io性能损耗更大。主从复制：主从复制是高可用的基础，哨兵和集群都是在主从复制的基础上实现的高可用，主从复制主要实现数据的多机备份，以及对读操作的负载均衡和简单故障回复，，缺陷故障回复无法自动化，写操作无法负载均衡，存储能力受到单机的限制。
redis持久化设置
qq_36967200的博客
07-27 569
AOF 持久化是将 Redis 执行的写命令追加到 AOF 文件的末尾，以记录数据修改操作的方式。1.RDB（Redis Database Dump）持久化：RDB 是将 Redis 数据库在某个时间点的数据快照保存到磁盘上的一种方式。2.AOF（Append-Only File）持久化：AOF 是将 Redis 执行的写命令追加到文件的末尾，以记录数据修改操作的方式。设置 appendfsync everysec 是一种推荐的方式，它在保证一定的数据持久化安全性的同时，对性能的影响相对较小。
redis持久化aof混备+备份脚本 linux 持续更新
weixin_45717886的博客
05-06 562
redis aof 与 rdb 介绍 相关链接1 相关连接2 相关连接3 开启appendonly 当前生效 127.0.0.1:6379> config get appendonly 1) "appendonly" 2) "no" 127.0.0.1:6379> config set appendonly yes #开启aof持久化 127.0.0.1:6379> config set save "" #关闭rdb持久化 127.0.0.1:6379> config ge
redis将一个key设置为永不过期
热门推荐
幽篁晓筑的博客
09-11 1万+
这次介绍三个 redis 命令： Expire 命令用于设置 key 的过期时间，key 过期后将不再可用。单位以秒计。 PERSIST 命令用于移除给定 key 的过期时间，使得 key 永不过期。 TTL 命令以秒为单位返回 key 的剩余过期时间。 Expire EXPIRE key_name 设置成功返回 1 。 当 key 不存在或者不能为 key 设置过期时间时(比如在低于 2.1.3 版本的 Redis 中你尝试更新 key 的过期时间)返回 0 。 PERSI
8.redis持久化配置
BadPerson的博客
09-01 217
Redis的持久化配置 RDB（Redis DataBase）快照 介绍 RDB是Redis默认的持久化方式，它会将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb，每次当redis重启之后，redis会先读dump.rdb文件，将数据从硬盘写入到内存中 RDB快照配置 # 900秒内(15分钟),有1条写入,则产生快照 save 900 1 # 300秒内(5分钟)有1000次写入,则产生快照 save 300 1000 # 60秒内(1分钟)有10000次写入,
Redis持久化配置说明
来自太阳的我
08-07 1232
Redis持久化 前言：Redis是一款内存数据库，就算我们对自己的服务器足够的信任，不会出现宕机情况，但也会有可能出现突然断电等情况，造成Redis数据丢失。因此，我们需要向传统的关系型数据库一样对数据进行备份，将Redis在内存中的数据持久化到硬盘等非易失性介质中，来保证数据的可靠性。 使用场景： Redis发生故障或重启后，可直接用备份数据恢复 Redis切换服务器时，可直接将备份文...
四、Redis 持久化 —— 超详细操作演示！
weixin_43412762的博客
12-10 7406
 Redis是一个内存数据库，所以其运行效率非常高。但也 存在一个问题：内存中的数据是不持久的，若 主机宕机 或 Redis 关机重启，则内存中的数据全部丢失。当然，这是不允许的。 Redis 具有持久化功能，其会按照设置以 快照 或 操作日志 的形式将数据持久化到磁盘。     根据持久化使用技术的不同，Redis 的持久化分为两种： RDB（Redis DataBase） 与 AOF （Append Only File）。
9、redis的持久化策略
JavaDayUp
04-18 598
学习目标： 1、了解Redis的持久化的使用 1、掌握Redis的持久化的配置 学习过程： Redis是内存数据库，所以在服务器重启或者断电时，内存数据肯定会丢失，对于某些应用来说这是不可接收，例如如果使用Redis作为订单号的生成器，每一次都会逐次增1，如果断电重启后，订单号必须能够接着增1，而不是从0开始。所以Redis有必要持久化数据。当然如果你的业务仅仅只是用于简单的缓存，...
Redis持久化深度解析：RDB与AOF对比
本文主要介绍Redis的两种主要持久化方案：RDB (Redis持久化) 和 AOF (Append Only File)。 RDB（Redis持久化文件）是Redis默认的持久化方式，它的工作原理是定期（如每30分钟、60分钟等自定义设置）创建一个基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值