redis_05_redis的持久化机制RDB_AOF

最新推荐文章于 2024-03-25 22:33:14 发布

一只倔强而老实的虫

最新推荐文章于 2024-03-25 22:33:14 发布

阅读量133

点赞数 1

分类专栏： Redis 文章标签： redis的持久化机制 RDB

本文链接：https://blog.csdn.net/weixin_42505605/article/details/98031738

版权

Redis 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

持久化机制

1. Redis的持久化机制
- 1.1 RDB持久化
- 1.2 AOF
2. redis.conf
其他笔记资料

1. Redis的持久化机制

1.1 RDB持久化

指定时间间隔内将内存的数据集快照写入磁盘
如果已经存在这个数据库，下一次加载的时候就很快
设置相关的redis.conf（ daemonize yes ; 快照压缩文件的目录 dir /var/redis ; 以及快照的频率）
启动redis-server,并打开其他的会话窗口，此时、/var/redis并没有快照文件
利用./bin/redis-benchmark -n 100000利用测试进程，
在再另一会话窗口下的/var/redis下面发现dump.rdb快照文件
关闭服务端redis进程kill -9 进程号
查看redis当前是否存在该进程ps -ef | grep redis
是一种持久化的机制，就是服务器关闭后在启动，操作的内容是不会消失的。但是是一定时间间隔内才可能会快照记录，可能会导致某些数据的丢失。

1.2 AOF

以日志的形式记录服务器所处理的每一个写操作，在redis服务器启动之初会读取该文件来重新构建数据库。
更加保证了数据不会丢失。因为他的每一次操作都有记录。
rdb持久化模式可能会导致部分的数据丢失，rdb与aof可以一起同时存在，两个同时存在会首先启用aof、
修改redis.conf 找到APPEND ONLY MODE模块
关于aof的三种策略 always总是再弄比较耗性能，但是最安全
everysec:每秒钟写一次（默认）
no redis不做，丢给数据库
找到appendonly改成yes表示启动aof
aof的文件名
直接启动server时，查看/var/redis下面有一个appendonly.aof
当日志记录的重复操作过多时，日志文件会很大，大到一定数量时，会自动触发自动重写。但也可以手动重写bgrewiteaof进行日志的重写操作
此时再查看appendonly.aof时，内存消耗变少

2. redis.conf

daemonize :通常为no-表示不会再后端运行；需要改为yes才会在后端进行。
如果改为yes，可以指定一个进程pid的文件，pid进程控制块。可以指定pid文件的路径，用来标识进程号。
默认端口号6379
快照（默认开着的有三个频率）
快照文件是否压缩（压缩占的空间少一点，但是会花费一点儿cpu）
压缩文件，快照文件名
快照压缩文件的目录

其他笔记资料

RDB存在哪些优势呢？
    1). 一旦采用该方式，那么你的整个Redis数据库将只包含一个文件，这对于文件备份而言是非常完美的。比如，你可能打算每个小时归档一次最近24小时的数据，同时还要每天归档一次最近30天的数据。通过这样的备份策略，一旦系统出现灾难性故障，我们可以非常容易的进行恢复。
    2). 对于灾难恢复而言，RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。
    3). 性能最大化。对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。
    4). 相比于AOF机制，如果数据集很大，RDB的启动效率会更高。
    
   RDB又存在哪些劣势呢？
    1). 如果你想保证数据的高可用性，即最大限度的避免数据丢失，那么RDB将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象，此前没有来得及写入磁盘的数据都将丢失。
    2). 由于RDB是通过fork子进程来协助完成数据持久化工作的，因此，如果当数据集较大时，可能会导致整个服务器停止服务几百毫秒，甚至是1秒钟。
    
三、AOF机制的优势和劣势：

   AOF的优势有哪些呢？
    1). 该机制可以带来更高的数据安全性，即数据持久性。Redis中提供了3中同步策略，即每秒同步、每修改同步和不同步。事实上，每秒同步也是异步完成的，其效率也是非常高的，所差的是一旦系统出现宕机现象，那么这一秒钟之内修改的数据将会丢失。而每修改同步，我们可以将其视为同步持久化，即每次发生的数据变化都会被立即记录到磁盘中。可以预见，这种方式在效率上是最低的。至于无同步，无需多言，我想大家都能正确的理解它。
    2). 由于该机制对日志文件的写入操作采用的是append模式，因此在写入过程中即使出现宕机现象，也不会破坏日志文件中已经存在的内容。然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题，不用担心，在Redis下一次启动之前，我们可以通过redis-check-aof工具来帮助我们解决数据一致性的问题。
    3). 如果日志过大，Redis可以自动启用rewrite机制。即Redis以append模式不断的将修改数据写入到老的磁盘文件中，同时Redis还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite切换时可以更好的保证数据安全性。
    4). AOF包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上，我们也可以通过该文件完成数据的重建。
    
    AOF的劣势有哪些呢？
    1). 对于相同数量的数据集而言，AOF文件通常要大于RDB文件。
    2). 根据同步策略的不同，AOF在运行效率上往往会慢于RDB。总之，每秒同步策略的效率是比较高的，同步禁用策略的效率和RDB一样高效。
    
四、其它：

   1. Snapshotting:
    缺省情况下，Redis会将数据集的快照dump到dump.rdb文件中。此外，我们也可以通过配置文件来修改Redis服务器dump快照的频率，在打开6379.conf文件之后，我们搜索save，可以看到下面的配置信息：
    save 900 1              #在900秒(15分钟)之后，如果至少有1个key发生变化，则dump内存快照。
    save 300 10            #在300秒(5分钟)之后，如果至少有10个key发生变化，则dump内存快照。
    save 60 10000        #在60秒(1分钟)之后，如果至少有10000个key发生变化，则dump内存快照。
    
   2. Dump快照的机制：
    1). Redis先fork子进程。
    2). 子进程将快照数据写入到临时RDB文件中。
    3). 当子进程完成数据写入操作后，再用临时文件替换老的文件。
    
   3. AOF文件：
    上面已经多次讲过，RDB的快照定时dump机制无法保证很好的数据持久性。如果我们的应用确实非常关注此点，我们可以考虑使用Redis中的AOF机制。对于Redis服务器而言，其缺省的机制是RDB，如果需要使用AOF，则需要修改配置文件中的以下条目：
    将appendonly no改为appendonly yes
    从现在起，Redis在每一次接收到数据修改的命令之后，都会将其追加到AOF文件中。在Redis下一次重新启动时，需要加载AOF文件中的信息来构建最新的数据到内存中。
    
   4. AOF的配置：
    在Redis的配置文件中存在三种同步方式，它们分别是：
    appendfsync always     #每次有数据修改发生时都会写入AOF文件。
    appendfsync everysec  #每秒钟同步一次，该策略为AOF的缺省策略。
    appendfsync no          #从不同步。高效但是数据不会被持久化。
    
   5. 如何修复坏损的AOF文件：
    1). 将现有已经坏损的AOF文件额外拷贝出来一份。
    2). 执行"redis-check-aof --fix <filename>"命令来修复坏损的AOF文件。
    3). 用修复后的AOF文件重新启动Redis服务器。
    
   6. Redis的数据备份：
    在Redis中我们可以通过copy的方式在线备份正在运行的Redis数据文件。这是因为RDB文件一旦被生成之后就不会再被修改。Redis每次都是将最新的数据dump到一个临时文件中，之后在利用rename函数原子性的将临时文件改名为原有的数据文件名。因此我们可以说，在任意时刻copy数据文件都是安全的和一致的。鉴于此，我们就可以通过创建cron job的方式定时备份Redis的数据文件，并将备份文件copy到安全的磁盘介质中。