Redis系列——持久化机制

为什么需要持久化

Redis是基于内存的,一旦服务器宕机,内存中的数据将全部丢失。
可能的解决方案:

  1. 从后端数据库恢复这些数据
    [存在两个问题,1.1 需要频繁访问数据库;1.2从慢速数据库读取,性能肯定比不上从 Redis 中读取,导致使用这些数据的应用程序响应变慢]
  2. 实现数据的持久化,避免从后端数据库中进行恢复

Redis持久化

Redis关于持久化方面主要涉及到两大机制。分别是AOF(Append Only File)日志和RDB快照

AOF日志

扩展:

数据库的写前日志(Write Ahead Log, WAL),在实际写数据前,先把修改的数据记到日志文件中,以便故障时进行恢复。
传统数据库的日志,例如 redo log(重做日志),记录的是修改后的数据

AOF写后日志

AOF 日志是写后日志, Redis 是先执行命令,把数据写入内存,然后才记录日志。

  • 为什么是写后日志呢?

因为AOF记录的是Redis 收到的每一条命令,这些命令是以文本形式保存。

  • 写后日志有什么好处?

1.可以避免出现记录错误命令的情况:先让系统执行命令,只有命令能执行成功,才会被记录到日志中,否则,系统就会直接向客户端报错;
2.不会阻塞当前的写操作

AOF存在两大潜在风险:

  1. 如果刚执行完一个命令,还没有来得及记日志就宕机了,那么这个命令和相应的数据就有丢失的风险。
    1.1 如果此时 Redis 是用作缓存,还可以从后端数据库重新读入数据进行恢复;
    1.2 如果 Redis 是直接用作数据库的话,此时,因为命令没有记入日志,所以就无法用日志进行恢复了

  2. 避免了对当前命令的阻塞,但可能会给下一个操作带来阻塞风险
    AOF日志也是在主线程中执行的,如果在把日志文件写入磁盘时,磁盘写压力大,就会导致写盘很慢,进而导致后续的操作也无法执行了。

AOF如何解决风险

这两个风险都是和 AOF 写回磁盘的时机相关的。这也就意味着,如果我们能够控制一个写命令执行完后 AOF 日志写回磁盘的时机,就能解决这两大风险。
所以AOF 机制给我们提供了三个选择,也就是 AOF 配置项 appendfsync 的三个可选值。

  • Always,同步写回:每个写命令执行完,立马同步地将日志写回磁盘;
    可以做到基本不丢数据,但是它在每一个写命令后都有一个慢速的落盘操作,不可避免地会影响主线程性能
  • Everysec,每秒写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘;
    采用一秒写回一次的频率,避免了“同步写回”的性能开销,虽然减少了对系统性能的影响,但是如果发生宕机,上一秒内未落盘的命令操作仍然会丢失在避免影响主线程性能和避免数据丢失两者间取了个折中
  • No,操作系统控制的写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘。
    操作系统控制的写回”在写完缓冲区后,就可以继续执行后续的命令,但是落盘的时机已经不在 Redis 手中了,只要AOF 记录没有写回磁盘,一旦宕机对应的数据就丢失了
    但是,在避免主线程阻塞和减少数据丢失问题,这三种写回策略都无法做到两全其美所以,需要根据系统对高性能和高可靠性的要求,来选择使用哪种写回策略。

AOF日志文件过大

AOF文件过大会造成性能问题,主要表现在

  1. 文件系统本身对文件大小有限制,无法保存过大的文件;
  2. 如果文件太大,之后再往里面追加命令记录的话,效率也会变低;
  3. 如果发生宕机,AOF 中记录的命令要一个个被重新执行,用于故障恢复,如果日志文件太大,整个恢复过程就会非常缓慢,这就会影响到 Redis 的正常使用

AOF 日志重写

说白了日志重写就是将旧日志文件中的多条命令,在重写后的新日志中变成了一条命令;是根据这个键值对当前的最新状态,为它生成对应的写入命令;在日志恢复时,只用执行这条命令,就可以直接完成这个键值对的写入了。
AOF 重写后,日志文件会缩小,但是,要把整个数据库的最新数据的操作日志都写回磁盘,仍然是一个非常耗时的过程。

  • 那么AOF重写会阻塞线程吗?

重写过程是由后台子进程 bgrewriteaof 来完成的,这也是为了避免阻塞主线程,导致数据库性能下降。

  • 重写过程(“一个拷贝(用于重写),二处日志(保证数据不丢失)”)

1.“一个拷贝”就是指,每次执行重写时,主线程 fork 出后台的 bgrewriteaof 子进程。此时,fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程,这里面就包含了数据库的最新数据。然后,bgrewriteaof 子进程就可以在不影响主线程的情况下,逐一把拷贝的数据写成操作,记入重写日志
2.主线程未阻塞,仍然可以处理新来的操作。此时,如果有写操作,第一处日志就是指正在使用的 AOF 日志,Redis 会把这个操作写到它的缓冲区。这样一来,即使宕机了,这个 AOF 日志的操作仍然是齐全的,可以用于恢复。而第二处日志,就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这样,重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后,重写日志记录的这些最新操作也会写入新的 AOF 文件,以保证数据库最新状态的记录。此时,我们就可以用新的 AOF 文件替代旧文件了。

总结

  1. 每次执行只需要记录操作命令,需要持久化的数据量不大。只要采用的不是 always 持久化策略,就不会对性能造成太大影响;
  2. 正因为记录的是操作命令,而不是实际的数据,所以,用 AOF 方法进行故障恢复的时候,需要逐一把操作日志都执行一遍。如果操作日志非常多,Redis 就会恢复得很缓慢,影响到正常使用。

RDB快照( Redis DataBase )

和 AOF 相比,RDB 记录的是某一时刻的数据,并不是操作,所以,在做数据恢复时,我们可以直接把 RDB 文件读入内存,很快地完成恢复.

对哪些数据做快照

Redis 的数据都在内存中,为了提供所有数据的可靠性保证,它执行的是全量快照;
给内存的全量数据做快照,把它们全部写入磁盘也会花费很多时间;而且,全量数据越多,RDB 文件就越大,往磁盘上写数据的时间开销就越大。

会阻塞主线程吗?

Redis 提供了两个命令来生成 RDB 文件,分别是 save 和 bgsave

save:在主线程中执行,会导致阻塞;
bgsave:创建一个子进程,专门用于写入 RDB 文件,避免了主线程的阻塞,这也是 Redis RDB 文件生成的默认配置。

通过bgsave 命令来执行全量快照,这既保证了数据的可靠性也避免了对 Redis 的性能影响。

快照时数据还能修改吗?

就像拍照一样,若当前时刻相机里的人动了,这张图片就模糊了,不能要了;同样在进行RDB快照时,也希望此刻的数据不要“动”,在使用bgsave来进行快照时,主线程的确没有阻塞,可以正常接收请求,但是,为了保证快照完整性,它只能处理读操作,因为不能修改正在执行快照的数据
若不能正常进行写操作的话,系统的性能就会受到严重影响,因此Redis 就会借助操作系统提供的写时复制技术(Copy-On-Write, COW),在执行快照的同时,正常处理写操作[主线程修改数据时,这块数据就会被复制,生成副本,bgsave子进程就会把这个副本写进RDB文件]。

多久进行一次快照

频繁地执行全量快照,虽然能保证数据的完整性,但也会带来两方面的开销:

1.频繁将全量数据写入磁盘,会给磁盘带来很大压力
2.bgsave 子进程需要通过 fork 操作从主线程创建出来。虽然,子进程在创建后不会再阻塞主线程,但是,fork 这个创建过程本身会阻塞主线程,而且主线程的内存越大,阻塞时间越长。如果频繁 fork 出 bgsave 子进程,这就会频繁阻塞主线程了

在两次全量快照之间进行增量快照,使用额外的元数据信息去记录哪些数据被修改了,但这会带来额外的空间开销问题。

混合使用 AOF 日志和内存快照

Redis 4.0中提出的!
内存快照以一定的频率执行,在两次快照之间,使用 AOF 日志记录这期间的所有命令操作。这样一来,快照不用很频繁地执行,这就避免了频繁 fork 对主线程的影响。而且,AOF 日志也只用记录两次快照间的操作,也就是说,不需要记录所有操作了,因此,就不会出现文件过大的情况了,也可以避免重写开销。

以上就是对RDB和AOF的学习啦,实际工程中肯定还会遇到各种各样的实际bug,知道一些知识,以备不时之需奥┗|`O′|┛ 嗷~~。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值