七、redis的AOF

最新推荐文章于 2022-05-05 17:52:48 发布
最新推荐文章于 2022-05-05 17:52:48 发布
阅读量203 收藏
点赞数
分类专栏： redis

一、AOF追加阻塞

这里写图片描述
配置appenedfsync everysec后
当执行set命令的时候，先进入1步骤，然后检查后台是否有同步线程，如果没有则，主线程继续执行。如果有同步线程，那么判断上次同步时间和现在时间，如果大于2秒，表示上个同步线程还没有执行完，而且时间已经大于2秒，这个时侯主线程就阻塞，一直等待同步线程的完成。如果小于2秒,运行主线程继续执行，如果不发生阻塞的话就实现2s同步一次。
所以虽然设置了everysec，可能丢失2秒数据。

查看阻塞情况
这里写图片描述
其中aof_delayed_fsync 就是阻塞次数

AOF的具体优化未完待续

诛仙89
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis AOF
众人皆醉，唯我独醒
11-11 1027
RDB问题： 耗时耗性能 容易丢失数据 耗时耗性能 O（n）数据 耗时 fork() :消耗内存，copy-on-write 策略 Disk I/O ：IO性能 不可控 丢失数据 时间 save T1 执行多个写命令 T2 满足RDB自动创建的条件 T3 再次执行多个写命令 T4 宕机 AOF 运行原理 -创建 set hello world AOF文件 ...
Redis 常见问题之-AOF阻塞
泷泷养的乔小胖
04-19 2942
Redis下一小节：7-1Redis复制原理与优化 Redis 常见问题之-AOF阻塞 1、AOF追加阻塞 如果AOF文件fsync同步时间大于2s，Redis主进程就会阻塞； 如果AOF文件fsync同步时间小于2s，Redis主进程就会返回； 其实这样做的目的是为了保证文件安全性的一种策略。 AOF追加阻塞会产生两位问题： （1）fsync大于2s时候，会阻塞redi...
Redis 原理难点
aaqq123456654321的博客
04-08 344
Redis 原理难点 1、AOF rewrite 为什么要 写入aof_rewrite_buf、aof_buf两个缓存 AOF 重写和 RDB 创建快照一样，都巧妙地利用了写时复制机制。 Redis 执行 fork() ，现在同时拥有父进程和子进程。 子进程开始将新 AOF 文件的内容写入到临时文件。 对于所有新执行的写入命令，父进程一边将它们累积到一个内存缓存（aof_rewrite_buf）中，一边将这些改动追加到现有 AOF 文件的末尾（即添加到aof_buf中）：这样即使在重写的中途发生停机，
redis aof持久化
不说话装高手
01-10 266
执行aof持久化的方法是flushAppendOnlyFile()方法，该方法根据选择的aof持久化策略将处于aof缓冲区中以sds形式保存的数据持久到文件当中去。 flushAppendOnlyFile()方法只有一个int形式用来表示是否强制执行的持久化的force参数，在AOF_FSYNC_EVERYSEC策略下，如果距离上次将缓冲区数据持久化操作的时间开始还不足2秒，在强制执行的情况下也...
Redis AOF重写阻塞因素
SBS技术栈-晓白
02-05 912
持久化阻塞 对于开启了持久化功能的Redis节点， 需要排查是否是持久化导致的阻塞。 持久化引起主线程阻塞的操作主要有： fork阻塞、 AOF刷盘阻塞、HugePage写操作阻塞。 fork操作 当Redis做RDB或AOF重写时， 一个必不可少的操作就是执行fork操作创建子进程， 对于大多数操作系统来说fork是个重量级错误。虽然fork创建的子进程不需要拷贝父进程的物理内存空间， 但是会复制父进程的空间内存页表。例如对于10GB的Redis进程， 需要复制大约20MB的内存页表， 因...
Redis AOF持久化.flv
02-14
Redis AOF持久化.flv
Redis 持久化之RDB和AOF.doc
10-09
Redis 持久化是确保数据安全的重要机制，它提供了两种主要的方法：RDB（Redis Database）和 AOF（Append Only File）。RDB 是一种快照式的持久化方式，而 AOF 则记录每次写操作的日志。 RDB 持久化在特定条件下将...
redis-analyzer:解析rdb, aof, 以及执行monitor, 来查找key和分析各种top-key(big key, hot-key, expiry-key, slowlog-key)
05-14
redis-analyzer解析rdb, aof, 以及执行monitor, 来查找key和分析各种top-key(big key, hot-key, expiry-key, slowlog-key)安装go get github.com/lanfang/redis-analyzer如何使用执行redis-analyzer来查看帮助信息，...
尚硅谷——Redis之RDB和AOF持久化
01-31
RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 也是默认的持久化方式，这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。
redis学习之RDB、AOF与复制时对过期键的处理教程
09-09
在 Redis 中，数据持久化是通过两种主要方式实现的：RDB（Redis Database Backup）和 AOF（Append Only File）。这两种机制有助于在服务器重启或发生故障时恢复数据。此外，Redis 还支持主从复制，这在分布式环境和...
Redis AOF持久化
四年
09-29 3105
AOF持久化记录所有服务器对数据库的写操作，并在服务器启动时，用这些命令来还原数据集。AOF文件中的命令都以Redis协议的格式来记录，新命令会被追加到文件的末尾。Redis还支持后台对AOF文件进行重写，防止其超过AOF文件限制的大小 AOF持久化的优缺点 优点 ·使用AOF持久化使Redis变得更耐久你可以设置不同的 fsync 策略，比如无 fsync ，每秒钟一次 fsyn
Redis AOF持久化原理解析
Lisam Blog
05-27 607
Redis版本：Redis 4.0.1 Redis是一个键值对数据库服务器，存储在内存中，如果重启没进行持久化，数据会丢失。所以需要持久化策略RDB和AOF。 涉及Redis源码解析：https://gitee.com/lidishan/redis-source-code-analysis/blob/master/src/aof.c AOF与RDB的区别 - AOF保存Redis所执行的写命令来记录数据库状态，RDB是直接保存键值对数据 - AOF纯文本，RDB二进制 ...
Redis 持久化——AOF 详解
热门推荐
白开水的博客
08-10 2万+
Redis 是一个键值对数据库服务器，服务器中通常包含着任意个非空数据库，而每个非空数据库中有可以包含任意个键值对，为了方便起见，我们将服务器中的非空数据库以及它们的键值对统称数据库状态。 Redis 是内存数据库，它将自己的数据库状态储存在内存里，如果不想办法将储存在内存中的数据库状态保存到磁盘里，那么一旦服务器进程退出，服务器中的数据库状态也会消失不见。为了解这个问题，Redis 提供了两种持久化方式——RDB(Redis DataBase) 和 AOF(Append Only File)，.....
redis持久化之AOF详解
lans_g的博客
05-05 1万+
本篇主要学习了AOF的实现原理，其中关于操作系统的一些知识还是很值得去加深理解的！
redis因AOF追加磁盘阻塞发生故障转移
weixin_33974433的博客
06-29 392
追加AOF时磁盘繁忙redis 错误日志截图下图为AOF工作流程图AOF工作流程图1.所有的写入命令会追加aof_buf(缓冲区中)。2.AOF缓冲区根据对应的策略向硬盘做同步操作。3.随着AOF文件越来越大,需要定期对AOF文件进行重写,达成压缩的目的(对一个key跟新100次会有100条记录,重写后只留最后一条).4.当redis服务器重启时,可以加载AOF文件进行数据...
Redis AOF 追加阻塞问题分析处理
ccy19910925的博客
04-15 1118
当Redis开启AOF持久化时，常用的同步硬盘的策略是everysec，用于平衡性能和数据安全性。对于这种方式，Redis使用另一条线程每秒执行fsync同步硬盘。当系统硬盘资源繁忙时，会造成Redis主线程阻塞，如图所示。 阻塞流程分析： 1）主线程负责写入AOF缓冲区。 2）AOF线程负责每秒执行一次同步磁盘操作，并记录最近一次同步时间。 3）主线程负责对比上次AOF同步时间： 如果距上次同步成功时间在2秒内，主线程直接返回。 如果距上次同步成功时间超过2秒，主线程将会阻塞，直到同步.
企业级Redis开发运维从入门到实践 （19）— 开发运维常见问题（fork操作、子进程开销和优化、AOF追加阻塞、单机多实例部署持久化优化）
zx711166的博客
10-08 456
fork fork操作 同步操作：执行 bgsave、bgrewriteaof都是首先执行一个fork操作，fork只是做一个内存页的拷贝，大部分情况下速度都是很快的；但是本次的 fork 操作卡在某个地方将会阻塞Redis的主线程。 与内存量息息相关：实例内存越大，fork 耗时越长（与机器类型有关）。 info：latest_fork_usec（上次执行 fork 的微秒数），这个数值比较大...
Redis 中的数据持久化策略（AOF）
ChaITSimpleLove的博客
10-19 494
上一篇文章，我们讲的是 Redis 的一种基于内存快照的持久化存储策略 RDB，本质上他就是让 redis fork 出一个子进程遍历我们所有数据库中的字典，进行磁盘文件的写入。 但其实这种方式是有缺点的，先不说阻塞式 save 调用会阻塞整个 redis 服务，即便异步式 bgsave 也是基于时间间隔，每多少秒触发了多少次更新操作才会生成 RDB 文件，那么如果某次 RDB 生成之后，紧接着服务宕机，就至少丢失几秒甚至更多的数据，并且这些数据是无法挽回的。 而 AOF 是 redis 中的另一种数据持久
Redis AOF 持久化学习笔记
Leo的博客
07-17 1万+
文章 Redis 快照持久化学习笔记 介绍 Redis 快照持久化的功能，除了快照持久化外，Redis 还提供了 AOF（Append Only File）持久化功能。与快照持久化通过直接保存 Redis 的键值对数据不同，AOF 持久化是通过保存 Redis 执行的写命令来记录 Redis 的内存数据。AOF 持久化的原理理论上说，只要我们保存了所有可能修改 Redis 内存数据的命令（也就是写命
redis AOF
最新发布
09-14
Redis AOF是一种持久化机制，用于将Redis服务器的操作日志以追加的方式记录在磁盘上。引用中提到，当AOF文件的体积变得过大时，Redis可以自动进行AOF重写。AOF重写实际上是对当前数据集所需的最小命令集合进行重写，而不是对原有的AOF文件进行写入和读取操作。这个重写过程是在后台进行的，通过fork子进程来执行。重写后的新AOF文件能够恢复当前数据集的状态。 引用中提到，Redis将AOF重写程序放在后台子进程中执行的原因是为了避免影响服务器的请求处理能力。通过将AOF重写程序放在后台执行，可以确保服务器能够继续处理请求，而不会被AOF重写过程阻塞。 在Redis服务器中，redisServer结构维护着服务器的状态，而aof_buf域则用来保存等待写入AOF文件的协议文本(RESP)。这些协议文本包含了对键的操作命令，用于记录服务器的操作日志。当需要将操作日志写入AOF文件时，这些协议文本会被写入到AOF缓冲区中，然后由后台的AOF子进程负责将缓冲区中的内容写入到AOF文件中。这种方式可以提高性能，并且减少了直接写入文件的开销。引用中提到了这一点。 综上所述，Redis的AOF机制是通过记录操作日志来实现数据持久化的。当AOF文件体积过大时，Redis会自动进行AOF重写，将当前数据集所需的最小命令集合写入一个新的AOF文件中。为了避免影响服务器的请求处理能力，AOF重写过程会在后台执行。通过维护一个AOF缓冲区，Redis可以将待写入的协议文本暂时保存在内存中，然后由后台子进程负责将其写入AOF文件中。这种机制可以提高性能并减少直接写入文件的开销。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值