redis持久化

最新推荐文章于 2023-05-16 19:16:17 发布
最新推荐文章于 2023-05-16 19:16:17 发布
阅读量155 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jesen_32/article/details/109512168
版权
本文介绍了Redis的持久化机制，包括RDB和AOF两种方式，以及它们的数据恢复过程和优缺点。此外，还讨论了AOF的重写机制以保持文件大小。最后，提到了Redis性能管理，如内存碎片率、内存使用率的监控以及回收策略的设置。
摘要由CSDN通过智能技术生成

redis持久化

持久化概述

  • redis是运行在内存中，内存中的数据断电丢失
  • 萎了能够重用redis数据，或者防止系统故障，需要将redis中的数据写入到磁盘空间中，即持久化

持久化分类

  • RDB方式：创建快照的方式获取某一时刻redis中所有数据的副本
  • AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化

RDB持久化

  • redis的默认持久化方式
  • 默认文件名为：dump.rdb
  • 优缺点：
    1、适合大规模的数据恢复
    2、如果业务对数据完整性和一致性要求不高，RDB是很好的选择
    3、数据的完整性和一致性不高
    4、备份时占用内存

数据恢复

  • 通过RDB文件恢复数据
    将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可
  • 配置文件选项
vim /etc/redis/6379.conf
save 900 1		##900秒之内至少发生一次写操作
save 300 10		##300秒之内至少发生10次写操作
save 60 10000		##60秒之内发生至少10000次写操作
			##只要满足以上其一都会触发快照操作，注释掉所有的save项表示关闭RDB
dbfilename dump.rdb	##RDB文件名称
dir /var/lib/redis/6379	##RDB文件路径
rdbcopression yes	##是否进行压缩

AOF持久化

  • redis默认不开启
  • 弥补RDB的不足(数据的不一致性)
  • 采用日志的形式来记录每个写操作，并追加到文件中
  • redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

数据恢复

  • 根据AOF文件恢复数据：
    将appendonly.aof文件拷贝到redis的安装目录的bin目录下，重启redis服务即可
  • 配置文件选项：
vim /etc/redis/6379.conf
appendonly yes			##开启AOF持久化
appendfilename "appendonly.aof"	##AOF文件名称
# appendfsync always		##同步持久化，每次发生数据变化会立刻写入磁盘
appendfsync everysec		##默认推荐，每秒异步记录一次(默认值)
# appendfsync no		##不同步，交给操作系统决定如何同步
aof-load-truncated yes		##忽略最后一条可能存在问题的指令

AOF重写

AOF的重写机制：
1、AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
2、当AOF文件的大小超过所设定的阈值时，redis就会对AOF文件的内容压缩
AOF重写的原理：
redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件
AOF的重写配置：
在这里插入图片描述

redis性能管理

[root@localhost ~]# /usr/local/redis/bin/redis-cli 
127.0.0.1:6379> info memory
# Memory
used_memory:2654624
used_memory_human:2.53M		##内存使用总量
used_memory_rss:13500416
used_memory_rss_human:12.88M
used_memory_peak:6746992
used_memory_peak_human:6.43M
used_memory_peak_perc:39.35%
used_memory_overhead:2565010
used_memory_startup:1449664
used_memory_dataset:89614
used_memory_dataset_perc:7.44%
allocator_allocated:3074920
allocator_active:3395584
allocator_resident:10424320
total_system_memory:3958075392
total_system_memory_human:3.69G
used_memory_lua:37888
used_memory_lua_human:37.00K
used_memory_scripts:0
used_memory_scripts_human:0B
number_of_cached_scripts:0
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
allocator_frag_ratio:1.10
allocator_frag_bytes:320664
allocator_rss_ratio:3.07
allocator_rss_bytes:7028736
rss_overhead_ratio:1.30
rss_overhead_bytes:3076096
mem_fragmentation_ratio:5.17		##内存碎片率
mem_fragmentation_bytes:10886816
mem_not_counted_for_evict:82
mem_replication_backlog:1048576
mem_clients_slaves:16922
mem_clients_normal:49694
mem_aof_buffer:82
mem_allocator:jemalloc-5.1.0
active_defrag_running:0
lazyfree_pending_objects:0

内存碎片率

  • 操作系统分配的内存值used_memory_rss除以Redis使用的内存值used_memory计算得出
  • 内存碎片是由操作系统低效的分配/回收物理内存导致的
    不连续的物理内存分配
  • 跟踪内存碎片率对理解Redis实例的资源性能是非常重要的
    内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
    内存碎片率超过1.5，说明Redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
    内存碎片率低于1的，说明Redis内存分配超出了物理内存，操作系统

内存使用率

  • redis实例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换
  • 避免内存交换
    针对缓存数据大小选择
    尽可能的使用Hash数据结构
    设置key的过期时间

回收key

  • 保证合理分配redis有限的内存资源
  • 当达到设置的最大阀值时，需选择一种key的回收策略
    • 默认情况下回收策略是禁止删除
    • redis.conf配置文件中修改maxmemory-policy属性值
      • volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
      • volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰
      • volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
      • allkeys-Iru:使用LRU算法从所有数据集合中淘汰数据
      • allkeys-random:从数据集合中任意选择数据淘汰
      • no-enviction:禁止淘汰数据
喵了个咪的！
关注
MySQL主从配置高可用
xf827102的博客
12-04 324
数据库 两个mysql数据库同步 1、编写二进制日志文件 1.1主库配置 vim /etc/my.cnf 进入my.cnf文件后,添加配置 server-id=1 log-bin=mysql-bin 修改完后，保存退出，重启数据库，去MySQL目录下查询是否生成mysql-bin.index和mysql-bin.000001文件 副库与主库一样配置，server-id不一样即可 1.2配置主从关系 在主库输入，记录主库的file和Position SHOW MASTER STAT
NoSQL 之Redis 的服务优化
CSDN著名博主
11-05 385
文章目录一、Redis 持久化1.1、RDB 持久化1.2、AOF 持久化二、Redis 性能管理2.1、内存碎片率2.2、内存使用率2.3、回收key 一、Redis 持久化 持久化概述 Redis是运行在内存中，内存中的数据断电丢失 为了能后重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化 持久化分类 RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本 AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化 1.1、RDB
Redis持久化和内存优化
m0_50851720的博客
11-13 231
1.Redis持久化策略 2.Redis内存策略 3.关于缓存面试题 4.Redis分片机制
redis持久化优化
qq_27388039的博客
04-14 744
1、生成RDB快照和AOF重写都会fork子线程来执行，但是fork子线程时会阻塞主线程，fork的实现与内存中的数据直接相关，redis内存中的数据越多则fork阻塞的时间就越长。2、redis的fork操作采用写时复制技术，虽然不用全量拷贝主线程内存中的数据，但是会复制主线程的空间内存也表，10GB大约需要20MB的内存页表。3、优化主要从cpu、内存、磁盘这几个方面着手：cpu：1、redi...
Redis的持久化及内存优化
asdf1238321fdsa的博客
11-13 132
Redis持久化策略 redis运行在内存中，防止服务器关闭而导致的内存数据丢失 ——定期将内存数据持久化到磁盘中 一、RDB模式 redis的默认策略，能够定期持久化（时间间隔），但是可能会导致数据的丢失。它记录的是内存数据的快照，只保留最新的记录 1.save命令：将数据存储到磁盘中 二、AOF模式 AOF模式默认关闭，记录的是用户的操作过程，可以实现实时持久化操作，持久化文件较大，要定期维护 一旦开启AOF模式，以AOF为准 ** 内存优化策略 原则：删除旧数据，保留新的数据 一：LRU算法 L
02-Redis持久化、主从与哨兵架构详解.zip
11-18
Redis是一款高性能的键值对内存数据库，常用于缓存、消息队列以及数据持久化等场景。本资料包主要探讨Redis的三个核心概念：持久化、主从复制和哨兵架构，这些都是确保Redis高可用性和数据安全的重要机制。 首先，...
从源码解读redis持久化
12-16
【Redis持久化】Redis作为一款内存数据库，其数据存储在内存中，存在因服务器宕机导致数据丢失的风险。为了确保数据安全，Redis提供了持久化机制，将内存中的数据保存到磁盘，即使服务器重启，也能恢复数据。持久化...
redis持久化原理、缓存问题处理方案
热门推荐
qq_24101357的博客
04-20 5万+
redis持久化 redis开机的时候—>加载持久化文件（第一次开启的时候没有）—>启动了—>会写入一些数据 —>redis会在某一时刻把内存的数据写入磁盘（生成持久化文件） 1.RDB持久化原理 原理是redis会单独创建（fork）一个和当前线程一模一样的子进程来进行持久化，这个子进程的所有数据 （变量、环境变量、程序计数器等）和原进程一模一样，会先将数据写入到一个临时文件中，待持久化结束， 再用这个临时文件替换上次持久化好的文件，整个过程中，主进程不进行任何io操作，这就确保
Redis持久化的原理及优化
Yonx
09-08 366
Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种方案分别有其长处和短板，可以配合起来同时运行，确保数据的稳定性。 RDB 保存数据快照至一个RDB文件中，用于持久化。RDB持久化的触发分为手动触发和自动触发两种。RDB操作和Mysql Dump相似。 手动触发 save 同步操作，会阻塞Redis。 bgsave 调用linux的fork()，然后使用新的线程执行复制。但是fork期间也会阻塞Redis，阻塞时间通常很短。 自动触发 自动保存 自动触发最常...
Redis高可用及优化
Guiled7的博客
02-24 167
Redis优化 一、Redis高可用 在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务。（99.9%、99.99%、99.999%等等）。 但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务，还需要考虑数据容量的扩展、数据安全不会丢失等。 在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和Cluster集群，下面分别说明它们的作用，以及解决了什么样的问题。 持久化：持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)
redis原理介绍、持久化机制和常用内存优化
wzq的博客
03-22 1467
数据类型 Redis最为常用的数据类型主要有以下五种： String Hash List Set Sorted set 在具体描述这几种数据类型之前，我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的：         首先Redis内部使用一个redisObject对象来表示所有的key和value,redisObje
redis内存占用分析，可视化查看redis数据内存占用大的key
microGP的专栏
10-23 3487
需求来源： 客户现场redis内存飙升，由于无法远程连接客户现场环境，进而分析redis的内存中占用较大的key，无法进行问题精确定位，所以需要一个组件或者方法来查看redis内存占用大的key的列表，进而定位问题 解决方案： 依赖： redis持久化的rdb文件，以及开源的Redis Data Reveal（rdr）组件 rdb文件： 该文件有两个来源： redis配置的持久化策略，定期会生成一个rdb文件，可以直接拿来分析 如果未配置rdb持久化策略，则可以在redis shell中执行
Redis持久化方法及内存使用
wang959512421的博客
12-13 1134
Redis持久化方法及内存使用
Redis 高可用之持久化
最新发布
Yuzhang2046的博客
05-16 498
在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%等等）。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术），还需要考虑数据容量的扩展、数据安全不会丢失等。
Redis2/5---持久化和内存管理
Stephanie翟倩
07-15 192
Redis持久化和内存管理。
运维排查篇 | Redis占用内存过高怎么办？
s_alted的博客
09-21 4620
进来给我了解Redis内存回收机制！
【Redis持久化及性能管理】
zhangyuanzhangy的博客
06-19 429
从redis非关系型数据库而言，除了保证提供正常服务(如主从分离、快速容灾技术)，还需要考虑数据容量的扩展，数据安全不会丢失等；那么实现高可用的技术主要包括持久化、主从复制、哨兵和集群主要作用是数据备份，即把数据保存在一个位置或者磁盘中主从复制是高可用Redis的基础，主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复 缺陷 故障恢复无法自动化写操作无法负载均衡 单机的原因限制了存储能力需要在主从复制的基础上实现自动化的故障恢复 缺陷 写操作无法实现负载均衡 单机的原因限制了存储能力
Redis持久化深度解析：RDB与AOF对比
本文主要介绍Redis的两种主要持久化方案：RDB (Redis持久化) 和 AOF (Append Only File)。 RDB（Redis持久化文件）是Redis默认的持久化方式，它的工作原理是定期（如每30分钟、60分钟等自定义设置）创建一个基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值