redis数据备份原理和定时冷备份脚本

最新推荐文章于 2024-01-26 08:14:36 发布
最新推荐文章于 2024-01-26 08:14:36 发布
阅读量994 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38014033/article/details/107199294
版权

文件目录：

|- /etc
  |- /redis     # 存放配置文件，按端口名命名
    |- 7001.conf
  |- /redis-cluster  # 存放 redis 集群维护的配置文件目录
  |- /init.d  
    |-/redis_7001 # 启动脚本  
|- /var
  |-/log/redis  # 存放日志文件
    |-/7001.log # 日志文件
  |-/redis/7001 # 存放数据文件

综合使用 AOF 和 RDB 两种持久化机制：
1、用 AOF 来保证数据不丢失，作为数据恢复的第一选择;
2、用 RDB 来做不同程度的冷备，在 AOF 文件都丢失或损坏不可用的时候，还可以使用 RDB 来进行快速的数据恢复;

通过 RDB 或 AOF，都可以将 redis 内存中的数据给持久化到磁盘上面来，然后可以将这些数据备份到别的地方去，比如说阿里云，云服务。如果同时使用 RDB 和 AOF 两种持久化机制，那么在 redis 重启的时候，会使用 AOF 来重新构建数据，因为 AOF 中的数据更加完整。我觉得这里面两种最重要的差别是什么？rdb文件是快照 ， aof文件是操作指令。

配置rdb持久化操作

redis.conf文件，也就是/etc/redis/*，去配置持久化。

conf文件中

       save 60 10000 : 每隔60s，如果有超过10000个key发生了变更，那么就生成一个新的dump.rdb文件，就是当前redis内存中完整的数据快照，这个操作也被称之为snapshotting，快照。也可以手动调用save或者bgsave命令，同步或异步执行rdb快照生成。

      save可以设置多个，就是多个snapshotting检查点，每到一个检查点，就会去check一下，是否有指定的key数量发生了变更，如果有，就生成一个新的dump.rdb文件。

可以设置多个检查点，默认设置了 3 个检查点

配置aof持久化操作

AOF 持久化，默认是关闭的，RDB 是默认开启的。

/etc/redis/****.conf 中的 APPEND ONLY MODE 配置区。

appendonly yes 启用后 appendfsync 属性开始生效，有三个策略可选

  • no：不主动执行fsync

    仅仅 redis 负责将数据写入 os cache 就撒手不管了，然后后面 os 自己会时不时有自己的策略将数据刷入磁盘，不可控了

  • always：每次写入一条数据就执行一次 fsync

    每次写入一条数据，立即将这个数据对应的写日志 fsync 到磁盘上去，性能非常非常差，吞吐量很低; 确保说 redis 里的数据一条都不丢，那就只能这样了

  • everysec：每隔一秒执行一次 fsync

    每秒将 os cache 中的数据 fsync 到磁盘，这个最常用的，生产环境一般都这么配置，性能很高，QPS 还是可以上万的。

QPS 指每秒钟的请求数量。大概的举个例子 :

  • mysql -> 是基于大量磁盘，1~2K QPS
  • redis -> 基于内存，磁盘做持久化，单机 QPS 一般来说上万没有问题

AOF rewrite

    redis 中的数据其实有限的，很多数据可能会自动过期，可能会被用户删除，可能会被 redis 用缓存清除的算法清理掉，总之 redis 中的数据会不断淘汰掉旧的，就一部分常用的数据会被自动保留在 redis 内存中。

     所以可能很多之前的已经被清理掉的数据，对应的写日志还停留在 AOF 中，AOF 日志文件就一个，会不断的膨胀，变大。

所以 AOF 会自动在后台每隔一定时间做 rewrite 操作，比如日志里已经存放了针对 100w 数据的写日志了; redis 内存中只剩下 10 万; 基于内存中当前的 10 万数据构建一套最新的日志，到 AOF 中; 覆盖之前的老日志; 确保 AOF 日志文件不会过大，保持跟 redis 内存数据量一致。

redis 2.4 之前，还需要手动，开发一些脚本 crontab 定时通过 BGREWRITEAOF 命令去执行 AOF rewrite，但是 redis 2.4 之后，会自动进行 rewrite 操作

aof rewrite 有两个重要的配置参数

/etc/redis/****.conf

上面的配置意思是： 当 aof 日志超过 64 m 且，上一次 aof 之后的文件大小，比如是 60 m，那么当文件增长到 120 m 的时候，就会触发 rewrite 操作

  • auto-aof-rewrite-percentage: 增长百分比，比上一次增长多少内容的时候就会触发 rewrite 操作
  • auto-aof-rewrite-min-size：rewrite 操作的最小文件大小，超过该大小才会执行 rewrite 操作

redis发生异常，重启，就会先恢复aof命令里面保存的数据。如果 redis 在 append 数据到 AOF 文件时，机器宕机了，可能会导致 AOF 文件破损。

可以用 redis-check-aof --fix 命令来修复破损的 AOF 文件（该命令在 redis 安装目录下）。

 

AOF 和 RDB 同时工作

  • 他们的自动执行是互斥的
  • 如果 RDB 在执行 snapshotting，此时用户手动执行 BGREWRITEAOF 命令，那么等 RDB 快照生成之后，才会去执行 AOF rewrite
  • 同时有 RDB snapshot 文件和 AOF 日志文件，那么 redis 重启的时候，会优先使用 AOF 进行数据恢复，因为其中的日志更完整

在企业中，RDB 的生成策略，用默认的也差不多，如果有可能改动的地方，可能是如下两个配置：

  • save 60 10000：如果你希望尽可能确保说，RDB 最多丢 1 分钟的数据，那么尽量就是每隔 1 分钟都生成一个快照，低峰期，数据量很少，也没必要

  • AOF 一定要打开everysec

    • auto-aof-rewrite-percentage 100: 就是当前 AOF 大小膨胀到超过上次 100%，上次的两倍
    • auto-aof-rewrite-min-size 64mb: 根据你的数据量来定，16mb，32mb

备份脚本

RDB 非常适合做冷备，每次生成之后，就不会再有修改了

数据备份方案：写 crontab 定时调度脚本去做数据备份

  1. 小时级：每小时都 copy 一份 rdb 的备份，到一个目录中去，仅仅保留最近 48 小时的备份
  2. 日级：每天都保留一份当日的 rdb 的备份，到一个目录中去，仅仅保留最近 1 个月的备份
  3. 每天晚上将当前服务器上所有的数据备份，发送一份到远程的云服务上去

使用脚本来完成。

创建相关目录：mkdir /usr/local/redis/snapshotting

mkdir /usr/local/redis/copy

按小时级备份:

1、备份脚本

vi copy/redis_rdb_copy_hourly.sh

#!/bin/sh

# 生成文件夹名称 2020070810
cur_date=`date +%Y%m%d%k`
# 以防万一，先删除，再创建目录
rm -rf /usr/local/redis/snapshotting/$cur_date
# -p 可以创建多级目录
mkdir -p /usr/local/redis/snapshotting/$cur_date
cp /var/redis/7001/dump.rdb /usr/local/redis/snapshotting/$cur_date

# 生成 48 小时前的目录 2020070610
del_date=`date -d -48hour +%Y%m%d%k`
rm -rf /usr/local/redis/snapshotting/$del_date
 

2、定时操作脚本

# 该命令打开的是一个列表，有多条调度任务就一行一个
crontab -e

# 每/周日时分 0 秒，也就是每小时执行一次该脚本
0 * * * * sh /usr/local/redis/copy/redis_rdb_copy_hourly.sh

 

按天备份也是如此，与前面的脚本一样，只是时间表达式不一样

vi copy/redis_rdb_copy_daily.sh

#!/bin/sh

# 生成文件夹名称 20200708
cur_date=`date +%Y%m%d`
# 以防万一，先删除，再创建目录
rm -rf /usr/local/redis/snapshotting/$cur_date
# -p 可以创建多级目录
mkdir -p /usr/local/redis/snapshotting/$cur_date
cp /var/redis/7001/dump.rdb /usr/local/redis/snapshotting/$cur_date

# 生成 一个月前的文件夹
del_date=`date -d -1month +%Y%m%d`
rm -rf /usr/local/redis/snapshotting/$del_date
 

# 该命令打开的是一个列表，有多条调度任务就一行一个
crontab -e

# 每/周日时分 0 秒，也就是每小时执行一次该脚本
0 * * * * sh /usr/local/redis/copy/redis_rdb_copy_hourly.sh
0 0 * * * sh /usr/local/redis/copy/redis_rdb_copy_daily.sh
 

特别注意的是用rdb冷备恢复数据因为也启用aof备份恢复的原因，重启redis会优先给予aof文件恢复，虽然删除了appendonly.aof，但是因为打开了aof持久化，redis就一定会优先基于aof去恢复，即使文件不在，那就创建一个新的空的aof文件。

       如何在数据安全丢失的情况下，基于rdb冷备，如何完美的恢复数据，同时还保持aof和rdb的双开？

       停止redis，conf配置文件关闭aof（appendonly no），拷贝rdb备份，重启redis，确认数据恢复，直接在命令行热修改redis配置，打开aof，这个redis就会将内存中的数据对应的日志，写入aof文件中。此时aof和rdb两份数据文件的数据就同步了。

redis config set热修改配置参数，可能配置文件中的实际的参数没有被持久化的修改，再次停止redis，手动修改配置文件，打开aof的命令，再次重启redisredis-cli
config get appendnoly
config set appendonly yes

最后这个时候，conf文件的aof配置还是no,这个时候，再安全关停一下redis ，在再改成 appendonly yes，启动redis。

 

crontab 脚本说明：

https://www.cnblogs.com/erbing/p/10019172.html

smileQQQ
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据库备份数据脚本配合定时功能
08-16
数据库需要定期的备份数据和日志等信息，这个脚本可以配合着，定时功能，很好的完成定时备份数据，很优秀~
定时备份_分享一个实用脚本--Redis数据定时备份
weixin_39560245的博客
11-29 893
概述前面已经介绍了redis备份恢复相关的一些命令，其中有提到备份的一个思路，所以下面主要提供一个备份的脚本，仅供参考。备份脚本执行save命令后将redis文件迁移到备份目录即可。#! /bin/bash#copyright by hwbdate=$(date +"%Y%m%d")redis_path=/usr/local/redis-3.2.1#备份cd $redis_path/src./re...
redis的备份原理
最新发布
CSDNlele666的博客
01-26 1193
redis主从复制,哨兵模式
redis备份脚本（自用）
小不的博客
05-12 1484
自用
Redis之备份机制（一）
慢一拍的coder
08-31 1331
目录 1：写在前面 2：两种备份机制 2.1：RDB（redis-database） 2.2：AOF（append-only-file） 3：总结 1：写在前面 Redis是一种NOSQL数据库，和 memecache最大的区别是Redis是可以持久化的，那么是怎么持久化的呢，以及持久化的策略。 2：两种备份机制 2.1：RDB（redis-database） 1：当服务...
简单粗暴的Redis数据备份和恢复方法
12-16
本文将探讨一种简单粗暴的Redis数据备份和恢复方法，特别适用于将Redis数据从一个服务器复制到另一个服务器，例如从CentOS迁移到Mac。 在开始之前，了解Redis的数据持久化机制至关重要。Redis有两种主要的持久化...
Centos7如何备份和还原Redis数据的方法
09-09
这篇文章将详细解释如何在CentOS 7环境下备份和还原Redis的数据。 **备份Redis数据** 备份Redis数据主要是为了防止数据丢失。要进行备份，首先需要确认Redis数据库的路径。在CentOS 7中，这通常是`/var/lib/redis`...
redis数据备份恢复
12-07
redis数据备份恢复注意问题，RDB方式和AOF方式进行持久化操作细节
Redis源码阅读 （备份机制）
alpha_love的博客
06-04 299
5. 备份机制 Redis是内存数据库，支持两种方式——snapshot和aof，将数据从内存dump到磁盘。 snapshot是快照式备份，每次将Redis全库dump到磁盘， aof是流水式备份，每次将Redis数据库的修改日志dump到磁盘，并定期整理日志。 5.1. Snapshot Redis支持Snapshot（快照）式备份。 Redis可以自动检测备份时机，设置每N秒检查，若发生M次以上数据更新操作，则开始Snapshot备份，也可以由客户端发送save或bgsave命令手动启动备份。s
简述Redis备份策略以及对应的实现机制
沛哥儿的专栏
12-28 1463
在选择Redis的备份策略时，需要根据实际业务需求和系统资源进行权衡。定期备份适用于数据量较小的情况，实时备份适用于对数据完整性要求高的场景，增量备份和全量备份适用于大数据量和高恢复速度的要求。在实现备份时，可以选择RDB、AOF或第三方工具进行操作，确保数据的安全性和完整性。
redis数据备份与恢复机制
wuzhan的专栏
11-12 265
redis 两种持久化方式以及数据备份与恢复方案
redis数据库备份脚本
weixin_34067049的博客
06-13 644
redis-dump命令安装环境参考一下链接地址：https://blog.51cto.com/wujianwei/2105124 redis数据库备份脚本： [root@localhost ~]# cat /data/scripts/dump_redisdata.sh #!/bin/bash source /etc/profile.d/rvm.sh /usr/local/rvm/bin/rvm ...
redis详解之数据备份与恢复
热门推荐
原名：@程序员大禹
06-28 1万+
Redis所有数据都是保存在内存中，Redis数据备份可以定期的通过异步方式保存到磁盘上，该方式称为半持久化模式，如果每一次数据变化都写入aof文件里面，则称为全持久化模式。本章节通过配置文件，触发快照的方式，恢复数据的操作，优缺点来学习 Redis 的重点知识——数据备份与恢复。1、方式一：半持久化RDB模式（Redis DataBase）【redis备份默认方式】通过快照完成，由用户在redis.conf配置文件中设置两个参数：时间和改动的键的个数。当在指定的时间内被更改的键的个数大于指定的数值时，re
【Redis】冷备份、温备份和热备份
山高人为峰
04-30 3275
按备份系统的准备程度，可将其分为 冷备份、温备份和热备份三大类 : 1、冷备份 备份系统未安装或未配置成与当前使用的系统相同或相似的运行环境，应用系统数据没有及时装入备份系统。一旦发生灾难，需安装配置所需的运行环境，用数据备份介质(磁带或光盘) 恢复应用数据，手工逐笔或自动批量追补孤立数据，将终端用户通过通讯线路切换到备份系统，恢复业务运行。 优点 : 设备投资较少，节省通信费用...
Redis一键备份与恢复脚本+持久化操作记录
作者的博客园已搬家到CSDN，访问博客园主页将默认跳转至CSDN
04-13 249
使用自动恢复脚本，快速准确的一键恢复到指定时间的数据，保证业务的快速恢复。业务场景中，数据的恢复场景要求稳准快；制作测试数据，便于以下的案例测试。制作测试数据，便于以下的案例测试。数据，并在业务中一键快速恢复。备份间隔：建议在每隔2个小。保留时长：保留7天即可。数据，提高工作效率！
redis远程备份脚本_分布式实战：Redis企业级灾备方案
weixin_29482557的博客
01-31 296
本文首发于Ressmix个人站点：https://www.tpvlog.com上一章，我讲解了Redis的两种持久化方式的基本配置，那么在生产环境中，Redis的持久化到底该如何运用呢？企业级的数据备份和各种灾难下的数据恢复，又是怎么做的呢？本章，我就通过实战演练，讲一讲企业级Redis灾备方案。一、持久化配置策略Redis的持久化配置，就两种——RDB和AOF，在生产环境配置下，主要就...
Redis持久化备份方式
scott_bing的专栏
11-10 1791
Redis持久化备份方式
redis数据冷备,恢复
weixin_43606738的博客
08-23 1336
redis数据冷备,恢复 数据恢复方案 (1）如果是redis进程挂掉，那么重启redis进程即可，直接基于AOF日志文件恢复数据不演示了，在AOF数据恢复那一块，演示了，fsync everysec，最多就丢一秒的数 (2）如果是redis进程所在机器挂掉，那么重启机器后，尝试重启redis进程，尝试直接基于AOF日志文件进行数据恢复, AOF没有破损，也是可以直接基于AOF恢复的, AOF a...
Redis 数据备份与恢复
DTCloud
05-24 240
Redis SAVE 命令用于创建当前数据库的备份。 语法 redis Save 命令基本语法如下： redis 127.0.0.1:6379> SAVE 实例 redis 127.0.0.1:6379> SAVE OK 该命令将在 redis 安装目录中创建dump.rdb文件。 恢复数据 如果需要恢复数据，只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可。获取 redis 目录可以使用 CONFIG 命令，如下所示： redis 127.0.0.1:6
redis数据持久化原理和实现
06-04
Redis数据持久化的原理是将内存中的数据写入到磁盘上，以保证数据在Redis进程崩溃或者重启之后不会丢失。Redis支持两种数据持久化方式，即RDB和AOF。 1. RDB持久化方式的实现原理： 当Redis需要进行RDB持久化时，会触发一个子进程来进行持久化操作。子进程首先会将主进程的数据复制一份，然后将数据以快照的形式写入到磁盘上。在快照写入到磁盘之后，Redis会将新的数据文件替换旧的数据文件，从而完成持久化操作。 2. AOF持久化方式的实现原理： 当Redis需要进行AOF持久化时，会将写入内存的每个命令都记录到一个追加文件中，从而形成一个操作日志。当Redis需要进行数据恢复时，会按照记录的日志，重新执行每个命令，从而还原数据。Redis支持将AOF文件以同步或异步的方式写入到磁盘上。同步方式会在每次写入操作执行完成后立即同步到磁盘上，可以保证数据的完整性，但会影响性能。异步方式会将写入操作缓存起来，定期将缓存中的操作写入磁盘上，可以提高性能，但是可能会出现数据丢失的情况。 总体来说，Redis的数据持久化方式可以保证数据的安全性和可靠性，同时也可以提高系统的性能和可扩展性。可以根据实际情况选择合适的持久化方式，或者同时使用多种持久化方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值