Redis的持久化

目录

redis持久化的文件是什么

一.redis持久化之RDB

1.1.RDB是什么

1.2.备份是如何执行的

1.3.Fork

1.4.RDB持久化流程

1.5.dump.rdb文件

1.6.配置位置

1.7 如何触发RDB快照;保持策略

1.7.1配置文件中默认的快照配置时间间隔

1.7.2 命令save bgsave

1.7.3 flushall 命令

1.7.4 save

1.7.5 stop-writes-on-bgsave-error

1.7.6 rdbcompression 压缩文件

1.7.7 rdbchecksum 检查数据的完整性

1.7.8 rdb的备份

1.7.9 优势

1.7.10  劣势

二、Redis持久化之AOF

2.1   AOF(Append Only File)

2.1.1 AOF是什么

2.1.2 AOF持久化流程

2.1.3.    AOF默认不开启

2.1.4  AOF和RDB同时开启,redis听谁的?

2.1.5  AOF启动/修复/恢复

2.1.6  AOF同步频率设置

三、主从复制

1.一主二仆

1.1创建文件

1.2 启动6380 6381 6382 端口号的redis

1.3 通过客户端连接redis

1.4 配置主和从

1.5用 info replication获取 Redis 主从复制相关的信息

2.反客为主

3.哨兵模式(sentinel)


redis持久化的文件是什么

dump.rdb   appendonly.aof

一.redis持久化之RDB

redis提供了两个不同形式的持久化方式 RDB(redis Database) 和 AOF(Append  Of File)

1.1.RDB是什么

在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里

1.2.备份是如何执行的

Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

1.3.Fork

  Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程

 在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,Linux中引入了“写时复制技术

 一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。

1.4.RDB持久化流程

1.5.dump.rdb文件

在redis.conf中配置文件名称,默认为dump.rdb  文件在哪里启动这个文件就在哪里

1.6.配置位置

rdb文件的保存路径,也可以修改。默认为Redis启动时命令行所在的目录下

1.7 如何触发RDB快照;保持策略

1.7.1配置文件中默认的快照配置时间间隔

以上三项默认信息设置代表的意义是:

如果900秒内有1条Key信息发生变化,则进行快照;

如果300秒内有10条Key信息发生变化,则进行快照;

如果60秒内有10000条Key信息发生变化,则进行快照。

1.7.2 命令save bgsave

save :save时只管保存,其它不管,全部阻塞。手动保存。不建议。

bgsave:Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。

可以通过lastsave 命令获取最后一次成功执行快照的时间

1.7.3 flushall 命令

执行flushall命令,也会产生dump.rdb文件,但里面是空的,无意义

1.7.4 save

格式:save 秒 写操作次数

RDB是整个内存的压缩过的Snapshot,RDB的数据结构,可以配置复合的快照触发条件,

默认是1分钟内改了1万次,或5分钟内改了10次,或15分钟内改了1次。

禁用

不设置save指令,或者给save传入空字符串

1.7.5 stop-writes-on-bgsave-error

当Redis无法写入磁盘的话(磁盘已满),直接关掉Redis的写操作。推荐yes.

1.7.6 rdbcompression 压缩文件

对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会进行压缩。

如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能。推荐yes.

1.7.7 rdbchecksum 检查数据的完整性

在存储快照后,还可以让redis来进行数据校验,如果数据已经损坏就不需要再进行持久化的操作,这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能  推荐yes.

1.7.8 rdb的备份

先查询rdb文件的目录  将*.rdb的文件拷贝到别的地方 rdb的恢复 关闭Redis 先把备份的文件拷贝到工作目录下 cp dump2.rdb dump.rdb 启动Redis, 备份数据会直接加载

1.7.9 优势

  适合大规模的数据恢复

  对数据完整性和一致性要求不高更适合使用

 节省磁盘空间

 恢复速度快

1.7.10  劣势

 Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑

  虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。

  在备份周期在一定间隔时间做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改。

二、Redis持久化之AOF

2.1   AOF(Append Only File)

2.1.1 AOF是什么

日志的形式来记录每个写操作(增量保存),将Redis执行过的所有写指令记录下来(读操作不记录), 只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

2.1.2 AOF持久化流程

(1)客户端的请求写命令会被append追加到AOF缓冲区内;

(2)AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中;

(3)AOF文件大小超过重写策略或手动重写时,会对AOF文件rewrite重写,压缩AOF文件容量;

(4)Redis服务重启时,会重新load加载AOF文件中的写操作达到数据恢复的目的;

2.1.3.    AOF默认不开启

可以在redis.conf中配置文件名称,默认为 appendonly.aof

AOF文件的保存路径,同RDB的路径一致。

改为yes为开启 

2.1.4  AOF和RDB同时开启,redis听谁的?

AOF和RDB同时开启,系统默认取AOF的数据(数据不会存在丢失)

2.1.5  AOF启动/修复/恢复

 AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样,都是拷贝备份文件,需要恢复时再拷贝到Redis工作目录下,启动系统即加载。

  正常恢复

  修改默认的appendonly no,改为yes

  将有数据的aof文件复制一份保存到对应目录

 恢复:重启redis然后重新加载

  异常恢复

 修改默认的appendonly no,改为yes

如遇到AOF文件损坏,通过

/usr/redis/bin/redis-check-aof --fix 文件的位置/appendonly.aof进行恢复

 备份被写坏的AOF文件

  恢复:重启redis,然后重新加载

2.1.6  AOF同步频率设置

appendfsync always

始终同步,每次Redis的写入都会立刻记入日志;性能较差但数据完整性比较好

appendfsync everysec

每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失。

appendfsync no

redis不主动进行同步,把同步时机交给操作系统。

三、主从复制

主从复制(Master-Slave Replication)是一种Redis数据库的高可用性方案,它可以通过将数据从一个主节点复制到多个从节点来实现数据的冗余备份和读请求负载均衡。在主从复制中,主节点负责写入数据,从节点则负责读取数据。当主节点出现故障时,其中一个从节点会被晋升为新的主节点,保证了系统的高可用性。

主从复制的主要优势包括:

  1. 数据备份:主从复制可以将主节点的数据复制到多个从节点,从而实现数据的冗余备份。当主节点出现故障时,系统可以快速地切换到某个从节点上,保证数据的可用性。
  2. 读请求负载均衡:多个从节点可以同时处理读请求,从而降低主节点的负载压力,提高系统的并发处理能力。
  3. 可扩展性:通过添加更多的从节点,可以实现系统的横向扩展。从而提高系统的性能和容量。

主从复制的基本原理是:主节点将自己的数据变更操作记录到内存中的AOF文件或者RDB文件中,并将这些操作同步到所有从节点。从节点在接收到主节点的数据变更操作后,将其应用到自己的数据上,从而保持和主节点的数据同步。在主从复制中,主节点为单点写入,从节点为多点读取,从节点只能根据主节点提供的数据进行同步,不能对数据进行任何修改操作。

1.一主二仆

主:端口号6380

从:6381 6382

1.1创建文件

在/usr/myredis文件里创建redis6380.conf、redis6381.conf、redis6382.conf三个文件

文件内容:

# 使用 include 命令将其他配置文件包含进来
# 这里包含了 Redis 安装目录下的 redis.conf 文件
include /usr/pan/redis/redis-5.0.14/redis.conf

# 监听的端口号
port 6380

# 是否以守护进程方式运行
daemonize yes

# 指定持久化数据存储目录
dir /usr/myredis

# RDB 文件名
dbfilename dump6380.rdb

# 进程 ID 文件路径
pidfile /var/run/redis_6379.pid

# 绑定的 IP 地址
bind 0.0.0.0

# 是否启用保护模式,这里设置为不启用
protected-mode no

用find / -name redis .conf找到redis.conf文件位置

用%s/6380/6381/g、%s/6380/6382/g命令更改各自端口号

1.2 启动6380 6381 6382 端口号的redis

/usr/loacl/bin/redis-server /usr/myredis/redis6380.conf

/usr/loacl/bin/redis-server /usr/myredis/redis6381.conf

/usr/loacl/bin/redis-server /usr/myredis/redis6382.conf

1.3 通过客户端连接redis

-p 代表的是端口号

/usr/local/bin/redis-cli -p 端口号

1.4 配置主和从

主不进行任何操作

从设置一下自己对应的主

命令: slaveof ip port

81里面

82里面

1.5用 info replication获取 Redis 主从复制相关的信息

6380:

6381、6382:

2.反客为主

当一个master宕机后,后面的slave可以立刻升为master,其后面的slave不用做任何修改。

用 slaveof no one 将从机变为主机。

手动版

3.哨兵模式(sentinel)

反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库

调整为一主二仆模式,6380带着6381、6382

在/usr/myredis目录下新建sentinel.conf文件

80

配置哨兵,填写内容

sentinel monitor mymaster 192.168.153.77 6380 1

其中mymaster为监控对象起的服务器名称, 1 为至少有多少个哨兵同意迁移的数量。

启动哨兵

/usr/java/redis/bin

执行redis-sentinel /usr/java/myredis/sentinel.conf

关闭6380之前

关闭6380之后

当主机挂掉,从机选举中产生新的主机

(大概10秒左右可以看到哨兵窗口日志,切换了新的主机)

哪个从机会被选举为主机呢?根据优先级别:replica-priority

原主机重启后会变为从机。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值