redis
中的事务
事务的基本用法
Redis
事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。
Redis
事务的主要作用就是串联多个命令防止别的命令插队。
从输入Multi
命令开始,输入的命令都会依次进入命令队列中,但不会执行,直到输入Exec
后,Redis
会将之前的命令队列中的命令依次执行。组队的过程中可以通过discard
来放弃组队。
错误处理
组队中某个命令出现了报告错误,执行时整个的所有队列都会被取消。
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> sets k3 k2
(error) ERR unknown command `sets`, with args beginning with: `k3`, `k2`,
127.0.0.1:6379(TX)> exec
(error) EXECABORT Transaction discarded because of previous errors.
如果执行阶段某个命令报出了错误,则只有报错的命令不会被执行,而其他的命令都会执行,不会回滚。
可以看到下面的操作中,
set
操作都成功了,但是incr
操作失败了
127.0.0.1:6379> multi
OK
127.0.0.1:6379(TX)> set k1 v1
QUEUED
127.0.0.1:6379(TX)> incr k1
QUEUED
127.0.0.1:6379(TX)> set k2 v2
QUEUED
127.0.0.1:6379(TX)> exec
1) OK
2) (error) ERR value is not an integer or out of range
3) OK
127.0.0.1:6379> keys *
1) "k2"
2) "k1"
总结:
- 单独的隔离操作
- 事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。
- 没有隔离级别的概念
- 队列中的命令没有提交之前都不会实际被执行,因为事务提交前任何指令都不会被实际执行
- 不保证原子性
- 事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚
redis
持久化RDB
什么是RDB
?
在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot
快照,它恢复时是将快照文件直接读到内存里
如何执行的?
Redis
会单独创建(fork
)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO
操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB
方式要比AOF
方式更加的高效。RDB
的缺点是最后一次持久化后的数据可能丢失。
什么是Fork
?
Fork
的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程
在Linux
程序中,fork()
会产生一个和父进程完全相同的子进程,但子进程在此后多会exec
系统调用,出于效率考虑,Linux
中引入了“写时复制技术”
一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。
配置文件:
在配置文件中寻找save
字段,默认是被注释掉的
save 时间 次数
save 20 3 # 20秒以内 至少发生3次改变
在redis.conf
中配置文件名称,默认为dump.rdb
dbfilename dump.db
rdb
文件的保存路径,也可以修改。默认为Redis
启动时命令行所在的目录下
dir "/myredis/"
save
:save
时只管保存,其它不管,全部阻塞。手动保存。不建议。
bgsave
:Redis
会在后台异步进行快照操作, 快照同时还可以响应客户端请求。
可以通过lastsave
命令获取最后一次成功执行快照的时间
rdb
备份操作
先通过config get dir
查询rdb
文件的目录
将*.rdb
的文件拷贝到别的地方
rdb
的恢复
- 关闭
Redis
- 先把备份的文件拷贝到工作目录下
cp dump2.rdb dump.rdb
- 启动
Redis
, 备份数据会直接加载
如何停止:动态停止RDB:redis-cli config set save ""
#save后给空值,表示禁用保存策略
rdb
的优势
- 适合大规模的数据恢复
- 对数据完整性和一致性要求不高更适合使用
- 节省磁盘空间
- 恢复速度快
rdb
的劣势
Fork
的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑- 虽然
Redis
在fork
时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。 - 在备份周期在一定间隔时间做一次备份,所以如果
redis
意外down
掉的话,就会丢失最后一次快照后的所有修改。
redis
持久化AOF
以日志的形式来记录每个写操作(增量保存),将Redis
执行过的所有写指令记录下来(读操作不记录), 只许追加文件但不可以改写文件,redis
启动之初会读取该文件重新构建数据,换言之,redis
重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
AOF
持久化流程
- 客户端的请求写命令会被
append
追加到AOF
缓冲区内; AOF
缓冲区根据AOF
持久化策略[always,everysec,no]
将操作sync
同步到磁盘的AOF
文件中;AOF
文件大小超过重写策略或手动重写时,会对AOF
文件rewrite
重写,压缩AOF
文件容量;Redis
服务重启时,会重新load
加载AOF
文件中的写操作达到数据恢复的目的;
配置文件
可以在redis.conf
中配置文件名称,默认为 appendonly.aof
AOF
文件的保存路径,同RDB
的路径一致。
备注:如果同时开启了RDB
和AOF
,redis
听谁的?答AOF
AOF
的备份机制和性能虽然和RDB
不同, 但是备份和恢复的操作同RDB
一样,都是拷贝备份文件,需要恢复时再拷贝到Redis
工作目录下,启动系统即加载。
appendonly no
是否开启AOF
appendfsync always
始终同步,每次Redis
的写入都会立刻记入日志;性能较差但数据完整性比较好
appendfsync everysec
每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失。
appendfsync no
redis
不主动进行同步,把同步时机交给操作系统。
备份操作
正常恢复
- 修改默认的
appendonly no
,改为yes
- 将有数据的
aof
文件复制一份保存到对应目录(查看目录:config get dir
) - 恢复:重启
redis
然后重新加载
异常恢复
- 修改默认的
appendonly no
,改为yes
- 如遇到
AOF
文件损坏,通过/usr/local/bin/redis-check-aof--fix appendonly.aof
进行恢复 - 备份被写坏的
AOF
文件 - 恢复:重启
redis
,然后重新加载
AOF
的优势
- 备份机制更稳健,丢失数据概率更低。
- 可读的日志文本,通过操作
AOF
稳健,可以处理误操作。
AOF
的劣势
- 比起
RDB
占用更多的磁盘空间。 - 恢复备份速度要慢。
- 每次读写都同步的话,有一定的性能压力。
- 存在个别
Bug
,造成恢复不能。
持久化总结
用哪个好?
- 官方推荐两个都启用。
- 如果对数据不敏感,可以选单独用
RDB
。 - 不建议单独用
AOF
,因为可能会出现Bug
。 - 如果只是做纯内存缓存,可以都不用。
官方选择建议
RDB
持久化方式能够在指定的时间间隔能对你的数据进行快照存储AOF
持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF
命令以redis
协议追加保存每次写的操作到文件末尾.Redis
还能对AOF
文件进行后台重写,使得AOF
文件的体积不至于过大- 只做缓存:如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式.
- 同时开启两种持久化方式
- 在这种情况下,当
redis
重启的时候会优先载入AOF
文件来恢复原始的数据, 因为在通常情况下AOF
文件保存的数据集要比RDB
文件保存的数据集要完整. RDB
的数据不实时,同时使用两者时服务器重启也只会找AOF
文件。那要不要只使用AOF
呢?- 建议不要,因为
RDB
更适合用于备份数据库(AOF
在不断变化不好备份), 快速重启,而且不会有AOF
可能潜在的bug
,留着作为一个万一的手段。
性能建议
因为RDB
文件只用作后备用途,建议只在Slave
上持久化RDB
文件,而且只要15分钟备份一次就够了,只保留save 900 1
这条规则。
如果使用AOF
,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load
自己的AOF
文件就可以了。
代价,一是带来了持续的IO
,二是AOF rewrite
的最后将rewrite
过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。
只要硬盘许可,应该尽量减少AOF rewrite
的频率,AOF
重写的基础大小默认值64M
太小了,可以设到5G
以上。
默认超过原大小100%
大小时重写可以改到适当的数值。