redis数据库配置及优化（二）

[root@redis ~]# vim /etc/redis/6379.conf

#700行；修改；开启AOF

appendonly yes

#704行；指定AOF文件名称

appendfilename "appendonly.aof"

#796行是否忽略最后一条可能存在问题的指令

aof-load-truncated yes

[root@redis ~]# /etc/init.d/redis_6379 restart

2、执行流程

由于需要记录Redis的每条写命令，因此AOF不需要触发，下面介绍AOF的执行流程。

（1）AOF的执行流程包括：

①命令追加（append）：将Redis的写命令追加到缓冲区aof_buf；

②文件写入（write）和文件同步（sync）：根据不同的同步策略将aof_buf中的内容同步到硬盘；

③文件重写（rewrite）：定期重写AOF文件，达到压缩的目的。

（2）命令追加(append)

Redis先将写命令追加到缓冲区，而不是直接写入文件，主要是为了避免每次有写命令都直接写入

硬盘，导致硬盘IO成为Redis负载的瓶颈。命令追加的格式是Redis命令请求的协议格式，它是一

种纯文本格式，具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点。在AOF文件

中，除了用于指定数据库的select命令（如select 0为选中0号数据库）是由Redis添加的，其他都

是客户端发送来的写命令。

（3）文件写入(write)和文件同步(sync)

Redis提供了多种AOF缓存区的同步文件策略，策略涉及到操作系统的write函数和fsync函数，说明

如下：为了提高文件写入效率，在现代操作系统中，当用户调用write函数将数据写入文件时，操作

系统通常会将数据暂存到一个内存缓冲区里，当缓冲区被填满或超过了指定时限后，才真正将缓冲

区的数据写入到硬盘里。这样的操作虽然提高了效率，但也带来了安全问题：如果计算机停机，内

存缓冲区中的数据会丢失；因此系统同时提供了fsync、fdatasync等同步函数，可以强制操作系统

立刻将缓冲区中的数据写入到硬盘里，从而确保数据的安全性。

AOF缓存区的同步文件策略存在三种同步方式，它们分别是：

①、appendfsync always：命令写入aof_buf后立即调用系统fsync操作同步到AOF文件，fsync完

成后线程返回。这种情况下，每次有写命令都要同步到AOF文件，硬盘IO成为性能瓶颈，Redis只

能支持大约几百TPS写入，严重降低了Redis的性能；即便是使用固态硬盘（SSD），每秒大约也

只能处理几万个命令，而且会大大降低SSD的寿命。

②、appendfsync no：命令写入aof_buf后调用系统write操作，不对AOF文件做fsync同步；同步

由操作系统负责，通常同步周期为30秒。这种情况下，文件同步的时间不可控，且缓冲区中堆积的

数据会很多，数据安全性无法保证。

③、appendfsync everysec：命令写入aof_buf后调用系统write操作，write完成后线程返回；fsync

同步文件操作由专门的线程每秒调用一次。everysec是前述两种策略的折中，是性能和数据安全性

的平衡，因此是Redis的默认配置，也是我们推荐的配置。

[root@redis ~]# vim /etc/redis/6379.conf

#----------729行----------

#appendfsync always

appendfsync everysec

#appendfsync no

（4）文件重写（rewrite）

随着时间流逝，Redis服务器执行的写命令越来越多，AOF文件也会越来越大；过大的AOF文件不

仅会影响服务器的正常运行，也会导致数据恢复需要的时间过长。

①文件重写是指定期重写AOF文件，减小AOF文件的体积。需要注意的是:

AOF重写是把Redis进程内的数据转化为写命令，同步到新的AOF文件；不会对旧的AOF文件进行

任何读取、写入操作。

对于AOF持久化来说，文件重写虽然是强烈推荐的，但并不是必须的；即使没有文件重写，数据也

可以被持久化并在Redis启动的时候导入；因此在一些实现中，会关闭自动的文件重写，然后通过

定时任务在每天的某一时刻定时执行。

②文件重写之所以能够压缩AOF文件，原因在于：

过期的数据不再写入文件；

无效的命令不再写入文件：如有些数据被重复设值（set mykey v1, set mykey v2）、有些数据被

删除了（sadd myset v1, del myset）等；

多条命令可以合并为一个：如sadd myset v1, sadd myset v2, sadd myset v3可以合并为sadd

myset v1 v2 v3。

通过上述内容可以看出，由于重写后AOF执行的命令减少了，文件重写既可以减少文件占用的空

间，也可以加快恢复速度。

③文件重写的触发，分为手动触发和自动触发：

◆手动触发：直接调用bgrewriteaof命令，该命令的执行与bgsave有些类似：都是fork子进程进行具

体的工作，且都只有在fork时阻塞；

◆自动触发：通过设置auto-aof-rewrite-min-size选项和auto-aof-rewrite-percentage选项来自动执行

BGREWRITEAOF。只有当auto-aof-rewrite-min-size和auto-aof-rewrite-percentage两个选项同时

满足时，才会自动触发AOF重写，即bgrewriteaof操作。

auto-aof-rewrite-percentage 100 ：当前AOF文件大小(即aof_current_size)是上次日志重写时AOF

文件大小(aof_base_size)两倍时，发生BGREWRITEAOF操作；

auto-aof-rewrite-min-size 64mb ：当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开

始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF。

vim /etc/redis/6379.conf

#771行auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

④关于文件重写的流程，有两点需要特别注意：

重写由父进程fork子进程进行；

重写期间Redis执行的写命令，需要追加到新的AOF文件中，为此Redis引入了aof_rewrite_buf缓

存。

3、文件重写的流程

（1）Redis父进程首先判断当前是否存在正在执行bgsave/bgrewriteaof的子进程，如果存在则

bgrewriteaof命令直接返回，如果存在 bgsave命令则等bgsave执行完成后再执行。

（2）父进程执行fork操作创建子进程，这个过程中父进程是阻塞的。

（3）父进程fork后，bgrewriteaof命令返回”Background append only file rewrite started”信息并不

再阻塞父进程，并可以响应其他命令。Redis的所有写命令依然写入AOF缓冲区，并根据

appendfsync策略同步到硬盘，保证原有AOF机制的正确；由于fork操作使用写时复制技术，子进

程只能共享fork操作时的内存数据。由于父进程依然在响应命令，因此Redis使用AOF重写缓冲区

(aof_rewrite_buf)保存这部分数据，防止新AOF文件生成期间丢失这部分数据。也就是说，

bgrewriteaof执行期间，Redis的写命令同时追加到aof_buf和aof_rewirte_buf两个缓冲区。

（4）子进程根据内存快照，按照命令合并规则写入到新的AOF文件。

（5）子进程写完新的AOF文件后，向父进程发信号，父进程更新统计信息，具体可以通过info

persistence查看；父进程把AOF重写缓冲区的数据写入到新的AOF文件，这样就保证了新AOF文

件所保存的数据库状态和服务器当前状态一致；使用新的AOF文件替换老文件，完成AOF重写。

4、启动时加载

（1）当AOF开启时，Redis启动时会优先载入AOF文件来恢复数据；只有当AOF关闭时，才会载入RDB文件恢复数据。

（2）当AOF开启，但AOF文件不存在时，即使RDB文件存在也不会加载。

（3）Redis载入AOF文件时，会对AOF文件进行校验，如果文件损坏，则日志中会打印错误，Redis启动失败；但如果是AOF文件结尾不完整(机器突然宕机等容易导致文件尾部不完整)，且aof-load-truncated参数开启，则日志中会输出警告，Redis忽略掉AOF文件的尾部，启动成功（配置中aof-load-truncated参数默认是开启的）。

五、RDB和AOF的优缺点

1、RDB持久化优缺点

（1）优点：RDB文件紧凑，体积小，网络传输快，适合全量复制；恢复速度比AOF快很多。当然，与AOF相比，RDB最重要的优点之一是对性能的影响相对较小。

（2）缺点：RDB文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化，而在数据越来越重要的今天，数据的大量丢失很多时候是无法接受的，因此AOF持久化成为主流。此外，RDB文件需要满足特定格式，兼容性差（如老版本的Redis不兼容新版本的RDB文件）。

（3）对于RDB持久化，一方面是bgsave在进行fork操作时Redis主进程会阻塞，另一方面，子进程向硬盘写数据也会带来IO压力。

2、AOF持久化优缺点

（1）与RDB持久化相对应，AOF的优缺点：

优点：支持秒级持久化、兼容性好；

缺点：文件大、恢复速度慢、对性能影响大。

（2）对于AOF持久化，向硬盘写数据的频率大大提高(everysec策略下为秒级)，IO压力更大，甚至可能造成AOF追加阻塞问题。

（3）AOF文件的重写与RDB的bgsave类似，会有fork时的阻塞和子进程的IO压力问题。相对来说，由于AOF向硬盘中写数据的频率更高，因此对 Redis主进程性能的影响会更大。

六、redis缓存穿透、击穿、雪崩

1、缓存雪崩

缓存雪崩表示在某一时间段，缓存集中失效，导致请求全部走数据库，有可能搞垮数据库，使整个

服务瘫痪。Redis服务器重启或者大量缓存集中在某一个时间段失效，会给DB造成很大压力。也就

是说，突然间大量的key失效或者redis重启（redis重启加载持久化的数据也需要一定时间），这个

时间大量请求访问，会造成DB瞬间的巨大的压力，数据库崩溃。

解决方案：①、key的失效期分散开不同的key设置不同的有效期；②、设置二级缓存（数据不一

定一致）；③、高可用（脏读）。

2、缓存穿透

表示查询一个一定不存在的数据，由于没有获取到缓存，所以没写入缓存，导致这个不存在的数据

每次都需要去数据库查询，失去了缓存的意义。指在高并发下查询Key不存在的数据，会穿透查询

数据。导致数据压力过大而宕机。

解决方案：

①、对查询结果为空的情况也进行缓存。缓存时间（ttl）设置短一些，或者该key对应的数据insert

了之后清理缓存。但是会带来一定的问题，缓存太多空值占用了更多的空间。

②、使用布隆过滤器BloomFilter。在缓存之前加一层布隆过滤器，在查询的时候先去布隆过滤器查

询key 是否存在，如果不存在就直接返回，存在在查询缓存和DB。

3、缓存击穿

表示某个key的缓存非常热门，有很高的并发一直在访问，如果该缓存失效，那同时会走数据库，

压垮数据库。缓存击穿是针对少量key，缓存雪崩是针对大量key缓存集中失效。

对一些设置了过期时间的key，在某一段时间点被大量访问，恰好在这个时间点过期了，这些请求

发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后

端DB压垮。

解决方案：

①、用分布式锁控制访问的线程。使用redis的setnx互斥锁先进行判断，这样其他线程就处于等待

状态，保证不会有大并发操作去数据库。

②、不设置超时时间，单会造成写一致问题。当数据库发生更新时，缓存中的数据不会及时更新，

这样会造成数据库中的数据与缓存中的数据的不一致，樱花会从缓存中读取到脏数据。可以采用双

删策略处理。

七、redis分布式锁（高并发场景）

通过锁，来避免由于竞争而造成的数据不一致问题。

当多个客户端访问redis同一个关键数据时，客户端的请求修改数据时均会使用setnx，当第一个客

户端的请求任务在执行修改过程中，redis会对此数据进行加锁(可以通过固定过期时间/watch dog

的形式续期+通知lock.unlock{释放锁}的机制释放)，在锁定期间，第二个客户端的请求任务不会修

改数据，而是会等待。

目的：缓解高并发的压力(因为本身redis使用的是单线程epoll-i/o复用的机制)所以第二个任务请

(socket所被分配的文件描述符，不是就续状态，所以不会消耗太多资源)不会占用太多资源。

1、加锁

加锁实际上就是在redis中，给Key键设置一个值，为避免死锁，并给定一个过期时间。（redis中死

锁是无法回收，无法干掉的。保障措施1、加锁；2、nx）

SET lock_key random_value NX PX 5000

random_value：是客户端生成的唯一的字符串。

NX：代表只在键不存在时，才对键进行设置操作。

PX 5000：设置键的过期时间为5000毫秒。

这样，如果上面的命令执行成功，则证明客户端获取到了锁。

2、解锁

解锁的过程就是将Key键删除。但也不能乱删，不能说客户端1的请求将客户端2的锁给删除掉。这

时候random_value的作用就体现出来。

为了保证解锁操作的原子性，我们用LUA脚本完成这一操作。先判断当前锁的字符串是否与传入的

值相等，是的话就删除Key，解锁成功。

if redis.call('get',KEYS[1]) == ARGV[1] then 
   return redis.call('del',KEYS[1]) 
else
   return 0 
end

八、Redis性能管理

1、查看Redis内存使用

[root@redis ~]# redis-cli -h 192.168.32.136 -p 6379

192.168.32.136:6379> info memory

2、内存碎片率

操作系统分配的内存值used_memory_rss除以Redis使用的内存值used_memory计算得出；内存碎

片是由操作系统低效的分配/回收物理内存导致的（不连续的物理内存分配）。

跟踪内存碎片率对理解Redis实例的资源性能是非常重要的：

（1）内存碎片率稍大于1是合理的

这个值表示内存碎片率比较低

（2）内存碎片率超过1.5

说明Redis消耗了实际需要物理内存的150%，其中50%是内存碎片率。

需要在redis-cli工具上输入shutdown save 命令，并重启 Redis 服务器。

（3）内存碎片率低于1的

说明Redis内存分配超出了物理内存，操作系统正在进行内存交换。

需要增加可用物理内存或减少 Redis 内存占用。

3、内存使用率

redis实例的内存使用率超过可用最大内存，操作系统将开始进行内存与swap空间交换。

避免内存交换发生的方法：

（1）针对缓存数据大小选择安装 Redis 实例

（2）尽可能的使用Hash数据结构存储

（3）设置key的过期时间

4、内回收key

保证合理分配redis有限的内存资源，有效缓解缓存压力。

当达到设置的最大阀值时，需选择一种key的回收策略，默认情况下回收策略是禁止删除。

配置文件中修改 maxmemory-policy 属性值：

[root@redis ~]# vim /etc/redis/6379.conf

#598取消注释

maxmemory-policy noenviction

回收策略属性值：
属性值	含义
volatile-lru	使用LRU算法从已设置过期时间的数据集合中淘汰数据
volatile-ttl	从已设置过期时间的数据集合中挑选即将过期的数据淘汰
volatile-random	从已设置过期时间的数据集合中随机挑选数据淘汰
allkeys-lru	使用LRU算法从所有数据集合中淘汰数据
allkeys-random	从数据集合中任意选择数据淘汰
noenviction	禁止淘汰数据