缓存/内存型数据库 Redis（一）redis简介

前言

说到数据库就不得不说关系型与非关系型，常见的关系型数据库有 Oracle、MySQL、SQLServer、DB2等；常见的非关系型数据库有 Redis、mongoDB、memcached、postgresql（PG）。

一、关系型数据库和非关系型数据库区别

• ①数据存储方式不同
  • 关系型：依赖于关系模型（E-R图），同时以二维表格式的方式（行和列）存储数据
  • 非关系型：通常以键值对的方式（key-value）存储数据
• ②扩展方式不同
  • 关系型：纵向扩展，也就是说提高处理能力，使用速度更快速的计算机，这样处理相同的数据集就更快了。因为数据存储在关系表中，操作的性能瓶颈可能涉及很多个表，这都需要通过提高计算机性能来克服。
  • 非关系型：横向扩展，因为非关系型数据存储天然就是分布式的（哈希槽），可以通过给资源池添加更多普通的数据库服务器 (节点) 来分担负载。
• ③对事务性的支持不同
  • 关系型：特别适合高事务性要求和需要控制执行计划的任务
  • 非关系型：对事务性的支持相对弱势，其价值点在于高扩展性和高热数据的处理

二、Redis简介

Redis是一个开源免费的、使用C语言编写的NoSQL 数据库。
Redis基于内存运行并支持持久化(RDB、AOF方式将数据保存在磁盘)，采用key-value (键值对)的存储形式，是目前分布式架构中不可或缺的一环。

三、Redis工作模式

Redis是单进程模型，在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。所以只建议在一台服务器上开启两个Redis进程。

四、Redis优点

①具有极高的数据读写速度：数据读取的速度最高可达到 110000 次/s，数据写入速度最高可达到 81000 次/s。
②支持丰富的数据类型：支持key-value、 Strings、Lists、 Hashes（散列值）、 Sets 及Ordered Sets 等数据类型操作。
string 字符串（可以为整形、浮点和字符型，统称为元素）
list 列表：（实现队列，元素不唯一，先入先出原则）
set 集合：（各不相同的元素）
hash 散列值：（hash的key必须是唯一的）
set /ordered sets 集合/有序集合
③支持数据的持久化：可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
④原子性：Redis所有操作都是原子性的。
⑤支持数据备份：即master-salve 模式的数据备份。

五、Redis持久化方式

持久化的功能:
Redis是内存数据库，数据都是存储在内存中，为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘;当下次Redis重启时，利用持久化文件实现数据恢复。除此之外，为了进行灾难备份，可以将持久化文件拷贝到一个远程位置（NFS）。

• RDB持久化：将Reids在内存中的数据库记录定时（周期性）保存到磁盘上。以压缩二进制的方式存储（类似快照）保存的文件后缀是rdb，当Redis重新启动时，可以读取快照文件恢复数据。出发方式分为手动触发和自动触发

  • 手动触发：使用save和bgsave命令，save命令会阻塞redis进程，知道RDB文件创建完毕为止，在redis进程阻塞期间，服务器不能处理任何请求，所以杜绝使用save方式。而bgsave命令会让redis父进程创建一个子进程，由子进程来创建RDB文件，父进程则继续处理请求，bgsave方式只会在创建子进程的阻塞，往往生产环境 bgsave 依然不允许轻易使用。
  • 自动触发：自动触发RDB持久化时，Redis也会选择bgsave而不是save来进行持久化。
    • 自动触发最常见的情况是在配置文件中通过save m n，指定当m秒内发生n次变化时，会触发bgsave。
      
      save 900 1 :当时间到900秒时，如果redis数据发生了至少1次变化，则执行bgsave
      save 300 10 :当时间到300秒时， 如果redis数据发生了至少10次变化，则执行bgsave
      save 60 10000 :当时间到60秒时，如果redis数据发生了至少10000次变化， 则执行bgsave
      
      

• AOF持久化：将Redis执行的每次写、删除命令记录到单独的日志文件中，查询操作不会记录; 当Redis重启时优先执行AOF文件中的命令来恢复数据。

Redis服务器默认开启RDB，关闭AOF。要开启AOF，需要在配置文件中配置，如下图


AOF的执行流程：

• 命令追加(append): 将Redis的写命令追加到缓冲区aof_buf
  • Redis先将写命令追加到缓冲区，而不是直接写入文件，主要是为了避免每次有写命令都直接写入硬盘，导致硬盘IO成为Redis负载的瓶颈。
• 文件写入(write)和文件同步(sync):根据不同的同步策略将aof_buf中的内容同步到硬盘
  • Redis 提供了多种AOF缓存区的同步文件策略，策略涉及到操作系统的write函数和fsync函数，说明如下:
    • 为了提高文件写入效率，在现代操作系统中，当用户调用write函数将数据写入文件时，操作系统通常会将数据暂存到一个内存缓冲区里，当缓冲区被填满或超过了指定时限后，才真正将缓冲区的数据写入到硬盘里。这样的操作虽然提高了效率，但也带来了安全问题:如果计算机停机，内存缓冲区中的数据会丢失;因此系统同时提供了fsync、fdatasync等同步函数，可以强制操作系统立刻将缓冲区中的数据写入到硬盘里，从而确保数据的安全性。
• 文件重写(rewrite): 定期重写AOF文件，达到压缩的目的
  • 随着服务器一直运行，Redis服务器执行的写命令越来越多，AOF文件也会越来越大：过大的AOF文件不仅会影响服务器的正常运行，也会导致数据恢复需要的时间过长。需要定期重写AOF文件，减小AOF文件的体积。需要注意的是，AOF重写是把Redis进程内的数据转化为写命令，同步到新的AOF文件；不会对旧的AOF文件进行任何读取、写入操作!

AOF 缓存区的同步文件策略存在三种同步方式，它们分别是：

• appendfsync always:命令写入aof_buf后立即调用系统fsync操作同步到AOF文件，fsync完成后线程返回。这种情况下，每次有写命令都要同步到AOF文件，硬盘IO成为性能瓶颈，Redis只能支持大约几百TPS写入，严重降低了Redis的性能；即便是使用固态硬盘(SSD)，每秒大约也只能处理几万个命令，而且会大大降低SSD的寿命。
• appendfsync no:命令写入aof_buf后调用系统write操作，不对AOF文件做fsync同步;同步由操作系统负责，通常同步周期为30秒。这种情况下，文件同步的时间不可控，且缓冲区中堆积的数据会很多，数据安全性无法保证。
• appendfsync everysec:命令写入aof_buf后调用系统write操作，write完成后线程返回;fsync同步文件操作由专门的线程每秒调用一次。everysec是前述两种策略的折中，是性能和数据安全性的平衡，因此是Redis的默认配置。
  

文件重写之所以能够压缩AOF文件，原因在于：

• 过期的数据不再写入文件
• 无效的命令不再写入文件：如有些数据被重复设值(set k1 v1, set k1 v2)、有些数据被删除了(sadd myset v1, del myset) 等。
• 多条命令可以合并为一个：如sadd myset v1, sadd myset v2， sadd myset v3可以合并为sadd myset v1 v2 v3。

文件重写的触发，分为手动触发和自动触发：

• 手动触发：直接调用bgrewriteaof命令，该命令的执行与bgsave有些类似：都是fork子进程进行具体的工作，且都只有在fork时阻塞。
• 自动触发：通过设置auto-aof-rewrite-min-size选项和auto-aof-rewrite-percentage选项来自动执行BGREWRITEAOF。只有两个选项同时满足时，才会自动触发AOF重写，即bgrewriteaof操作。
  

六、RDB 与 AOF 的优缺点

（一）、RDB持久化
优点：RDB文件紧凑，体积小，网络传输快，适合全量复制;恢复速度比AOF快很多。当然，与AOF相比， RDB最重要的优点之一是对性能的影响相对较小。

缺点：RDB文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化，而在数据越来越重要的今天，数据的大量丢失很多时候是无法接受的，因此AOF持久化成为主流。此外，RDB文件需要满足特定格式，兼容性差(如老版本的Redis不兼容新版本的RDB文件)。
对于RDB持久化，一方面是bgsave在进行fork操作时Redis主进程会阻塞，另一方面，子进程向硬盘写数据也会带来IO压力。

（二）、AOF持久化
与RDB持久化相对应，AOF的优点在于支持秒级持久化、兼容性好，缺点是文件大、恢复速度慢、对性能影响大。
对于AOF持久化，向硬盘写数据的频率大大提高(everysec策略下为秒级)，IO压力更大，甚至可能造成AOF追加阻塞问题。
AOF文件的重写与RDB的bgsave类似，会有fork时的阻塞和子进程的I0压力问题。相对来说，由于AOF向硬盘中写数据的频率更高，因此对Redis主进程性能的影响会更大。

小结

Redis 基础
1、redis 是一种非关数据库（内存/缓存）
redis 相比于其他非关数据库优势的地方主要在于：
① 数据类型丰富
② 持久化（可以将内存种的数据保存在磁盘中）形式为：RDB 与AOF
2、高可用中的持久化
RDB 和 AOF
（1）持久化方式：
① RDB ：周期性的快照
② AOF ：接近实时的持久化（以everysec方式）
（2）redis 启用的优先级：AOF > RDB ,当AOF功能关闭的情况下，redis 才会在重新启动时使用RDB的方式进行恢复
（3）RDB 和 AOF 中持久化模式
① RDB ：由redis主进程（周期性）fork 派生出子进程对redis内存中的数据进行持久化，生成到.rdb文件中
② AOF ：根据持久化策略（alawys、no、everysec（默认）），先将redis 中的语句保存在缓冲区中，再从缓冲区同步到.aof文件中
3、redis的恢复策略/优势
redis 与其他常用非关数据库类似，都是将数据保存在内存中，而保存在内存中时，当redis 重启，内存数据丢失，但redis 通过RDB或AOF的持久化功能可以在redis进行重启之后，优先读取AOF文件，基于AOF文件进行数据恢复这种方式来“持久化保存”数据。