【百度面试官整理】Java大厂必面-Redis数据库，一篇通解

本文链接：https://blog.csdn.net/yp25805488/article/details/143320026

Redis数据库.

文章目录

Redis数据库.

1.Redis 简介

主流应用架构

主流应用架构

缓存中间件 —— Memcache和Redis的区别

Memcache：代码层次类似Hash
- 支持简单数据类型
- 不支持数据持久化存储
- 不支持主从
- 不支持分片
Redis
- 数据类型丰富
- 支持数据磁盘持久化存储
- 支持主从
- 支持分片

为什么Redis能这么快？

100000 + QPS（QPS每秒内查询次数）

完全基于内存，绝大部分请求是纯粹的内存操作，执行效率高
数据结构简单，对数据操作也简单
采用单线程，单线程也能处理高并发请求，想多核也可启动多实例
使用多路IO复用模型，非阻塞IO

多路IO复用模型

FD：File Descriptor，文件描述符

一个打开的文件通过唯一的描述符进行引用，该描述符是打开文件的源数据到文件本身的映射

传统的阻塞IO模型

传统的IO阻塞模型

Select 系统调用

selewct系统调用

Redis采用的IO多路复用函数：epoll / kqueue / evport / select？

因地制宜：根据平台的不同选用不同函数
优先选择时间复杂度为O（1）的IO多路复用函数作为底层实现
以时间复杂度为O（n）的select作为保底
基于react设计模式监听IO事件

2.Redis常用数据类型

供用户使用的数据类型

String：最基本的数据类型，二进制安全（可以存储所有数据类型）
Hash：String元素组成的字典，适合用于存储对象
List：列表，按照String元素插入顺序排序（后进先出，栈）
Set：String元素组成的无序集合，通过哈希表实现，不允许重复
Sorted Set：通过分数来为集合中的成员进行从小到大的排序
用于技术的HyperLogLog，用于支持存储地理位置信息的Geo

底层数据类型基础

简单动态字符串
链表
字典
跳跃表
整数集合
压缩列表
对象

3.从海量Key中查询出某一固定的前缀的Key

留意细节

摸清数据规模，既问清楚边界

KEYS pattern ：查找所有符合给定模式pattern的Key

缺点

Keys指令一次性返回所有匹配的Key
键的数量过大会使服务卡顿

SCAN cursor [MATCH pattern] [COUNT count]

基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程
以0作为游标开始一次新的迭代，直到命令范围游标0完成一次遍历
不保证每次执行都会返回某个给定数量的元素，支持模糊查询
一次返回的数量不可控，只能是大概率符合count参数

SCAN 0 match k1 count 10
-- 开始迭代，返回前缀为k1的key 期望一次返回十个
SCAN '上次迭代第一个数据' match k1 count 10
-- 需要对结果进行去重，使用hash set

4.Redis 分布式锁

如何通过Redis实现分布式锁

分布式锁需要解决的问题

互斥性：任意时刻只能有一个客户端获取锁，不能同时有两个客户端获取到锁。
安全性：锁只能被持有该锁的客户端删除，不能由其他客户端删除
死锁：获取锁的客户端，因为某些原因宕机，而未能释放锁，其他客户端再也不能获取锁，导致死锁。
容错：如部分redis节点宕机时，客户端仍然能够获取锁，和释放锁。

SETNX key value ：如果key不存在，则创建并赋值

时间复杂度：O(1)
返回值：设置成功，返回1 ；设置失败，返回0。

实现逻辑

当前线程尝试设置一个特定的键（例如，SETNX 命令），表示获取了该资源的锁。
如果设置成功（返回值为 1），则表示当前线程成功获取了锁，可以执行代码逻辑。
如果设置失败（返回值为 0），则表示当前资源已被其他线程占用，当前线程需要等待一段时间后重试，或者采取一定的重试策略（例如指数退避），直至成功获取锁。

如何解决SETNX长期有效的问题？

EXPIRE key seconds

设置key的生存时间，当key过期时（生存时间为0），会被自动删除
缺点：原子性得不到满足

SET key value [EX seconds] [PX milliseconds] [NX] [XX]

EX second:设置键的过期时间为second 秒
PX millisecond ：设置键的过期时间为Millisecond 毫秒
NX：只在键不存在时，才对键进行设置操作
XX：只在键已经存在时，才对键进行设置操作
SET操作成功完成时，返回OK，否则返回nil

set locktarget 12345 ex 10 nx 
-- 设置locktarget键 的值为12345 有效期为10s 只在键不存在时，才对键进行设置操作
set locktarget 1234 ex 10 nx
nil
-- 十秒之后会执行成功

大量的key同时过期的注意事项？

集中过期，由于清除大量的key很耗时，会出现短暂的卡顿现象

解决方案：在设置key的过期时间的时候，给每个key加上随机值

5.如何使用Redis做异步队列？

使用List作为队列，RPUSH上产消息，LPOP消费消息

缺点：没有等待队列里有值就直接消费
弥补：可以通过在应用层引入sleep机制去调用LPOP重试

弥补2：

BLPOP key [key …] timeout :阻塞直到队列有消息或者超时

blpop testlist 30    -- 没有消息时阻塞30秒

缺点：只能提供一个消费者消费

解决：使用pub/sub：主题订阅者模式

发送者（pub）发送消息，订阅者（sub）接收消息
订阅者可以订阅任意数量的频道

pubsub

客户端1：subscribe myTopic --订阅myTopic频道
客户端2：subscribe myTopic --订阅myTopic频道
客户端3：subscribe anotherTopic --订阅另外一个频道
客户端4：publish myTopic 'hello' -- 客户端4发布myTopic消息 客户端1/2都能收到消息
客户端4：publish anotherTopic 'hello' -- 客户端4发布anotherTopic消息 客户端3收到消息

缺点：

消息发布是无状态的，无法保证可达，解决需要用专业的消息队列解决

6.持久化方式之DBA

Redis如何做持久化？

RDB(快照)持久化：保存某个时间点的全量数据快照

持久化配置解析

redis.conf

save 900 1			--900秒内产生1次插入操作，生成一次快照
save 300 10			--300秒内产生10次插入操作，生成一次快照
save 60  10000		--60秒内产生10000次插入操作，生成一次快照
save ""			    --禁用RDB
RDB策略会将数据文件以 dump.rdb 文件的方式保存

stop - writes - on - bgsave - error yes -- 当复制进程出错的时候，主进程就停止写入操作
rdbcompression yes -- 在备份的时候需要将备份文件压缩后再保存

RDB文件生成

SAVE：阻塞Redis的服务进程，直到RDB文件被创建完成
BGSAVE：Fork出一个子进程来创建RDB文件，不阻塞服务器进程

自动化触发RDB持久化的方式

根据redis.conf配置里的SAVE m n 定时触发（用的是BGSAVE）
主从复制时，主节点自动触发BGSAVE
执行Debug Reload 时
执行Shutdown且没有开启AOF持久化

BGSAVE原理

BGSAVE

系统调用fork():创建进程，实现了Copy - on - write(写时复制)

Copy - on - write具体来说，当一个进程或线程尝试修改共享数据时，系统会首先检查是否有其他进程或线程也在使用相同的数据。如果是的话，系统会复制当前数据的副本，并让修改操作在副本上进行。这样，修改操作只影响到了当前进程或线程，而其他进程或线程继续共享原始数据。这种策略延迟了复制的时间，只有在确实需要时才执行，从而节省了内存和处理时间。

RDB缺点：

内存数据全量同步，数据量大会由于IO而严重影响性能
可能会因为Redis挂掉而丢失从当前到最近一次快照期间的数据

7.持久化方式之AOF

AOF（Append-Only-File）持久化：保存写状态

记录下除了查询以外的所有变更数据库状态的指令
以append的形式追加保存到AOF文件中（增量）

redis.conf

appendonly yes --打开AOF持久化策略
appendfilename  "appendonly.aof" -- AOF文件名
appendfsync everysec --配置AOF文件的写入方式
参数：
everysec：每隔1秒就把缓存区的内容写入到文件里
always：一旦缓存区的内容发生变化，就把变化的内容写到AOF当中   
no：将写入AOF的方式交给操作系统决定
修改配置后要重启redis

日志重写解决AOF文件大小不断增大的问题，原理如下：