一步一步学 缓存数据库 - Redis

一步一步学 缓存数据库 - Redis

Redis 每秒查询10万次

Redis主要命令如下

命令	描述
DEL key	该命令用于在 key 存在是删除 key。
DUMP key	序列化给定 key ，并返回被序列化的值。
EXISTS key	检查给定 key 是否存在。
EXPIRE key seconds	为给定 key 设置过期时间。
EXPIREAT key timestamp	EXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。 EXPIREAT 命令接受的时间参数是 UNIX 时间戳
PEXPIRE key milliseconds	设置 key 的过期时间亿以毫秒计。
PEXPIREAT key milliseconds-timestamp	设置 key 过期时间的时间戳(unix timestamp) 以毫秒计
KEYS pattern	查找所有符合给定模式( pattern)的 key 。例如keys * 返回所有的key
MOVE key db	将当前数据库的 key 移动到给定的数据库 db 当中。
PERSIST key	移除 key 的过期时间，key 将持久保持。
PTTL key	以毫秒为单位返回 key 的剩余的过期时间。
TTL key	以秒为单位，返回给定 key 的剩余生存时间(TTL, time to live)。
RANDOMKEY	从当前数据库中随机返回一个 key 。
RENAME key newkey	修改 key 的名称
RENAMENX key newkey	仅当 newkey 不存在时，将 key 改名为 newkey 。

什么是数据穿透?

查询数据首先在 缓存数据库 例如Redis 中查询，如果缓存数据库中没有数据，就穿透到 mysql 数据库中查询 并且 回种 到缓存数据库中

MemCache 与 Redis 的优缺点

	MemCache	Redis
优点		数据类型丰富，数据磁盘持久化存储，支持主从，支持分片
缺点	只支持简单的数据类型，不支持数据持久化 不支持主从 不支持分片

总结：只使用key-value格式使用 MemCache ，复杂的使用 Redis

为什么 Redis 能那么快？ 10万+QPS

1. 完全基于内存 绝大部分请求是纯粹的内存操作，执行效率高
2. 数据结构简单，对数据的操作也简单
3. 采用单线程，单线程也能处理高并发请求，想要多核也可以启动多实例
4. 使用多路I/O复用原则，非堵塞IO

基本类型

String字符串：
格式: set key value
string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。
string类型是Redis最基本的数据类型，一个键最大能存储512MB。

incr user_id 自增

Hash（哈希）
格式: hmset name key key1 value1 key2 value2
Redis hash 是一个键值(key=>value)对集合。
Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。

List（列表） 最新消息排行榜
Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）
格式: lpush name value
在 key 对应 list 的头部添加字符串元素
格式: rpush name value
在 key 对应 list 的尾部添加字符串元素
格式: lrem name index
key 对应 list 中删除 count 个和 value 相同的元素
格式: llen name
返回 key 对应 list 的长度

Set（集合）

交集 并集 差集

格式: sadd name value1 value2
Redis的Set是string类型的无序集合。
集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。、

zset(sorted set：有序集合)
格式: zadd name score value
Redis zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。
不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。
zset的成员是唯一的,但分数(score)却可以重复。

什么是Redis持久化？Redis有哪几种持久化方式？优缺点是什么？

RDB 与 AOF 与 RDB|AOF 结合
1、RDB (Redis DataBase)持久化方式：
是指用数据集快照的方式半持久化模式 记录 redis 数据库的所有键值对,在某个时间点将数据写入一个临时文件，持久化结束后，用这个临时文件替换上次持久化的文件，达到数据恢复。

// 900s 有 1 条写入 触发快照
save 900 1
// 300s 有 10 条写入 触发快照
save 300 10
save 60 1000

优点：
（1）只有一个文件 dump.rdb，方便持久化。
（2）容灾性好，一个文件可以保存到安全的磁盘。
（3）性能最大化，fork 子进程来完成写操作，让主进程继续处理命令，所以是 IO最大化。使用单独子进程来进行持久化，主进程不会进行任何 IO 操作，保证了 redis的高性能)
（4）相对于数据集大时，比 AOF 的启动效率更高。
缺点：
数据安全性低。RDB 是间隔一段时间进行持久化，如果持久化之间 redis 发生故障，会发生数据丢失。所以这种方式更适合数据要求不严谨的时候
2、AOF （Append-only file）持久化方式：
是指所有的命令行记录以 redis 命令请求协议的格式完全持久化存储)保存为 aof 文件。
优点：
（1）数据安全，aof 持久化可以配置 appendfsync 属性，有 always，每进行一次命令操作就记录到 aof 文件中一次。
（2）通过 append 模式写文件，即使中途服务器宕机，可以通过 redis-check-aof工具解决数据一致性问题。
（3）AOF 机制的 rewrite 模式。AOF 文件没被 rewrite 之前（文件过大时会对命令进行合并重写），可以删除其中的某些命令（比如误操作的 flushall）)

缺点：
（1）AOF 文件比 RDB 文件大，且恢复速度慢。
（2）数据集大的时候，比 rdb 启动效率低。

redis 过期键的删除策略？

（1）定时删除:在设置键的过期时间的同时，创建一个定时器 timer). 让定时器在键的过期时间来临时，立即执行对键的删除操作。
（2）惰性删除:放任键过期不管，但是每次从键空间中获取键时，都检查取得的键是否过期，如果过期的话，就删除该键;如果没有过期，就返回该键。
（3）定期删除:每隔一段时间程序就对数据库进行一次检查，删除里面的过期键。至于要删除多少过期键，以及要检查多少个数据库，则由算法决定。

Redis 的回收策略（淘汰策略）?

• volatile-lru：从已设置过期时间的数据集（server.db[i].expires）中挑选最近最少使用的数据淘汰
• volatile-ttl：从已设置过期时间的数据集（server.db[i].expires）中挑选将要过期的数据淘汰
• volatile-random：从已设置过期时间的数据集（server.db[i].expires）中任意选择数据淘汰
• allkeys-lru：从数据集（server.db[i].dict）中挑选最近最少使用的数据淘汰
• allkeys-random：从数据集（server.db[i].dict）中任意选择数据淘汰
• no-enviction（驱逐）：禁止驱逐数据

使用策略规则：
（1）如果数据呈现幂律分布，也就是一部分数据访问频率高，一部分数据访问频率低，则使用 allkeys-lru
（2）如果数据呈现平等分布，也就是所有的数据访问频率都相同，则使用allkeys-random

Redis 的同步机制了解么？

Redis 可以使用主从同步，从从同步。第一次同步时，主节点做一次 bgsave，并同时将后续修改操作记录到内存 buffer，待完成后将 rdb 文件全量同步到复制节点，复制节点接受完成后将 rdb 镜像加载到内存。加载完成后，再通知主节点将期间修改的操作记录同步到复制节点进行重放就完成了同步过程。 异步复制

Pipeline 有什么好处，为什么要用 pipeline？

pipeline 分批次指令执行

Redis 集群方案什么情况下会导致整个集群不可用？

有 A，B，C 三个节点的集群,在没有复制模型的情况下,如果节点 B 失败了，那么整个集群就会以为缺少 5501-11000 这个范围的槽而不可用。

Redis 支持的 Java 客户端都有哪些？官方推荐用哪个？

Redisson、Jedis、lettuce 等等，官方推荐使用 Redisson。
Jedis 是 Redis 的 Java 实现的客户端，其 API 提供了比较全面的 Redis 命令的支持；Redisson 实现了分布式和可扩展的 Java 数据结构，和 Jedis 相比，功能较为简单，不支持字符串操作，不支持排序、事务、管道、分区等 Redis 特性。

说说 Redis 哈希槽的概念？

Redis 集群没有使用一致性 hash,而是引入了哈希槽的概念，Redis 集群有16384 个哈希槽，每个 key 通过 CRC16 校验后对 16384 取模来决定放置哪个槽，集群的每个节点负责一部分 hash 槽

Redis key 的过期时间和永久有效分别怎么设置？

EXPIRE 和 PERSIST 命令。

假如 Redis 里面有 1 亿个 key，其中有 10w 个 key 是以某个固定的已知的前缀开头的，如果将它们全部找出来？

redis 的单线程的。keys 指令会导致线程阻塞一段时间，线上服务会停顿，直到指令执行完毕，服务才能恢复。这个时候可以使用 scan 指令，scan 指令可以无阻塞的提取出指定模式的 key 列表，但是会有一定的重复概率，在客户端做一次去重就可以了，但是整体所花费的时间会比直接用 keys 指令长。

如何使用redis 做异步队列

使用 List 做队列，Rpush生产消息 Lpop 消费消息
缺点：不会等待队列有值 然后进行消费 sleep
优化 BLpop key 30 => 30秒 等待 如果有值了就进行消费
发布/订阅者模式

// 订阅一个频道
SUBSCRIBE redisChat

// 发布消息 
PUBLISH redisChat "Redis is a great caching technique"

缺点： 消息的发布是无状态的 无法保证可达 即发即失

如果有大量的 key 需要设置同一时间过期，一般需要注意什么？

如果大量的 key 过期时间设置的过于集中，到过期的那个时间点，批量大量的删除keys ，从而 redis 可能会出现短暂的卡顿现象。一般需要在时间上加一个随机值，使得过期时间分散一些。

使用过 Redis 分布式锁么，它是什么回事？

先拿 setnx 来争抢锁，抢到之后，再用 expire 给锁加一个过期时间防止锁忘记了释放。 del key