Java面试总结——redis总结

1、Redis

• Redis(Remote Dictionary Server) 是一个使用 C 语言编写的，开源的（BSD许可）高性能非关系型（NoSQL）的键值对数据库
• 键的类型只能为字符串，值支持五种数据类型：字符串(String)、列表(List)、集合(Set)、散列表(Hash)、有序集合(Zset)。
• Redis 的数据是存在内存中的，所以读写速度非常快。每秒可以处理超过 10万次读写操作

2、Redis的优点

• 读写性能优异，Redis能读的速度是10000次/s，写的速度是81000次/s
• 支持数据持久化，支持AOF和RDB两种持久化方式
• 支持事务，Redis的所有操作都是原子性，同时Redis还支持对几个操作合并后的原子性执行
• 数据结构丰富，除了支持string类型的value外还支持hash、set、zset、list等数据结构
• 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离

3、Redis的缺点

• 数据库容量是受到物理内存的限制，不能用作海量数据的高性能读写，因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上
• Redis不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的IP才能恢复
• 主机宕机，宕机前有部分数据未能及时同步到从机，切换IP后还会引入数据不一致问题，降级了系统的可用性
• Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变的很复杂，为避免这一问题，运维人员再系统上线时需要保证有足够的空间，资源浪费

4、为什么要用Redis做缓存

• 高性能：假如用户第一次访问数据库中的某些数据。这个过程会比较慢，因为是从硬盘上读取的。将该用户访问的数据存在数缓存中，这样下一次再访问这些数据的时候就可以直接从缓存中获取了。操作缓存就是直接操作内存，所以速度相当快。如果数据库中的对应数据改变的之后，同步改变缓存中相应的数据即可！
• 高并发：直接操作缓存能够承受的请求是远远大于直接访问数据库的，所以我们可以考虑把数据库中的部分数据转移到缓存中去，这样用户的一部分请求会直接到缓存这里而不用经过数据库。

5、Redis速度快的原因

• 完全基于内存，绝大部分请求是纯粹的内存操作，
• 数据结果简单，对数据操作也是简单，Redis中的数据结构是专门进行设计的
• 采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多进程导致的切换而消耗CPU，不用去考虑各种锁的问题，不存在枷锁释放锁操作，没有因为可能出现死锁而导致的性能消耗
• 使用多路I/O复用模型，非阻塞IO
• 使用底层模型不同，它们之间底层实现方式以及与客户端之间通信的应用协议不一样，Redis直接自己构建了VM机制

6、Redis数据类型

7、Redis的应用场景

• 计数器：可以对 String 进行自增自减运算，从而实现计数器功能
• 缓存：将热点数据放到内存中，设置内存的最大使用量以及淘汰策略来保证缓存的命中率
• 会话缓存：可以使用Redis来统一存储多台应用服务器的会话信息，
• 全页缓存：除基本的会话token之外，Redis还提供很简便的FPC平台
• 查找表：例如 DNS 记录就很适合使用 Redis 进行存储。查找表和缓存类似，也是利用了 Redis 快速的查找特性。但是查找表的内容不能失效，而缓存的内容可以失效，因为缓存不作为可靠的数据来源。
• 消息队列：List 是一个双向链表，可以通过 lpush 和 rpop 写入和读取消息。不过最好使用 Kafka、RabbitMQ 等消息中间件。
• 分布式锁：在分布式场景下，无法使用单机环境下的锁来对多个节点上的进程进行同步。可以使用 Redis 自带的 SETNX 命令实现分布式锁，除此之外，还可以使用官方提供的 RedLock 分布式锁实现。

8、Redis持久化RDB

• 持久化就是把内存的数据写到磁盘中去，防止服务宕机了内存数据丢失。
• Redis 提供两种持久化机制 RDB（默认） 和 AOF 机制。
• RDB是Redis默认的持久化方式。按照一定的时间将内存的数据以快照的形式保存到硬盘中，对应产生的数据文件为dump.rdb。通过配置文件中的save参数来定义快照的周期。
• 只有一个文件dump.rdb，方便持久化
• 容灾性好，一个文件可以保存到安全的磁盘。
• 性能最大化，fork子进程来完成写操作，让主进程继续处理命令，所以是IO最大化使用单独子进程来进行持久化，主进程不会进行任何 IO 操作，保证了 redis 的高性能
• 相对于数据集大时，比AOF的启动效率更高
• 缺点：数据缺失，RDB 是间隔一段时间进行持久化，如果持久化之间 redis 发生故障，会发生数据丢失

9、AOF

• AOF持久化(即Append Only File持久化)，则是将Redis执行的每次写命令记录到单独的日志文件中，当重启Redis会重新将持久化的日志中文件恢复数据
• 数据安全，aof 持久化可以配置 appendfsync 属性，有 always，每进行一次 命令操作就记录到 aof 文件中一次。
• 通过 append 模式写文件，即使中途服务器宕机，可以通过 redis-check-aof 工具解决数据一致性问题。
• AOF 机制的 rewrite 模式。AOF 文件没被 rewrite 之前（文件过大时会对命令 进行合并重写），可以删除其中的某些命令（比如误操作的 flushall）)
• 缺点：AOF文件比RDb文件大，且恢复速度慢，

10、持久化优缺点

• AOF文件比RDB更新频率高，优先使用AOF还原数据。
• AOF比RDB更安全也更大
• RDB性能比AOF好
• 如果两个都配了优先加载AOF

11、Redis持久化数据和缓存扩容

• Redis被当做缓存使用，使用一致性哈希实现动态扩容缩容
• 如果Redis被当做一个持久化存储使用，必须使用固定的keys-to-nodes映射关系，节点的数量一旦确定不能变化。否则的话(即Redis节点需要动态变化的情况）

12、Redis的过期键的删除策略

• 定时过期：每个设置过期时间的key都需要创建一个定时器，到过期时间就会立即清除。
• 惰性过期：只有当访问一个key时，才会判断该key是否已过期，过期则清除。
• 定期过期：每隔一定的时间，会扫描一定数量的数据库的expires字典中一定数量的key，并清除其中已过期的key。
• Redis中同时使用了惰性过期和定期过期两种过期策略。

13、Redis的内存淘汰策略

• noeviction：当内存使用超过配置的时候会返回错误，不会驱逐任何键
• allkeys-lru：加入键的时候，如果过限，首先通过LRU算法驱逐最久没有使用的键
• volatile-lru：加入键的时候如果过限，首先从设置了过期时间的键集合中驱逐最久没有使用的键
• allkeys-random：加入键的时候如果过限，从所有key随机删除
• volatile-random：加入键的时候如果过限，从过期键的集合中随机驱逐
• volatile-ttl：从配置了过期时间的键中驱逐马上就要过期的键
• volatile-lfu：从所有配置了过期时间的键中驱逐使用频率最少的键
• allkeys-lfu：从所有键中驱逐使用频率最少的键

14、Redis线程模型

• Redis基于Reactor模式开发了网络事件处理器，这个处理器被称为事件处理器（file event Handler）、它的组成结构为4部分：多个套接字、IO多路复用程序、文件事件分派器、事件处理器。因为文件事件分派器队列的消费是单线程的，所以Redis才叫单线程模型。
• 文件事件处理器使用 I/O 多路复用（multiplexing）程序来同时监听多个套接字， 并根据套接字目前执行的任务来为套接字关联不同的事件处理器。
• 当被监听的套接字准备好执行连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时， 与操作相对应的文件事件就会产生， 这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。
• 虽然文件事件处理器以单线程方式运行， 但通过使用 I/O 多路复用程序来监听多个套接字， 文件事件处理器既实现了高性能的网络通信模型， 又可以很好地与 redis 服务器中其他同样以单线程方式运行的模块进行对接， 这保持了 Redis 内部单线程设计的简单性。

15、Redis事务

• 事务是一个单独的隔离操作:事务中的所有命令都会序列化，按顺序执行，事务在执行过程中，不会被其他客户端发送来的命令请求所打断
• 事务是一个原子操作：事务中的命令要么全部被执行，要么全部都不执行
• redis事务的三个阶段、1:事务开始MULTI 2:命令入队3:事务执行EXEC
• redis不支持回滚，Redis在事务失败时不进行回滚，而是继续执行余下的命令
• 如果在一个事务中的命令出现错误，那么所有的命令都不执行
• 如果在一个事务出现运行错误，那么正确的命令会被执行
• Redis事务功能是通过MULTI、EXEC、DISCARD和WATCH 四个原语实现的
• WATCH命令是一个乐观锁，可以为Redis事务提供check-and-set（CAS）行为，可以监控一个或多个键，一旦其中有一个键被修改（或删除），之后的事务就不会执行，监控一直持续到EXEC命令。
• MULTI命令用于开启一个事务，它总是返回OK。 MULTI执行之后，客户端可以继续向服务器发送任意多条命令，这些命令不会立即被执行，而是被放到一个队列中，当EXEC命令被调用时，所有队列中的命令才会被执行。
• EXEC：执行所有事务块内的命令。返回事务块内所有命令的返回值，按命令执行的先后顺序排列。 当操作被打断时，返回空值 nil 。
• 通过调用DISCARD，客户端可以清空事务队列，并放弃执行事务， 并且客户端会从事务状态中退出。
   

16、事务管理概述

• 原子性：是指事务是一个不可分割的工作单位，事务中农的操作要么都发生，要么都不发生
• 一致性：事务前后数据的完整性必须保持一致
• 隔离性：多个事务并发执行时，一个事务的执行不影响其他事务的执行
• 持久性：持久性是指一个事务一旦被提交，它对数据库中数据的改变就是永久性的，接下来即使数据库发生故障也不应该对其有任何影响
• Redis的事务总是具有ACID中的一致性和隔离性，其他特性是不支持的
• Redis中，单条命令是原子性执行的，但事务不保证原子性，且没有回滚。事务中任意命令执行失败，其余的命令仍会被执行。

17、sentinel的功能：

• 集群监控：负责监控redis master和slave进程是否正常工作。
• 消息通知：如果某个redis实例有故障，那么哨兵负责发送消息作为报警通知给管理员
• 故障转移：如果master node 挂掉了，会自动转移到slave node上
• 配置中心：如果故障转移发生了，通知client客户端新的master地址。

18、哨兵的核心知识

• 哨兵至少需要3个实例，来保证自己的健壮性
• 哨兵+redis主从的部署架构，是不保证数据零丢失的，只能保证redis集群的高可用性
• redis要开放两个端口号，另外一个就是16379

19、Redis主从复制的核心原理

• 当启动一个 slave node 的时候，它会发送一个 PSYNC 命令给 master node。

  如果这是 slave node 初次连接到 master node，那么会触发一次 full resynchronization 全量复制。此时 master 会启动一个后台线程，开始生成一份 RDB 快照文件，

  同时还会将从客户端 client 新收到的所有写命令缓存在内存中。RDB 文件生成完毕后， master 会将这个 RDB 发送给 slave，slave 会先写入本地磁盘，然后再从本地磁盘加载到内存中，接着 master 会将内存中缓存的写命令发送到 slave，slave 也会同步这些数据。

  

20、Redis过程原理

• 当从库和主库建立MS关系后，会想主数据库发送SYNC命令
• 主库连接SYNC命令后会开始在后台保存快照（RDB持久化过程），并将期间接收到的写命令缓存起来。
• 当快照完成后，主Redis会将快照文件和所有缓存的写命令发送到Redis
• 从Redis接收到后，会载入快照文件并且执行收到的缓存的命令
• 之后，主Redis每当接收到命令时就会将命令发送从Redis，从而保证数据的一致

21、Redis集群之间是异步复制，最大的节点数是16384个，Redis集群目前无法做数据库操作，默认在0数据库

22、Redis分区实现方案

• 客户端分区就是在客户端就已经决定数据会被存储到哪个redis节点或者从哪个redis节点读取。大多数客户端已经实现了客户端分区。
• 代理分区 意味着客户端将请求发送给代理，然后代理决定去哪个节点写数据或者读数据。代理根据分区规则决定请求哪些Redis实例，然后根据Redis的响应结果返回给客户端。redis和memcached的一种代理实现就是Twemproxy
• 查询路由(Query routing) 的意思是客户端随机地请求任意一个redis实例，然后由Redis将请求转发给正确的Redis节点。Redis Cluster实现了一种混合形式的查询路由，但并不是直接将请求从一个redis节点转发到另一个redis节点，而是在客户端的帮助下直接redirected到正确的redis节点。

23、Redis分区的缺点

• 涉及多个key的操作通常不会被支持。例如你不能对两个集合求交集，因为他们可能被存储到不同的Redis实例（实际上这种情况也有办法，但是不能直接使用交集指令）。
• 同时操作多个key,则不能使用Redis事务.
• 分区使用的粒度是key，不能使用一个非常长的排序key存储一个数据集（The partitioning granularity is the key, so it is not possible to shard a dataset with a single huge key like a very big sorted set）
• 当使用分区的时候，数据处理会非常复杂，例如为了备份你必须从不同的Redis实例和主机同时收集RDB / AOF文件。
• 分区时动态扩容或缩容可能非常复杂。Redis集群在运行时增加或者删除Redis节点，能做到最大程度对用户透明地数据再平衡，但其他一些客户端分区或者代理分区方法则不支持这种特性。然而，有一种预分片的技术也可以较好的解决这个问题。
   

24、RedLock

• 基于 Redis 实现分布式锁的方式名叫 Redlock
• 安全特性：互斥访问，即永远只有client能拿到锁
• 避免死锁：最终client都可能拿到锁，不会出现死锁的情况，及时原本锁住某资源的client crash了或者出现了网络分区
• 容错性：只要大部分Redis节点存货就可以正常提供服务

25、缓存雪崩

• 缓存雪崩是指缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。
• 解决方案：1:缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。
• 2:一般并发量不是特别多的时候，使用最多的解决方案是加锁排队
• 3:给每一个缓存数据增加相应的缓存标记，记录缓存的是否失效，如果缓存标记失效，则更新数据缓存。

26、缓存穿透

• 缓存穿透是指缓存和数据库中都没有的数据，导致所有的请求都落到数据库上，造成数据库短时间内承受大量请求而崩掉
• 解决方案：1:接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；
• 2:从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击
• 3:采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的 bitmap 中，一个一定不存在的数据会被这个 bitmap 拦截掉，从而避免了对底层存储系统的查询压力

27、缓存击穿

• 缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力。和缓存雪崩不同的是，缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。
• 解决方案1:设置热点数据永远不过期
• 2:加互斥锁，

28、缓存预热

• 缓存预热就是系统上线后，将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题！用户直接查询事先被预热的缓存数据！
• 解决方案1:直接写个缓存刷新页面，上线时手工操作一下
• 2:数据量不大，可以在项目启动的时候自动进行加载
• 3:定时刷新缓存

29、缓存降级

• 当访问量剧增、服务出现问题（如响应时间慢或不响应）或非核心服务影响到核心流程的性能时，仍然需要保证服务还是可用的，即使是有损服务。系统可以根据一些关键数据进行自动降级，也可以配置开关实现人工降级。缓存降级的最终目的是保证核心服务可用，即使是有损的。而且有些服务是无法降级的（如加入购物车、结算）。在进行降级之前要对系统进行梳理，看看系统是不是可以丢卒保帅；从而梳理出哪些必须誓死保护，哪些可降级；比如可以参考日志级别设置预案：

• 一般：比如有些服务偶尔因为网络抖动或者服务正在上线而超时，可以自动降级；
• 警告：有些服务在一段时间内成功率有波动（如在95~100%之间），可以自动降级或人工降级，并发送告警；
• 错误：比如可用率低于90%，或者数据库连接池被打爆了，或者访问量突然猛增到系统能承受的最大阀值，此时可以根据情况自动降级或者人工降级；
• 严重错误：比如因为特殊原因数据错误了，此时需要紧急人工降级。
• 服务降级的目的，是为了防止Redis服务故障，导致数据库跟着一起发生雪崩问题。因此，对于不重要的缓存数据，可以采取服务降级策略，例如一个比较常见的做法就是，Redis出现问题，不去数据库查询，而是直接返回默认值给用户。

30、保证缓存与数据库双写时的数据一致性