8.Redis高频面试题

目录


Java Web面试题目录清单(高频面试题型)(点击进入…)


Redis高频面试题


Redis高频面试题

1.什么是Redis?

Redis(Remote Dictionary Server)是一个使用C语言编写的。开源的(BSD许可)高性能非关系型(NoSQL)的键值对数据库。内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件
Redis是一个基于内存的高性能key-value数据库

Redis可以存储键和五种不同类型的值之间的映射,键的类型只能为字符串
值主要支持五种数据类型:字符串、列表、集合、散列表、有序集合

与传统数据库不同的是Redis的数据是存在内存中的,所以读写速度非常快。因此Redis被广泛应用于缓存方向,每秒可以处理超过10万次读写操作,是已知性能最快的Key-Value DB。另外,Redis也经常用来做分布式锁。除此之外,Redis支持事务、持久化、LUA脚本、LRU驱动事件、多种集群方案


2.Redis有哪些优缺点?

(1)优点

(1)读写性能优异
Redis能读的速度是110000次/s,写的速度是81000次/s。因为数据存在内存中,类似于HashMap,HashMap的优势就是查找和操作的时间复杂度都是O(1)

(2)支持数据持久化
支持AOF和RDB两种持久化方式

(3)支持事务,操作都是原子性,还支持对几个操作合并后的原子性执行
所谓的原子性就是对数据的更改要么全部执行,要么全部不执行

(4)数据结构丰富
除了支持string类型的value外还支持hash、set、zset、list等数据结构。可用于缓存、消息,按key设置过期时间,过期后将会自动删除

(5)支持主从复制
主机会自动将数据同步到从机,可以进行读写分离

(2)缺点

(1)数据库容量受到物理内存的限制,不能用作海量数据的高性能读写,因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上
(2)Redis不具备自动容错和恢复功能,主机从机的宕机都会导致前端部分读写请求失败,需要等待机器重启或者手动切换前端的IP才能恢复
(3)主机宕机,宕机前有部分数据未能及时同步到从机,切换IP后还会引入数据不一致的问题,降低了系统的可用性
(4)Redis较难支持在线扩容,在集群容量达到上限时在线扩容会变得很复杂。为避免这一问题,运维人员在系统上线时必须确保有足够的空间,这对资源造成了很大的浪费


3.Redis特点?

Redis是一个Key-Value类型的内存数据库,和memcached有点像,整个数据库都是在内存当中进行加载操作,定期通过异步操作把数据库数据flush到硬盘上进行保存。Redis的性能很高,可以处理超过10万次/秒的读写操作,是目前已知性能最快的Key-Value DB

除了性能外,Redis还支持保存多种数据结构,此外单个value的最大限制是1GB,比memcached的1MB高太多了,因此Redis可以用来实现很多有用的功能,比方说用他的List来做FIFO双向链表,实现一个轻量级的高性 能消息队列服务,用他的Set可以做高性能的tag系统等等。另外Redis也可以对存入的Key-Value设置expire时间,因此也可以被当作一 个功能加强版的memcached来用

当然,Redis也有缺陷,那就是是数据库容量受到物理内存的限制,不能用作海量数据的高性能读写,因此Redis比较适合那些局限在较小数据量的高性能操作和运算上


4.为什么要用Redis?为什么要用缓存?

(1)高性能
假如用户第一次访问数据库中的某些数据。这个过程会比较慢,因为是从硬盘上读取的。将该用户访问的数据存在数缓存中,这样下一次再访问这些数据的时候就可以直接从缓存中获取了。操作缓存就是直接操作内存,所以速度相当快。如果数据库中的对应数据改变的之后,同步改变缓存中相应的数据即可

(2)高并发
直接操作缓存能够承受的请求是远远大于直接访问数据库的,所以我们可以考虑把数据库中的部分数据转移到缓存中去,这样用户的一部分请求会直接到缓存这里而不用经过数据库


5.Redis相比memcached有哪些优势?

(1) memcached所有的值均是简单的字符串,redis作为其替代者,支持更为丰富的数据类型
(2) redis的速度比memcached快很多
(3) redis可以持久化其数据


6.为什么要用Redis而不用map/guava做缓存?

**缓存:**本地缓存、分布式缓存
以Java为例,使用自带的map或者guava实现的是本地缓存,最主要的特点是轻量以及快速,生命周期随着JVM的销毁而结束,并且在多实例的情况下,每个实例都需要各自保存一份缓存,缓存不具有一致性

使用redis或memcached之类的称为分布式缓存,在多实例的情况下,各实例共用一份缓存数据,缓存具有一致性。缺点是需要保持redis或memcached服务的高可用,整个程序架构上较为复杂


7.Redis为什么这么快?

(1)完全基于内存,绝大部分请求是纯粹的内存操作,非常快速。数据存在内存中,类似于HashMap。HashMap优势就是查找和操作的时间复杂度都是O(1)
(2)数据结构简单。对数据操作也简单,Redis中的数据结构是专门进行设计的
(3)采用单线程。避免了不必要的上下文切换和竞争条件,也不存在多进程或者多线程导致的切换而消耗CPU,不用去考虑各种锁的问题,不存在加锁释放锁操作,没有因为可能出现死锁而导致的性能消耗
(4)使用多路I/O复用模型,非阻塞IO
(5)使用底层模型不同。它们之间底层实现方式以及与客户端之间通信的应用协议不一样,Redis直接自己构建了JVM机制 ,因为一般的系统调用系统函数的话,会浪费一定的时间去移动和请求


8.Redis有哪些数据类型

Redis主要有5种数据类型,包括String、List、Set、Zset、Hash,满足大部分的使用要求

数据类型StringListSetZsetHash
可以存储的值字符串、整数或者浮点数列表无序集合有序集合包含键值对的无序散列表
操作对整个字符串或者字符串的其中一部分执行操作。对整数和浮点数执行自增或者自减操作从两端压入或者弹出元素。对单个或者多个元素进行修剪,只保留一个范围内的元素添加、获取、移除单个元素。检查一个元素是否存在于集合中。计算交集、并集、差集添加、获取、删除元素。根据分值范围或者成员来获取元素。计算一个键的排名添加、获取、移除单个键值对。获取所有键值对。检查某个键是否存在
应用场景做简单的键值对缓存存储一些列表型的数据结构,类似粉丝列表、文章的评论列表之类的数据从集合里面随机获取元素 交集、并集、差集的操作,比如交集,可以把两个人的粉丝列表整一个交集去重但可以排序,如获取排名前几名的用户结构化的数据,比如一个对象

9.什么是Redis持久化?

持久化就是把内存的数据写到磁盘中去,防止服务宕机了内存数据丢失


10.Redis的持久化机制是什么?各自的优缺点?

Redis提供两种持久化机制RDB(默认)、AOF机制


11.RDB(Redis DataBase)

RDB是Redis默认的持久化方式。按照一定的时间将内存的数据以快照的形式保存到硬盘中,对应产生的数据文件为dump.rdb。通过配置文件中的save参数来定义快照的周期
在这里插入图片描述

优点
(1)只有一个文件dump.rdb,方便持久化
(2)容灾性好,一个文件可以保存到安全的磁盘
(3)性能最大化,fork子进程来完成写操作,让主进程继续处理命令,所以是IO最大化。使用单独子进程来进行持久化,主进程不会进行任何IO操作,保证了redis的高性能
(4)相对于数据集大时,比AOF的启动效率更高

缺点
(1)数据安全性低。RDB是间隔一段时间进行持久化,如果持久化之间Redis发生故障,会发生数据丢失。所以这种方式更适合数据要求不严谨的时候


12.AOF(Append Only File持久化)

则是将Redis执行的每次写命令记录到单独的日志文件中,当重启Redis会重新将持久化的日志中文件恢复数据

当两种方式同时开启时,数据恢复Redis会优先选择AOF恢复
在这里插入图片描述

优点
(1)数据安全。aof持久化可以配置appendfsync属为always,每进行一次命令操作就记录到aof文件中一次
(2)通过append模式写文件,即使中途服务器宕机,可以通过redis-check-aof工具解决数据一致性问题
(3)AOF机制的rewrite模式。AOF文件没被rewrite之前(文件过大时会对命令进行合并重写),可以删除其中的某些命令(比如误操作的flushall)

缺点
(1)AOF文件比RDB文件大,且恢复速度慢
(2)数据集大的时候,比RDB启动效率低


13.Redis AOF/RDB优缺点是什么?

AOF文件比RDB更新频率高,优先使用AOF还原数据
AOF比RDB更安全也更大
RDB比AOF性能较好,如果两个都配了优先加载AOF


14.如何选择合适的持久化方式?

一般来说,如果想达到足以媲美PostgreSQL的数据安全性,应该同时使用两种持久化功能。在这种情况下,当Redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。
如果非常关心的数据,但仍然可以承受数分钟以内的数据丢失,那么可以只使用RDB持久化

有很多用户都只使用AOF持久化,但并不推荐这种方式,因为定时生成RDB快照(snapshot)非常便于进行数据库备份,并且RDB恢复数据集的速度也要比AOF恢复的速度要快,除此之外,使用RDB还可以避免AOF程序的bug。

如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式


15.Redis持久化数据和缓存怎么做扩容?

如果Redis被当做缓存使用,使用一致性哈希实现动态扩容缩容

如果Redis被当做一个持久化存储使用,必须使用固定的keys-to-nodes映射关系,节点的数量一旦确定不能变化。否则的话(Redis节点需要动态变化的情况),必须使用可以在运行时进行数据再平衡的一套系统,而当前只有Redis集群可以做到这样


16.Redis的过期键的删除策略

Redis是key-value数据库,可以设置Redis中缓存的key的过期时间。Redis的过期策略就是指当Redis中缓存的key过期了,Redis如何处理

过期策略通常有以下三种:
(1)定时过期
每个设置过期时间的key都需要创建一个定时器,到过期时间就会立即清除

该策略可以立即清除过期的数据,对内存很友好;但是会占用大量的CPU资源去处理过期的数据,从而影响缓存的响应时间和吞吐量

(2)惰性过期
只有当访问一个key时,才会判断该key是否已过期,过期则清除

该策略可以最大化地节省CPU资源,却对内存非常不友好。极端情况可能出现大量的过期key没有再次被访问,从而不会被清除,占用大量内存

(3)定期过期
每隔一定的时间,会扫描一定数量的数据库的expires字典中一定数量的key,并清除其中已过期的key

该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时,可以在不同情况下使得CPU和内存资源达到最优的平衡效果
(expires字典会保存所有设置了过期时间的key的过期时间数据,其中,key是指向键空间中的某个键的指针,value是该键的毫秒精度的UNIX时间戳表示的过期时间。键空间是指该Redis集群中保存的所有键)
Redis中同时使用了惰性过期和定期过期两种过期策略


17.Redis key的过期时间和永久有效分别怎么设置?

EXPIRE和PERSIST命令


18.MySQL里有2000w数据,redis中只存20w的数据,如何保证redis中的数据都是热点数据

Redis内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略

Redis的内存淘汰策略是指在Redis的用于缓存的内存不足时,怎么处理需要新写入且需要申请额外空间的数据


(1)全局的键空间选择性移除

淘汰策略描述
noeviction当内存不足以容纳新写入数据时,新写入操作会报错
allkeys-lru当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的key。(最常用)
allkeys-random 当内存不足以容纳新写入数据时,在键空间中,随机移除某个key

(2)设置过期时间的键空间选择性移除

淘汰策略描述
volatile-lru当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,移除最近最少使用的key
volatile-random当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,随机移除某个key
volatile-ttl当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,有更早过期时间的key优先移除

总结:Redis的内存淘汰策略的选取并不会影响过期的key的处理。内存淘汰策略用于处理内存不足时的需要申请额外空间的数据;过期策略用于处理过期的缓存数据


19.Redis主要消耗什么物理资源?

内存


20.Redis内存用完了会发生什么?

如果达到设置的上限,Redis写命令会返回错误信息(但是读命令还可以正常返回)或者可以配置内存淘汰机制,当Redis达到内存上限时会冲刷掉旧的内容


21.Redis如何做内存优化?

可以好好利用Hash、list、sorted set、set等集合类型数据,因为通常情况下很多小的Key-Value可以用更紧凑的方式存放到一起

尽可能使用散列表(hashes)。散列表(是说散列表里面存储的数少)使用的内存非常小,所以应该尽可能的将数据模型抽象到一个散列表里面。
比如web系统中有一个用户对象,不要为这个用户的名称、姓氏、邮箱、密码设置单独的key,而是应该把这个用户的所有信息存储到一张散列表里面


22.Redis线程模型

Redis基于Reactor模式开发了网络事件处理器,这个处理器被称为文件事件处理器(file event handler)
组成结构为4部分:多个套接字、IO多路复用程序、文件事件分派器、事件处理器
因为文件事件分派器队列的消费是单线程的,所以Redis才叫单线程模型

文件事件处理器使用I/O多路复用(multiplexing)程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器。

当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

虽然文件事件处理器以单线程方式运行,但通过使用I/O多路复用程序来监听多个套接字,文件事件处理器既实现了高性能的网络通信模型,又可以很好地与Redis服务器中其他同样以单线程方式运行的模块进行对接,这保持了Redis内部单线程设计的简单性


23.什么是事务?

事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断
事务是一个原子操作:事务中的命令要么全部被执行,要么全部都不执行


24.Redis事务的概念

Redis事务的本质是通过MULTI、EXEC、WATCH等一组命令的集合。事务支持一次执行多个命令,一个事务中所有命令都会被序列化。在事务执行过程,会按照顺序串行化执行队列中的命令,其他客户端提交的命令请求不会插入到事务执行命令序列中
总结:Redis事务就是一次性、顺序性、排他性的执行一个队列中的一系列命令


25.Redis的三个阶段

(1)事务开始 MULTI
(2)命令入队
(3)事务执行EXEC
事务执行过程中,如果服务端收到有EXEC、DISCARD、WATCH、MULTI之外的请求,将会把请求放入队列中排队


26.Redis事务相关命令

Redis事务功能是通过MULTI、EXEC、DISCARD和WATCH四个原语实现的

Redis会将一个事务中的所有命令序列化,然后按顺序执行。
Redis不支持回滚。“Redis在事务失败时不进行回滚,而是继续执行余下的命令”,所以Redis 的内部可以保持简单且快速
如果在一个事务中的命令出现错误,那么所有的命令都不会执行;如果在一个事务中出现运行错误,那么正确的命令会被执行

事务命令描述
WATCH命令WATCH命令是一个乐观锁,可以为Redis事务提供check-and-set(CAS)行为。可以监控一个或多个键,一旦其中有一个键被修改(或删除),之后的事务就不会执行,监控一直持续到EXEC命令。
MULTI命令MULTI命令用于开启一个事务,总是返回OK。MULTI执行之后,客户端可以继续向服务器发送任意多条命令,这些命令不会立即被执行,而是被放到一个队列中,当EXEC命令被调用时,所有队列中的命令才会被执行。
EXEC命令EXEC执行所有事务块内的命令。返回事务块内所有命令的返回值,按命令执行的先后顺序排列。当操作被打断时,返回空值nil
DISCARD命令通过调用DISCARD,客户端可以清空事务队列,并放弃执行事务,并且客户端会从事务状态中退出
UNWATCH命令UNWATCH命令可以取消watch对所有key的监控

27.Redis事务管理

Redis的事务总是具有ACID中的一致性和隔离性,其他特性是不支持的。当服务器运行在AOF持久化模式下,并且appendfsync选项的值为always时,事务也具有耐久性

(1)事务管理(ACID)
原子性(Atomicity)
原子性是指事务是一个不可分割的工作单位,事务中的操作要么都发生,要么都不发生

(2)一致性(Consistency)
事务前后数据的完整性必须保持一致

(3)隔离性(Isolation)
多个事务并发执行时,一个事务的执行不应影响其他事务的执行

(4)持久性(Durability)
持久性是指一个事务一旦被提交,它对数据库中数据的改变就是永久性的,接下来即使数据库发生故障也不应该对其有任何影响


28.Redis事务保证原子性?,支持回滚?

Redis中单条命令是原子性执行的,但事务不保证原子性,且没有回滚。事务中任意命令执行失败,其余的命令仍会被执行


29.Redis事务支持隔离性

Redis是单进程程序,并且它保证在执行事务时,不会对事务进行中断,事务可以运行直到执行完所有事务队列中的命令为止。因此,Redis的事务是总是带有隔离性的


30.Redis事务其他实现

(1)基于Lua脚本
Redis可以保证脚本内的命令一次性、按顺序地执行,其同时也不提供事务运行错误的回滚,执行过程中如果部分命令运行错误,剩下的命令还是会继续运行完

(2)基于中间标记变量
通过另外的标记变量来标识事务是否执行完成,读取数据时先读取该标记变量判断是否事务执行完成。但这样会需要额外写代码实现,比较繁琐


31.主从复制

单机的redis,能够承载的QPS大概就在上万到几万不等。对于缓存来说,一般都是用来支撑读高并发的。因此架构做成主从(master-slave)架构,一主多从,主负责写,从负责读,并且将数据复制到其它的slave节点,从节点负责读。所有的读请求全部走从节点。这样也可以很轻松实现水平扩容,支撑读高并发

在这里插入图片描述
redis replication -> 主从架构 -> 读写分离 -> 水平扩容支撑读高并发

redis replication(复制)的核心机制
(1)redis采用异步方式复制数据到slave节点,不过redis2.8开始,slave node会周期性地确认自己每次复制的数据量
(2)一个master node是可以配置多个slave node的
(3)slave node也可以连接其他的slave node
(4)slave node做复制的时候,不会block(中断)master node的正常工作
(5)slave node在做复制的时候,也不会block对自己的查询操作,它会用旧的数据集来提供服务;但是复制完成的时候,需要删除旧数据集,加载新数据集,这个时候就会暂停对外服务了
(6)slave node主要用来进行横向扩容,做读写分离,扩容的slave node可以提高读的吞吐

注意:如果采用了主从架构,那么建议必须开启master node的持久化,不建议用slave node作为master node的数据热备,因为那样的话,如果关掉master的持久化,可能在master宕机重启的时候数据是空的,然后可能一经过复制,slave node的数据也丢了

另外,master的各种备份方案,也需要做。万一本地的所有文件丢失了,从备份中挑选一份rdb去恢复master,这样才能确保启动的时候,是有数据的,即使采用了高可用机制,slave node可以自动接管master node,但也可能sentinel还没检测到master failure,master node就自动重启了,还是可能导致slave node数据被清空

redis主从复制的核心原理
当启动一个slave node的时候,它会发送一个PSYNC命令给master node。
如果这是slave node初次连接到master node,那么会触发一次full resynchronization(全量复制)。此时master会启动一个后台线程,开始生成一份RDB快照文件,同时还会将从客户端client新收到的所有写命令缓存在内存中。RDB文件生成完毕后,master会将这个RDB发送给slave,slave会先写入本地磁盘,然后再从本地磁盘加载到内存中,接着master会将内存中缓存的写命令发送到 slave,slave 也会同步这些数据。
slave node如果跟master node有网络故障,断开了连接,会自动重连,连接之后master node仅会复制给slave部分缺少的数据
在这里插入图片描述
节点之间会定时的互相发送ping命令,测试节点的健康状态,当节点接受到ping命令后,会返回一个pong字符串

投票机制:如果一个节点A给节点B发送ping没有得到pong返回,会通知其他节点再次给B发送ping,如果集群中有超过一半的节点收不B节点的pong。那么就认为B节点挂了。一般会为每个节点提供一个备份节点,如果挂掉会切换到备份节点

过程原理
(1)当从库和主库建立MS关系后,会向主数据库发送SYNC命令
(2)主库接收到SYNC命令后会开始在后台保存快照(RDB持久化过程),并将期间接收到的写命令缓存起来
(3)当快照完成后,主库会将快照文件和所有缓存的写命令发送给从库
(4)从库接收到后,会载入快照文件并且执行收到的缓存的命令
(5)之后,主库每当接收到写命令时就会将命令发送从库,从而保证数据的一致

缺点:所有的slave节点数据的复制和同步都由master节点来处理,会照成master节点压力太大,使用主从从结构来解决


32.哨兵模式

在这里插入图片描述

sentinel(哨兵)。哨兵是redis集群机构中非常重要的一个组件,主要有以下功能:
(1)集群监控:负责监控redis master和slave进程是否正常工作
(2)消息通知:如果某个redis实例有故障,那么哨兵负责发送消息作为报警通知给管理员
(3)故障转移:如果master node挂掉了,会自动转移到slave node上
(4)配置中心:如果故障转移发生了,通知 client 客户端新的 master 地址

哨兵用于实现redis集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作
(1)故障转移时,判断一个 master node 是否宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举的问题
(2)即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的,因为如果一个作为高可用机制重要组成部分的故障转移系统本身是单点的,那就很坑爹了。
哨兵的核心知识

哨兵至少需要3个实例,来保证自己的健壮性
哨兵 + redis主从的部署架构,是不保证数据零丢失的,只能保证redis集群的高可用性
对于哨兵 + redis主从这种复杂的部署架构,尽量在测试环境和生产环境,都进行充足的测试和演练


33.集群

Redis Cluster是一种服务端Sharding技术,3.0版本开始正式提供。Redis Cluster并没有使用一致性hash,而是采用slot(槽)的概念,一共分成16384个槽。将请求发送到任意节点,接收到请求的节点会将查询请求发送到正确的节点上执行
重点:Redis对于每个存放的key会进行hash操作,生成一个[0-16384]的hash值(先进行crc算法再对16384取余)
集群:就是把[0-16384]的区间进行拆分,放到不同的redis中

官方Redis Cluster(集群)方案(服务端路由查询)
在这里插入图片描述

方案说明
(1)通过哈希的方式,将数据分片,每个节点均分存储一定哈希槽(哈希值)区间的数据,默认分配了16384个槽位
(2)每份数据分片会存储在多个互为主从的多节点上
(3)数据写入先写主节点,再同步到从节点(支持配置为阻塞同步)
(4)同一分片多个节点间的数据不保持一致性
(5)读取数据时,当客户端操作的key没有0分配在该节点上时,redis会返回转向指令,指向正确的节点
(6)扩容时时需要需要把旧节点的数据迁移一部分到新节点

在redis cluster架构下,每个redis要放开两个端口号,比如一个是6379,另外一个就是加1w的端口号,比如16379

16379 端口号是用来进行节点间通信的,也就是 cluster bus 的东西,cluster bus 的通信,用来进行故障检测、配置更新、故障转移授权。cluster bus 用了另外一种二进制的协议,gossip 协议,用于节点间进行高效的数据交换,占用更少的网络带宽和处理时间

基本通信原理
集群元数据的维护有两种方式:集中式、Gossip协议。redis cluster节点间采用gossip协议进行通信。

优点
(1)无中心架构,支持动态扩容,对业务透明
(2)具备Sentinel的监控和自动Failover(故障转移)能力
(3)客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
(4)高性能,客户端直连redis服务,免去了proxy代理的损耗

缺点
(1)运维也很复杂,数据迁移需要人工干预
(2)只能使用0号数据库
(3)不支持批量操作(pipeline管道操作)
(4)分布式逻辑和存储模块耦合等

基于客户端分配

在这里插入图片描述

Redis Sharding是Redis Cluster出来之前,业界普遍使用的多Redis实例集群方法。其主要思想是采用哈希算法将Redis数据的key进行散列,通过hash函数,特定的key会映射到特定的Redis节点上。Java redis客户端驱动jedis,支持Redis Sharding功能,即ShardedJedis以及结合缓存池的ShardedJedisPool

优点
(1)优势在于非常简单,服务端的Redis实例彼此独立,相互无关联,每个Redis实例像单服务器一样运行,非常容易线性扩展,系统的灵活性很强

缺点
(1)由于sharding处理放到客户端,规模进一步扩大时给运维带来挑战
(2)客户端sharding不支持动态增删节点。服务端Redis实例群拓扑结构有变化时,每个客户端都需要更新调整。连接不能共享,当应用规模增大时,资源浪费制约优化

基于代理服务器分片

在这里插入图片描述
客户端发送请求到一个代理组件,代理解析客户端的数据,并将请求转发至正确的节点,最后将结果回复给客户端

特征
(1)透明接入,业务程序不用关心后端Redis实例,切换成本低
(2)Proxy 的逻辑和存储的逻辑是隔离的
(3)代理层多了一次转发,性能有所损耗

业界开源方案
(1)Twtter开源的Twemproxy
(2)豌豆荚开源的Codis


34.Redis集群的主从复制模型是怎样的?

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品(节点:Redis服务,N:分成的块)


35.生产环境中的redis是怎么部署?

redis cluster,10 台机器,5 台机器部署了 redis 主实例,另外 5 台机器部署了 redis 的从实例,每个主实例挂了一个从实例,5 个节点对外提供读写服务,每个节点的读写高峰qps可能可以达到每秒 5 万,5 台机器最多是 25 万读写请求/s。

机器是什么配置?
32G 内存+ 8 核 CPU + 1T 磁盘,但是分配给 redis 进程的是10g内存,一般线上生产环境,redis 的内存尽量不要超过 10g,超过 10g 可能会有问题。
5 台机器对外提供读写,一共有 50g 内存。因为每个主实例都挂了一个从实例,所以是高可用的,任何一个主实例宕机,都会自动故障迁移,redis 从实例会自动变成主实例继续提供读写服务。

往内存里写的是什么数据?每条数据的大小是多少?
商品数据,每条数据是 10kb。100 条数据是 1mb,10 万条数据是 1g。常驻内存的是 200 万条商品数据,占用内存是 20g,仅仅不到总内存的 50%。目前高峰期每秒就是 3500 左右的请求量。

其实大型的公司,会有基础架构的 team 负责缓存集群的运维


36.Redis哈希槽的概念?

Redis集群没有使用一致性hash,而是引入了哈希槽的概念,Redis集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽,集群的每个节点负责一部分hash槽


37.Redis集群会有写操作丢失吗?为什么?

Redis并不能保证数据的强一致性,这意味这在实际中集群在特定的条件下可能会丢失写操作。


38.Redis集群之间是如何复制的?

异步复制


39.Redis集群最大节点个数是多少?

16384个


40.Redis集群如何选择数据库?

Redis集群目前无法做数据库选择,默认在0数据库


41.Redis是单线程的,如何提高多核CPU的利用率?

可以在同一个服务器部署多个Redis的实例,并把他们当作不同的服务器来使用,在某些时候,无论如何一个服务器是不够的, 所以,如果你想使用多个CPU,你可以考虑一下分片(shard)


42.为什么要做Redis分区?

分区可以让Redis管理更大的内存,Redis将可以使用所有机器的内存。如果没有分区,你最多只能使用一台机器的内存。分区使Redis的计算能力通过简单地增加计算机得到成倍提升,Redis的网络带宽也会随着计算机和网卡的增加而成倍增长


43.有哪些Redis分区实现方案?

(1)客户端分区就是在客户端就已经决定数据会被存储到哪个redis节点或者从哪个redis节点读取。大多数客户端已经实现了客户端分区
(2)代理分区 意味着客户端将请求发送给代理,然后代理决定去哪个节点写数据或者读数据。代理根据分区规则决定请求哪些Redis实例,然后根据Redis的响应结果返回给客户端。redis和memcached的一种代理实现就是Twemproxy
(3)查询路由(Query routing) 的意思是客户端随机地请求任意一个redis实例,然后由Redis将请求转发给正确的Redis节点。Redis Cluster实现了一种混合形式的查询路由,但并不是直接将请求从一个redis节点转发到另一个redis节点,而是在客户端的帮助下直接redirected到正确的redis节点


44.Redis分区有什么缺点?

(1)涉及多个key的操作通常不会被支持。例如:不能对两个集合求交集,因为他们可能被存储到不同的Redis实例(实际上这种情况也有办法,但是不能直接使用交集指令)
(2)同时操作多个key,则不能使用Redis事务
(3)分区使用的粒度是key,不能使用一个非常长的排序key存储一个数据集
(4)当使用分区的时候,数据处理会非常复杂,例如为了备份你必须从不同的Redis实例和主机同时收集RDB / AOF文件
(5)分区时动态扩容或缩容可能非常复杂。Redis集群在运行时增加或者删除Redis节点,能做到最大程度对用户透明地数据再平衡,但其他一些客户端分区或者代理分区方法则不支持这种特性。然而,有一种预分片的技术也可以较好的解决这个问题


45.Redis实现分布式锁

Redis为单进程单线程模式,采用队列模式将并发访问变成串行访问,且多客户端对Redis的连接并不存在竞争关系。Redis中可以使用SETNX命令实现分布式锁
SETNX:『SET if Not eXists』(如果不存在,则 SET)的简写
当且仅当 key不存在,将key的值设为value。若给定的key已经存在,则SETNX不做任何动作
返回值:设置成功,返回1。设置失败,返回 0

使用SETNX完成同步锁的流程及事项如下:
(1)使用SETNX命令获取锁,若返回0(key已存在,锁已存在)则获取失败,反之获取成功
为了防止获取锁后程序出现异常,导致其他线程/进程调用SETNX命令总是返回0而进入死锁状态,需要为该key设置一个“合理”的过期时间
释放锁:使用DEL命令将锁数据删除


46.如何解决Redis的并发竞争Key问题

Redis并发竞争Key:就是多个系统同时对一个key进行操作,但是最后执行的顺序跟期望的顺序不同,这样也就导致了结果的不同

推荐一种方案:分布式锁(zookeeper和redis都可以实现分布式锁)。(如果不存在Redis的并发竞争Key问题,尽量不要使用分布式锁,这样会影响性能)

基于zookeeper临时有序节点可以实现的分布式锁。大致思想为:
每个客户端对某个方法加锁时,在zookeeper上的与该方法对应的指定节点的目录下,生成一个唯一的瞬时有序节点。判断是否获取锁的方式很简单,只需要判断有序节点中序号最小的一个。 当释放锁的时候,只需将这个瞬时节点删除即可。同时,其可以避免服务宕机导致的锁无法释放,而产生的死锁问题。完成业务流程后,删除对应的子节点释放锁。在实践中,当然是从以可靠性为主。所以首推Zookeeper。


47.分布式Redis是前期做还是后期规模上来了再做好?为什么?

既然Redis是如此的轻量(单实例只使用1M内存),为防止以后的扩容,最好的办法就是一开始就启动较多实例。即便只有一台服务器,也可以一开始就让Redis以分布式的方式运行,使用分区,在同一台服务器上启动多个实例
一开始就多设置几个Redis实例,例如32或者64个实例,对大多数用户来说这操作起来可能比较麻烦,但是从长久来看做这点牺牲是值得的。

这样的话,当数据不断增长,需要更多的Redis服务器时,需要做的就是仅仅将Redis实例从一台服务迁移到另外一台服务器而已(而不用考虑重新分区的问题)。一旦添加了另一台服务器,需要将你一半的Redis实例从第一台机器迁移到第二台机器
一句话:看需求,看业务,看项目


48.什么是RedLock

Redis官方站提出了一种权威的基于Redis实现分布式锁的方式名叫Redlock,此种方式比原先的单节点的方法更安全。它可以保证以下特性:
(1)安全特性:互斥访问,即永远只有一个client能拿到锁
(2)避免死锁:最终client都可能拿到锁,不会出现死锁的情况,即使原本锁住某资源的 client crash 了或者出现了网络分区
(3)容错性:只要大部分Redis节点存活就可以正常提供服务


49.缓存雪崩

指缓存同一时间大面积的失效,后面的请求都会落到数据库上,造成数据库短时间内承受大量请求而崩掉(缓存中有数据,数据库有数据,但是缓存崩掉了)

解决方案
(1)缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生
(2)一般并发量不是特别多的时候,使用最多的解决方案是加锁排队
(3)给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,则更新数据缓存


50.缓存穿透

指缓存没有数据,导致所有请求都落到数据库上,造成数据库短时间内承受大量请求而直接崩掉(缓存无数据,数据库有数据)

解决方案
(1)接口层增加校验。如用户鉴权校验,id做基础校验,id<=0的直接拦截
(2)从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击
(3)采用布隆过滤器。将所有可能存在的数据哈希到一个足够大的 bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对底层存储系统的查询压力

Bitmap和Bloom Filter介绍
Bitmap和布隆过滤器(Bloom Filter)对于空间的利用到达了一种极致

(1)Bitmap:典型的就是哈希表
缺点:Bitmap对于每个元素只能记录1bit信息,如果还想完成额外的功能,恐怕只能靠牺牲更多的空间、时间来完成

(2)布隆过滤器(Bloom推荐)
就是引入了k(k>1)k(k>1)个相互独立的哈希函数,保证在给定的空间、误判率下,完成元素判重的过程
优点:空间效率和查询时间都远远超过一般的算法
缺点:有一定的误识别率和删除困难
Bloom-Filter算法的核心思想:利用多个不同的Hash函数来解决“冲突”

Hash存在一个冲突(Hash碰撞)的问题,用同一个Hash得到的两个URL的值有可能相同。为了减少冲突,可以多引入几个Hash,如果通过其中的一个Hash值得出某元素不在集合中,那么该元素肯定不在集合中。只有在所有的Hash函数告诉我们该元素在集合中时,才能确定该元素存在于集合中。这便是Bloom-Filter的基本思想

Bloom-Filter一般用于在大数据量的集合中判定某元素是否存在


51.缓存击穿

指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力

与缓存雪崩不同,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库

解决方案
(1)设置热点数据永远不过期
(2)加互斥锁,互斥锁


52.缓存预热

缓存预热:系统上线后,将相关的缓存数据直接加载到缓存系统
避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题。用户直接查询事先被预热的缓存数据

解决方案
(1)直接写个缓存刷新页面,上线时手工操作一下
(2)数据量不大,可以在项目启动的时候自动进行加载
(3)定时刷新缓存


53.缓存降级

当访问量剧增、服务出现问题(如响应时间慢或不响应)或非核心服务影响到核心流程的性能时,仍然需要保证服务还是可用的,即使是有损服务。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级

缓存降级最终目的:保证核心服务可用,即使是有损的。而且有些服务是无法降级的(如加入购物车、结算)

参考日志级别设置预案
①在进行降级之前要对系统进行梳理,看看系统是不是可以保帅弃卒
②从而梳理出哪些必须誓死保护,哪些可降级
(1)一般:比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级
(2)警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警
(3)错误:比如可用率低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阀值,此时可以根据情况自动降级或者人工降级
(4)严重错误:比如因为特殊原因数据错误了,此时需要紧急人工降级

级别操作建议
一般自动降级
警告自动/人工降级
错误自动/人工降级
严重错误紧急人工降级

服务降级目的:为了防止Redis服务故障,导致数据库跟着一起发生雪崩问题。因此,对于不重要的缓存数据,可以采取服务降级策略
例如:比较常见的做法是,Redis出现问题,不去数据库查询,而是直接返回默认值给用户


54.热点数据和冷数据?

(1)热点数据
缓存才有价值
比如某IM产品,生日祝福模块,当天的寿星列表,缓存以后可能读取数十万次某导航产品,将导航信息,缓存以后可能读取数百万次

(2)冷数据
大部分数据可能还没有再次访问到就已经被挤出内存,不仅占用内存,而且价值不大

(3)频繁修改的数据
看情况考虑使用缓存

数据更新前至少读取两次,缓存才有意义。这个是最基本的策略,如果缓存还没有起作用就失效了,那就没有太大价值

那存不存在,修改频率很高,但是又不得不考虑缓存的场景呢?
有。比如:这个读取接口对数据库的压力很大,但是又是热点数据,这个时候就需要考虑通过缓存手段,减少数据库的压力
比如:某助手产品的,点赞数,收藏数,分享数等是非常典型的热点数据,但是又不断变化,此时就需要将数据同步保存到Redis缓存,减少数据库压力


55.如何保证Redis都是热点数据?

MySQL里有2000w数据,redis中只存20w的数据
相关知识:redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略(回收策略)。
redis 提供 6种数据淘汰策略:

策略描述
volatile-lru从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰
volatile-ttl从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
volatile-random从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
allkeys-lru从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰
allkeys-random从数据集(server.db[i].dict)中任意选择数据淘汰
no-enviction(驱逐)禁止驱逐数据

56.缓存热点key

比如:一个促销商品,在某个时间点过期的时候,恰好在这个时间点对这个Key有大量的并发请求过来,这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把后端DB压垮

解决方案
对缓存查询加锁,如果Key不存在,就加锁,然后查DB入缓存,然后解锁;其他进程如果发现有锁就等待,然后等解锁后返回数据或者进入DB查询


57.Redis支持的Java客户端都有哪些?官方推荐用哪个?

Redisson、Jedis、lettuce等等,官方推荐使用Redisson。


58.Redis和Redisson有什么关系?

Redisson是一个高级的分布式协调Redis客服端,能帮助用户在分布式环境中轻松实现一些Java的对象(Bloom filter, BitSet, Set, SetMultimap, ScoredSortedSet, SortedSet, Map, ConcurrentMap, List, ListMultimap, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock, ReadWriteLock, AtomicLong, CountDownLatch, Publish / Subscribe, HyperLogLog)


59.Jedis与Redisson对比有什么优缺点?

Jedis是Redis的Java实现的客户端,其API提供了比较全面的Redis命令的支持

Redisson实现了分布式和可扩展的Java数据结构,和Jedis相比,功能较为简单,不支持字符串操作,不支持排序、事务、管道、分区等Redis特性
Redisson宗旨:促进使用者对Redis的关注分离,从而让使用者能够将精力更集中地放在处理业务逻辑上


60.Redis与Memcached简单区别

两者都是非关系型内存键值数据库,现在公司一般都是用Redis来实现缓存,而且Redis自身也越来越强大了!Redis与Memcached主要有以下不同
(1)memcached所有的值均是简单的字符串,redis作为其替代者,支持更为丰富的数据类型
(2)redis的速度比memcached快很多
(3)redis可以持久化其数据,Memcached不支持

(1)存储方式 Memecache把数据全部存在内存之中,断电后会挂掉,数据不能超过内存大小。 Redis有部份存在硬盘上,这样能保证数据的持久性。
(2)数据支持类型 Memcache对数据类型支持相对简单。 Redis有复杂的数据类型。
(3)使用底层模型不同它们之间底层实现方式以及与客户端之间通信的应用协议不一样。 Redis直接自己构建了VM 机制 ,因为一般的系统调用系统函数的话,会浪费一定的时间去移动和请求。


61.如何保证缓存与数据库双写时的数据一致性?

只要用缓存,就可能会涉及到缓存与数据库双存储双写。只要是双写,就一定会有数据一致性的问题

如何解决一致性问题?
一般来说,就是如果系统不是严格要求缓存 + 数据库必须一致性的话,缓存可以稍微的跟数据库偶尔有不一致的情况,最好不要做这个方案,读请求和写请求串行化,串到一个内存队列里去,这样就可以保证一定不会出现不一致的情况
串行化之后,就会导致系统的吞吐量会大幅度的降低,用比正常情况下多几倍的机器去支撑线上的一个请求。还有一种方式就是可能会暂时产生不一致的情况,但是发生的几率特别小,就是先更新数据库,然后再删除缓存

在这里插入图片描述


62.Redis常见性能问题和解决方案?

(1)Master最好不要做任何持久化工作,包括内存快照和AOF日志文件,特别是不要启用内存快照做持久化
(2)如果数据比较关键,某个Slave开启AOF备份数据,策略为每秒同步一次
(3)为了主从复制的速度和连接的稳定性,Slave和Master最好在同一个局域网内
(4)尽量避免在压力较大的主库上增加从库
(5)Master调用BGREWRITEAOF重写AOF文件,AOF在重写的时候会占大量的CPU和内存资源,导致服务load过高,出现短暂服务暂停现象
(6)为了Master的稳定性,主从复制不要用图状结构,用单向链表结构更稳定,即主从关系为:Master<–Slave1<–Slave2<–Slave3…,这样的结构也方便解决单点故障问题,实现Slave对Master的替换,也即,如果Master挂了,可以立马启用Slave1做Master,其他不变


63.Redis官方为什么不提供Windows版本?

因为目前Linux版本已经相当稳定,而且用户量很大,无需开发windows版本,反而会带来兼容性等问题。


64.一个字符串类型的值能存储最大容量是多少?

512M


65.Redis如何做大量数据插入?

Redis2.6开始redis-cli支持一种新的被称之为pipe mode的新模式用于执行大量数据插入工作


66.假如Redis里面有1亿个key,其中有10w个key是以某个固定的已知的前缀开头的,如果将它们全部找出来?

使用keys指令可以扫出指定模式的key列表

对方接着追问:如果这个redis正在给线上的业务提供服务,那使用keys指令会有什么问题?
redis关键的一个特性:redis的单线程的。keys指令会导致线程阻塞一段时间,线上服务会停顿,直到指令执行完毕,服务才能恢复。这个时候可以使用scan指令,scan指令可以无阻塞的提取出指定模式的key列表,但是会有一定的重复概率,在客户端做一次去重就可以了,但是整体所花费的时间会比直接用keys指令长


67.使用Redis做过异步队列吗,是如何实现的

使用list类型保存数据信息,rpush生产消息,lpop消费消息,当lpop没有消息时,可以sleep一段时间,然后再检查有没有信息,如果不想sleep的话,可以使用blpop, 在没有信息的时候,会一直阻塞,直到信息的到来。redis可以通过pub/sub主题订阅模式实现一个生产者,多个消费者,当然也存在一定的缺点,当消费者下线时,生产的消息会丢失。


68.Redis如何实现延时队列

使用sortedset,使用时间戳做score,消息内容作为key,调用zadd来生产消息,消费者使用zrangbyscore获取n秒之前的数据做轮询处理。


69.Redis回收进程如何工作的?

一个客户端运行了新的命令,添加了新的数据

Redis检查内存使用情况,如果大于maxmemory的限制, 则根据设定好的策略进行回收。
一个新的命令被执行,等等
所以我们不断地穿越内存限制的边界,通过不断达到边界然后不断地回收回到边界以下。
如果一个命令的结果导致大量内存被使用(例如很大的集合的交集保存到一个新的键),不用多久内存限制就会被这个内存使用量超越。


70.Redis回收使用的是什么算法?

LRU算法


71.Redis常见性能问题和解决方案

(1)Master写内存快照,save命令调度rdbSave函数,会阻塞主线程的工作,当快照比较大时对性能影响是非常大的,会间断性暂停服务,所以Master最好不要写内存快照。
(2)Master AOF持久化,如果不重写AOF文件,这个持久化方式对性能的影响是最小的,但是AOF文件会不断增大,AOF文件过大会影响Master重启的恢复速度。Master最好不要做任何持久化工作,包括内存快照和AOF日志文件,特别是不要启用内存快照做持久化,如果数据比较关键,某个Slave开启AOF备份数据,策略为每秒同步一次。
(3)Master调用BGREWRITEAOF重写AOF文件,AOF在重写的时候会占大量的CPU和内存
资源,导致服务load过高,出现短暂服务暂停现象。
(4) Redis主从复制的性能问题,为了主从复制的速度和连接的稳定性,Slave和Master最好在同一个局域网内


72.为什么Redis需要把所有数据放到内存中?

Redis为了达到最快的读写速度将数据都读到内存中,并通过异步的方式将数据写入磁盘。所以redis具有快速和数据持久化的特征。如果不将数据放在内存中,磁盘I/O速度为严重影响redis的性能。在内存越来越便宜的今天,redis将会越来越受欢迎。
如果设置了最大使用的内存,则数据已有记录数达到内存限值后不能继续插入新值。


73.Redis是单进程单线程的

Redis利用队列技术将并发访问变为串行访问,消除了传统数据库串行控制的开销


74.Redis的并发竞争问题如何解决?

Redis为单进程单线程模式,采用队列模式将并发访问变为串行访问。Redis本身没有锁的概念,Redis对于多个客户端连接并不存在竞争,但是在Jedis客户端对Redis进行并发访问时会发生连接超时、数据转换错误、阻塞、客户端关闭连接等问题,这些问题均是由于客户端连接混乱造成。

对此有2种解决方法:
1.客户端角度,为保证每个客户端间正常有序与Redis进行通信,对连接进行池化,同时对客户端读写Redis操作采用内部锁synchronized。
2.服务器角度,利用setnx实现锁。

注意:对于第一种,需要应用程序自己处理资源的同步,可以使用的方法比较通俗,可以使用synchronized也可以使用lock;第二种需要用到Redis的setnx命令,但是需要注意一些问题。


75.Redis事物的了解CAS(check-and-set 操作实现乐观锁 )?

和众多其它数据库一样,Redis作为NoSQL数据库也同样提供了事务机制。在Redis中,MULTI/EXEC/DISCARD/WATCH这四个命令是我们实现事务的基石。相信对有关系型数据库开发经验的开发者而言这一概念并不陌生

Redis中事务的实现特征:
(1)在事务中的所有命令都将会被串行化的顺序执行,事务执行期间,Redis不会再为其它客户端的请求提供任何服务,从而保证了事物中的所有命令被原子的执行。
(2)和关系型数据库中的事务相比,在Redis事务中如果有某一条命令执行失败,其后的命令仍然会被继续执行。
(3)可以通过MULTI命令开启一个事务,有关系型数据库开发经验的人可以将其理解为"BEGIN TRANSACTION"语句。在该语句之后执行的命令都将被视为事务之内的操作,最后我们可以通过执行EXEC/DISCARD命令来提交/回滚该事务内的所有操作。这两个Redis命令可被视为等同于关系型数据库中的COMMIT/ROLLBACK语句。
(4)在事务开启之前,如果客户端与服务器之间出现通讯故障并导致网络断开,其后所有待执行的语句都将不会被服务器执行。然而如果网络中断事件是发生在客户端执行EXEC命令之后,那么该事务中的所有命令都会被服务器执行。
(5)当使用Append-Only模式时,Redis会通过调用系统函数write将该事务内的所有写操作在本次调用中全部写入磁盘。然而如果在写入的过程中出现系统崩溃,如电源故障导致的宕机,那么此时也许只有部分数据被写入到磁盘,而另外一部分数据却已经丢失。
Redis服务器会在重新启动时执行一系列必要的一致性检测,一旦发现类似问题,就会立即退出并给出相应的错误提示。此时,我们就要充分利用Redis工具包中提供的redis-check-aof工具,该工具可以帮助我们定位到数据不一致的错误,并将已经写入的部分数据进行回滚。修复之后我们就可以再次重新启动Redis服务器了


76.Redis持久化的几种方式

快照(snapshots)
缺省情况情况下,Redis把数据快照存放在磁盘上的二进制文件中,文件名为dump.rdb。可以配置Redis的持久化策略
例如:数据集中每N秒钟有超过M次更新,就将数据写入磁盘;或者你可以手工调用命令SAVE或BGSAVE。

工作原理:
①Redis forks。
②子进程开始将数据写到临时RDB文件中。
③当子进程完成写RDB文件,用新文件替换老文件。
④这种方式可以使Redis使用copy-on-write技术。

AOF
快照模式并不十分健壮,当系统停止,或者无意中Redis被kill掉,最后写入Redis的数据就会丢失。这对某些应用也许不是大问题,但对于要求高可靠性的应用来说,Redis就不是一个合适的选择。Append-only文件模式是另一种选择。可以在配置文件中打开AOF模式

虚拟内存方式
当key很小而value很大时,使用VM的效果会比较好,因为这样节约的内存比较大.
当key不小时,可以考虑使用一些非常方法将很大的key变成很大的value,比如:可以考虑将key、value组合成一个新的value。
vm-max-threads这个参数,可以设置访问swap文件的线程数,设置最好不要超过机器的核数;如果设置为0,那么所有对swap文件的操作都是串行的。可能会造成比较长时间的延迟,但是对数据完整性有很好的保证。自己测试的时候发现用虚拟内存性能也不错。如果数据量很大,可以考虑分布式或者其他数据库。


77.Redis的缓存失效策略和主键失效机制

作为缓存系统都要定期清理无效数据,就需要一个主键失效和淘汰策略。在Redis当中,有生存期的key被称为volatile。在创建缓存时,要为给定的key设置生存期,当key过期的时候(生存期为0),它可能会被删除。

(1)影响生存时间的一些操作
生存时间可以通过使用 DEL 命令来删除整个 key 来移除,或者被 SET 和 GETSET 命令覆盖原来的数据,也就是说,修改key对应的value和使用另外相同的key和value来覆盖以后,当前数据的生存时间不同。

比如说,对一个 key 执行INCR命令,对一个列表进行LPUSH命令,或者对一个哈希表执行HSET命令,这类操作都不会修改 key 本身的生存时间。另一方面,如果使用RENAME对一个 key 进行改名,那么改名后的 key的生存时间和改名前一样。
RENAME命令的另一种可能是,尝试将一个带生存时间的 key 改名成另一个带生存时间的 another_key ,这时旧的 another_key (以及它的生存时间)会被删除,然后旧的 key 会改名为 another_key ,因此,新的 another_key 的生存时间也和原本的 key 一样。使用PERSIST命令可以在不删除 key 的情况下,移除 key 的生存时间,让 key 重新成为一个persistent key 。

(2)如何更新生存时间
可以对一个已经带有生存时间的 key 执行EXPIRE命令,新指定的生存时间会取代旧的生存时间。过期时间的精度已经被控制在1ms之内,主键失效的时间复杂度是O(1),EXPIRE和TTL命令搭配使用,TTL可以查看key的当前生存时间。设置成功返回 1;当 key 不存在或者不能为 key 设置生存时间时,返回 0 。

最大缓存配置
在 redis 中,允许用户设置最大使用内存大小

server.maxmemory
默认为0,没有指定最大缓存,如果有新的数据添加,超过最大内存,则会使redis崩溃,所以一定要设置。redis 内存数据集大小上升到一定大小的时候,就会实行数据淘汰策略。

redis 提供 6种数据淘汰策略:

策略描述
volatile-lru从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰
volatile-ttl从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
volatile-random从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
allkeys-lru从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰
allkeys-random从数据集(server.db[i].dict)中任意选择数据淘汰
no-enviction(驱逐)禁止驱逐数据

注意:这里的6种机制,volatile和allkeys规定了是对已设置过期时间的数据集淘汰数据还是从全部数据集淘汰数据,后面的lru、ttl以及random是三种不同的淘汰策略,再加上一种no-enviction永不回收的策略。

使用策略规则:
(1)如果数据呈现幂律分布,也就是一部分数据访问频率高,一部分数据访问频率低,则使用allkeys-lru
(2)如果数据呈现平等分布,也就是所有的数据访问频率都相同,则使用allkeys-random

三种数据淘汰策略:
ttl和random比较容易理解,实现也会比较简单。主要是Lru最近最少使用淘汰策略,设计上会对key 按失效时间排序,然后取最先失效的key进行淘汰。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未禾

您的支持是我最宝贵的财富!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值