java-redis

java-redis

image.png

基础知识

redis常用数据类型

String–最基本的类型,是二进制安全的,可以包含任何数据,比如jpg图片或者序列化对象,一个value最多可以是512M–用户登录时后端保存短信验证码,计数器
hash–一个键后面可以有多个值–用于存储用户信息,商品信息
list–列表类型,有序,可重复–网页中的轮播图,网页中特价商品
set–集合类型,无序,不可重复–身份证信息,手机号码作为黑白名单,共同好友查询
Zset–有序集合,每个元素有一个分数来决定他的顺序–视频网站的点击量排名,收藏量排名等

redis常用的命令

image.png

如何操作redis

  • 引入SpringDataRedis
  • 注入RedisTemplate对象
  • Jedis

Redis支持事务吗?

支持事务,事务的原理是当开启一个事务后,会将命令存储到一个事务队列里,当命令EXEC触发事务后这些命令会被一次性的,按顺序的,排他性的执行,缺点是redis的事务比较弱,无法保证一致性,一个事务中其中一条命令执行失败,后面的命令仍然会被执行,没有回滚

Redis是单线程的,但是为什么还那么快?

  1. Redis是纯内存操作,执行速度非常快
  2. 采用单线程,避免不必要的上下文切换可竞争条件,多线程还要考虑线程安全问题
  3. 使用I/O多路复用模型,非阻塞IO
    用户空间和内核空间Linux系统中一个进程使用的内存情况划分为两部分–内核空间,用户空间
  • 用户空间–只能执行受限的命令(Ring3),而且不能直接调用系统资源必须通过内核提供的接口来访问
  • 内核空间可以执行特权命令(Ring0),调用一切系统资源

Linux系统为了提高IO效率,会在用户空间和内核空间都加入缓冲区

  • 写数据时,要把用户缓冲数据拷贝到内核缓冲区,然后写入设备
  • 读数据时,要从设备读取数据到内核缓冲区,然后拷贝到用户缓冲区
    阻塞IOimage.png
    阻塞IO就是两个阶段都必须阻塞等待(用户进程在两个阶段都是阻塞状态)
    阶段一:
  1. 用户进程尝试读取数据(比如网卡数据)
  2. 此时数据尚未到达,内核需要等待数据
  3. 此时用户进程也处于阻塞状态

阶段二:

  1. 数据到达并拷贝到内核缓冲区,代表已就绪

  2. 将内核数据拷贝到用户缓冲区

  3. 拷贝过程中,用户进程依然阻塞等待

  4. 拷贝完成,用户进程解除阻塞,处理数据
    非阻塞IOimage.png
    非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程
    阶段一:

  5. 用户进程尝试读取数据–比如网卡数据

  6. 此时数据尚未到达,内核需要等待数据

  7. 返回异常给用户进程

  8. 用户进程拿到error后,再次尝试读取

  9. 循环往复,直到数据就绪

阶段二:

  1. 将内核数据拷贝到用户缓冲区

  2. 拷贝过程中,用户进程依然阻塞等待

  3. 拷贝完成,用户进程解除阻塞,处理数据
    IO多路复用是利用单个线程来同时监听多个Socket,并在某个Socket可读,可写时得到通知,从而避免无效等待,充分利用CPU资源
    阶段一:

  4. 用户进程调用select,指定监听的Socket集合

  5. 内核监听对应的多个socket

  6. 任意一个或多个socket数据就绪返回readable

  7. 此过程中用户进程阻塞

阶段二:

  1. 用户进程找到就绪的Socket
  2. 依次调用recvfrom读取数据
  3. 内核将数据拷贝到用户空间
  4. 用户进程处理数据

image.png
监听Socket的方式:

  1. select
  2. poll
  3. epoll

差异:

  • select和poll只会通知用户进程有Socket就绪,但不确定具体是哪个Socket,需要用户进程逐个遍历Socket来确认
  • epoll则会通知用户进程Socket就绪的同时,把就绪的Socket写入用户空间
    Redis网络模型Redis通过IO多路复用来提高网络性能,并且支持各种不同的多路复用实现,并且将这些实现进行封装,提高了统一的高性能事件库
    image.png

能解释一下I/O多路复用模型?

I/O多路复用是指利用单个线程来同时监听多个Socket,并在某个Socket可读,可写时得到通知,从而避免无效的等待,充分利用CPU资源.目前的I/O多路复用都是采用的epoll模式实现,它会通知用户进程Socket就绪的同时,把已就绪的Socket写入用户空间,不需要挨个遍历Socket来判断是否就绪,提升了性能,
其中Redis的网络模型就是使用I/O多路复用结合事件的处理器来应对多个Socket请求,比如,提供了连接应答处理器,命令回复处理器,
在Redis6.0之后,为了提升更好的性能,在命令回复处理器使用了多线程来处理回复事件,在命令请求处理器中,将命令的转换使用了多线程,增加命令转换速度,在命令执行的时候,依然是单线程

使用场景

我看你做的项目中,都用到了redis,你在最近的项目中哪些场景使用了redis呢?

image.png

  • 热点数据缓存–频道数据/敏感词数据/热点文章数据
  • 分布式锁–使用redission框架基于redis实现
  • 计数–统计指定用户验证码输错次数
  • 去重校验–批量导入时数据判断重复bitMap结构
  • 关注取消关注–基于Zset存储社交关系
  • 粉丝管理–基于Zset查询各种粉丝数据

缓存

image.png

缓存穿透,缓存击穿,缓存雪崩

什么是缓存穿透,怎么解决?

缓存穿透是指查询一个一定不存在的数据,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库查询,可能导致数据库挂掉.一般这种情况大概率是遭受了攻击
解决办法:
方案一–缓存空数据–查询返回的数据为空,仍把这个结果进行缓存
优点-简单
缺点–消耗内存,可能会发生不一致的问题
方案二–布隆过滤器
优点–内存占用较少,没有多余的key
缺点–实现复杂,存在误判
image.png

介绍一下布隆过滤器?

布隆过滤器用于检索一个元素是否在一个集合中,
使用redission实现
底层主要是初始化一个比较大数组,就是bitmap(位图),里面存放的是二进制0或1.初始值都为0,当一个key来了之后经过3次hash计算,模于数组长度找到数据的下标然后把原来数组里的0改为1,这样的话,三个位置就能标明一个key的存在,查找过程也是一样的
缺点:布隆过滤器有可能产生一定的误判,我们一般可以设置误判率,一般不超过5%,其实误判是必然存在的,要不就要增加数组长度,会增加内存的消耗,一般的项目只要设置5%的误判率就够了,不至于高并发下压倒数据库
bitmap(位图)–相当于一个以(bit)位为单位的数组,数组中每个单元只能存储二进制数0或1
image.png

什么是缓存击穿,怎么解决?–一个key

image.png
缓存击穿是给某一个key设置了过期时间,当key过期的时候,恰好这个时间对这个key有大量的并发请求过来,这些请求发现缓存过期一般会从后端数据库加载数据并设到缓存,这个时候大并发请求可能瞬间把数据库击垮
解决方案一–互斥锁–强一致性,性能差,锁需要等,也可能产生死锁
当缓存失效时,不立即去加载数据库,先使用redis的setnx去设置一个互斥锁,当操作成功返回时再进行加载数据库操作并写回缓存,否则重试get缓存的方法
解决方案二–逻辑过期–高可用,性能优,不能保证数据绝对一致

  • 在设置key的时候,设置一个过期时间字段一块存入缓存中,不给当前key设置过期时间
  • 当查询的时候,从redis取出数据后判断时间是否过期
  • 如果过期则开通另外一个线程进行数据同步,当前线程正常返回数据,这个数据是过期数据

image.png
image.png

什么是缓存雪崩,怎么解决?–很多key

缓存雪崩是指在同一时间段大量的缓存key同时失效或者redis服务宕机,导致大量请求到达数据库,带来巨大的压力造成雪崩
解决方案一–给不同的Key的TTL添加随机值
解决方案二–利用redis集群提高服务的可用性–哨兵模式,集群模式
解决方案三–给缓存业务添加降级限流策略–ngxin/spring cloud gateway
解决方案四–给业务添加多级缓存–Guava/Caffeine

双写一致性

redis作为缓存,mysql的数据如何与redis进行同步呢?(双写一致性)

双写一致性–当修改了数据库的数据也要同时更新缓存的数据,缓存和数据库的数据要保持一致

从业务出发,有两个方向

  1. 允许延时一致的业务
  2. 要求强一致性
  1. 我们之前做的**项目,当时是把热点数据存到缓存中,虽然是热点数据,但是实时性要求性没那么高,所以我们采用的是异步通知同步的数据,具体的实现方式有两种,MQ和canal,第一种是采用MQ中间件,更新数据之后,通知缓存删除,我们当时采用的是第二种,是利用阿里的canal组件实现数据同步,不需要修改业务代码,部署一个canal服务,它可以把自己伪装成mysql的一个节点,当mysql数据更新以后,canal会读取binlog数据,然后通过canal的客户端获取到数据,更新缓存

image.png
image.png

  1. 我们之前做的**项目,里面有个抢券的库存存入到缓存中,这个需要数据库与redis高度保持一致,因为要求时效性比较高,我们采用读写锁保持强一致性.具体的实现方式是采用redission实现的读写锁,在读的时候添加共享锁,可以保证其他线程可以进行读操作无法进行写操作,在更新数据的时候添加排他锁,加锁之后,阻塞其他线程的读写操作,这样就能保证在写数据的同时是不会让其他线程读数据的,避免了脏数据,但是需要保证读方法和写方法使用的是同一把锁

排他锁是如何保证读写,读读互斥呢?

排他锁底层是setnx,保证了同时只能有一个线程操作锁

你听说过延时双删嘛?为什么不用它呢?

延时双删,如果是写操作,我们先把缓存中的数据删除,然后更新数据库,最后延时删除缓存中的数据,其中这个延时多久不太确定,在延时的过程中可能会出现脏数据,并不能保证数据一致性,所以没采用

持久化–RDB/AOF

redis作为缓存,数据的持久化是怎么做的?

在redis中提供了两种持久化的方式–RDB和AOF
RDB也叫做Redis数据快照,就是把内存中的所有数据都记录在磁盘中,当redis实例宕机恢复数据的时候,方便从RDB的快照文件中恢复数据
AOF的含义是追加文件,可以看作是命令日志文件,当redis操作写命令的时候都会存储到AOF文件中,当redis实例宕机恢复数据的时候会从这个文件中再次执行一遍命令来恢复文件,默认是关闭的,需要手动开启
image.png

RDB和AOF两种方式,哪种恢复比较快呢?

RDB是二进制文件,在保存的时候体积较小,恢复比较快,但是有可能丢失数据
AOF恢复的速度慢一点,但是它丢失数据的风险要小得多,在AOF文件中可以设置刷盘策略,我们当时设置的就是每秒写入一次命令
补充知识–如何触发RDB快照

  • 手动触发save/bgsave
    • save–save时只管保存,其他不管,全部阻塞
    • besave–Redis会在后台异步进行快照操作,快照同时还可以响应客户端要求

image.png

  • 配置文件中配置–内部触发RDB的机制,在redis.conf文件中

image.png
补充知识–RDB的执行原理bgsave开始时会fork主进程得到子进程,子进程共享主进程的内存数据。完成fork后读取内存数据并写入 RDB 文件。
fork采用的是copy-on-write技术:
当主进程执行读操作时,访问共享内存
当主进程执行写操作时,则会拷贝一份数据,执行写操作
image.png
补充知识–AOFAOF默认是关闭的,需要修改redis.conf配置文件来开启AOF:
image.png
AOF的命令记录的频率也可以通过redis.conf文件来配:
image.png
image.png
因为是记录命令,AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作,但只有最后一次写操作才有意义。通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同效果
Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置:
image.png

RDB和AOF如何选择?

  1. 如果想要redis只需要做缓存不需要持久化,可以把RDB和AOF一起关掉
  2. 如果需要一点持久化的功能,但是要求不高,且对性能要求更高,就使用RDB
  3. 如果对安全性要求更高,就选择AOF,为了保证性能,我们使用每秒同步一次的策略
  4. 也可以同时开启两种持久化方式,平时在持久化数据恢复的时候使用AOF,在主从复制时或者迁移数据库到另一台服务器上直接把RDB文件拷贝过去,然后启动redis会自动加载RDB文件

数据过期删除策略

假如redis的key过期之后,会立即删除吗?(数据过期策略)

不会的,对于过期的Key,redis设置了两种数据过期策略对其进行清理,这两种策略分别是惰性删除以及定期删除
第一种种惰性删除是在设置key过期后不去管它,当需要该key的时候我们再检查其是否过期,如果过期就直接删除,这样会造成内存中会存储很多过期的Key,占用内存,
这时候就有第二种策略,是定期删除,是对定时删除和惰性删除做了平衡,就是每隔一段时间我们对一些key进行检查,删除其中过期的key,redis默认每秒运行10次对具有过期时间的key进行一次扫描,但是不会扫描全部的Key,因为这样会大大延长扫描时间,每次默认知只会扫描20个key,同时删除这20个key中已经过期的key,如果这20个key中过期key的比例超过25%,则继续扫描
定期删除也分为两种模式–SLOW和FAST
SLOW模式是定时任务,执行频率默认为10hz每次不超过25ms,可以通过修改配置文件来调整次数
FAST模式执行频率不固定,每次是事件循环尝试执行,但是两次间隔不低于2ms,每次耗时不超过1ms

数据淘汰策略

假如缓存过多,内存是有限的,内存被占满了怎么办?(内存淘汰策略)
在redis中提供了很多种数据淘汰策略

  1. 默认的是noeviction,不淘汰任何key,但是内存满时不允许写入新数据,直接报错
  2. volatile-ttl: 对设置了TTL的key,比较key的剩余TTL值,TTL越小越先被淘汰
  3. allkeys-random:对全体key ,随机进行淘汰
  4. volatile-random:对设置了TTL的key ,随机进行淘汰
  5. allkeys-lru: 对全体key,基于LRU算法进行淘汰
  6. volatile-lru: 对设置了TTL的key,基于LRU算法进行淘汰
  7. allkeys-lfu: 对全体key,基于LFU算法进行淘汰
  8. volatile-lfu: 对设置了TTL的key,基于LFU算法进行淘汰

两个重要的概念:
LRU(Least Recently Used)最近最少使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高
LFU(Least Frequently Used)最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高
使用建议:

  1. 优先使用 allkeys-lru 策略。充分利用 LRU 算法的优势,把最近最常访问的数据留在缓存中。如果业务有明显的冷热数据区分,建议使用。
  2. 如果业务中数据访问频率差别不大,没有明显冷热数据区分,建议使用 allkeys-random,随机选择淘汰。
  3. 如果业务中有置顶的需求,可以使用 volatile-lru 策略,同时置顶数据不设置过期时间,这些数据就一直不被删除,会淘汰其他设置过期时间的数据。
  4. 如果业务中有短时高频访问的数据,可以使用 allkeys-lfu 或 volatile-lfu 策略。

数据库有1000万数据,Redis只能缓存20w数据,如何保证Redis中的数据都是热点数据?

使用allkeys-lru(挑选最近最少使用的数据淘汰),留下来的都是经常访问的热点数据

Redis的内存用完了会发生什么?

主要看数据淘汰策略是什么,如果时默认的配置-noeviction,会直接报错,我们当时使用的时allkeys-lru,会把最近最常访问的数据留在缓存中

分布式锁

redis分布式锁,是如何实现的?

先按照自己简历上的业务进行描述分布式锁使用的场景
我们的项目中有个抢券的业务用到了分布式锁,我们当时使用的Redisson实现的分布式锁,底层是setnx和lua脚本,setnx命令是SET if not exists,由于redis是单线程的,用了这个命令之后,只能由一个客户端对某一个key设置值,在没有过期或删除key的时候其他客户端是不能设置这个key的,lua脚本是为了保证原子性的

Redisson实现分布式锁如何合理的控制锁的有效时长?

redis的setnx执行是不好控制有效时长的,我们当时采用的是redis框架redisson实现的,在redisson中需要手动加锁,并且可以控制锁的失效时间和等待时间,当锁住的一个业务还没有执行完成的时候,redisson的分布式锁中提供了一个WatchDog(看门狗),就是每隔一段时间就检查当前业务是否持有锁,如果持有就会给持有锁的线程续期(默认是每隔10秒续期一次),当业务完成之后需要使用释放锁就可以了,redisson还有一个好处,就是在高并发下,一个业务有可能会执行很快,先客户A持有锁的时候,客户B来了以后并不会马上拒绝,它会自选不断尝试获取锁,如果客户A释放之后,客户B就可以马上持有锁,性能也得到了提升

Redisson的这个锁,可以重入嘛?

可以重入,重入是为了防止死锁的发生,多个锁重入需要判断是否是当前线程,如果是就会计数,如果释放锁就会在计算上-1,在存储数据的时候采用的hash结构,大key可以按照自己的业务进行定制,其中小key是当前线程的唯一标识,value是当前线程重入的次数

Redsson锁能解决主从数据一致的问题吗?

不能,比如,当线程1加锁成功后,master节点数据会异步复制到slave节点,此时当前持有Redis锁的master节点宕机,slave节点被提升为新的master节点,假如现在来了一个线程2,再次加锁,会在新的master节点上加锁成功,这个时候就会出现两个节点同时持有一把锁的问题。
我们可以利用redisson提供的红锁来解决这个问题,它的主要作用是,不能只在一个redis实例上创建锁,应该是在多个redis实例上创建锁,并且要求在大多数redis节点上都成功创建锁,红锁中要求是redis的节点数量要过半。这样就能避免线程1加锁成功后master节点宕机导致线程2成功加锁到新的master节点上的问题了。
但是,如果使用了红锁,因为需要同时在多个节点上都添加锁,性能就变的很低了,并且运维维护成本也非常高,所以,我们一般在项目中也不会直接使用红锁,并且官方也暂时废弃了这个红锁,
如果业务中非要保证数据的强一致性,建议采用zookeeper实现的分布式锁

Redis高可用

Redis集群有哪些方案,知道嘛

redis提供的集群方案总共有三种–主从复制,哨兵模式,Redis分片集群
数据量比较小的时候使用主从复制,其实哨兵模式是搭配主从复制使用的,因为主节点没有了以后,主从复制是无法启动从节点完成任务的,必须通过哨兵模式指定一个从节点为主节点继续工作
数据量比较大的时候使用redis分片集群

介绍一下主从复制

单节点redis的并发能力是有上限的,为了进一步提高数据的可靠性和服务的高可用,就需要搭建主从集群,实现读写分离.一般是一主多从,主节点负责写数据,从节点负责读数据,主节点写入数据之后,需要把数据同步到从节点中
主从复制的作用

  • 读写分离–主写从读,提高服务器的读写负载能力
  • 负载均衡–基于主从结构,配合读写分离,由slave分担master负载,并根据需求的变化,改变slave的数量,通过多个从节点分担数据读写负载,大大提高Redis服务器并发量与数据吞吐量
  • 故障恢复–当master出现问题时,由slave提供服务,实现快速的故障恢复
  • 数据冗余–实现数据热备份,是持久化之外的一种数据冗余方式
  • 高可用基石–基于主从复制,构建哨兵模式与集群,实现Redis的高可用方案

redis主从数据同步的流程是什么?

主从同步分为两个阶段,一个是全量同步,一个是增量同步
全量同步是指从节点第一次建立连接的时候使用全量同步,流程大概分为三步:

  1. 第一步,从节点请求主节点同步数据,其中从节点会携带自己的replication id和offset偏移量
  2. 第二步主节点判断是否是第一次请求,判断的依据是主节点和从节点是否是同一个replication id,如果不是,就说明是第一次同步,主节点就会把自己的数据版本信息replication id和offset发送给从节点,让从节点和主节点的数据保持一致
  3. 第三步主节点执行bgsave,生成rdb文件后,发送给从节点去执行,从节点先把自己的数据清空,然后执行主节点发送过来的rdb文件,然后保持一致

需要注意的是,如果在rdb执行期间,依然请求到了主节点,而主节点会以命令的方式记录到缓冲区,缓冲区是一个日志文件,最后把这个日志文件发送给从节点,这样就能保证主节点和从节点完全一致了,后期同步数据的时候,都是依赖这个日志文件,以上就是全量同步
另外增量同步指的是当从节点服务重启之后,数据就不一致了,就需要进行增量同步,大概分为两步,

  1. 第一步从节点请求主节点同步数据,主节点判断不是第一次请求,就会获取从节点的offset值,
  2. 第二步主节点从命令日志中获取offset值之后的数据,发送给从节点进行数据同步

image.png
image.png

怎么保证redis的高并发高可用?

image.png
一主二从三哨兵
首先可以搭建主从集群,再加上使用redis中的哨兵模式,哨兵模式可以实现主从集群的自动故障恢复,里面就包含了对主从服务的监控、自动故障恢复、通知;
服务状态监控是指哨兵会不断检查主节点和从节点是否按预期工作,Sentinel基于心跳机制监测服务状态,每隔1秒向集群的每个实例发送ping命令:

  • 主观下线:如果某sentinel节点发现某实例未在规定时间响应,则认为该实例主观下线
  • 客观下线:若超过指定数量(quorum)的sentinel都认为该实例主观下线,则该实例客观下线.quorum值最好超过Sentinel实例数量的一半

自动故障恢复是指如果master故障,Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主;哨兵选主规则:

  • 首先判断主与从节点断开时间长短,如超过指定值就排该从节点
  • 然后判断从节点的slave-priority值,越小优先级越高
  • 如果slave-prority一样,则判断slave节点的offset值,越大优先级越高
  • 最后是判断slave节点的运行id大小,越小优先级越高

通知是指Sentinel也充当Redis客户端的服务发现来源,当集群发生故障转移时,会将最新信息推送给Redis的客户端,所以一般项目都会采用哨兵的模式来保证redis的高并发高可用

你们使用redis是单点还是集群,哪种集群?

我们当时使用的是主从(1主2从)加哨兵。一般单节点不超过10G内存,如果Redis内存不足则可以给不同服务分配独立的Redis主从节点。尽量不做分片集群。因为集群维护起来比较麻烦,并且集群之间的心跳检测和数据通信会消耗大量的网络带宽,也没有办法使用lua脚本和事务

Redis集群脑裂,该怎么解决呢?

这个在项目很少见,不过脑裂的问题是这样的,我们现在用的是redis的哨兵模式集群的
有的时候由于网络等原因可能会出现脑裂的情况,就是说,由于redis master节点和redis salve节点和sentinel处于不同的网络分区,使得sentinel没有能够心跳感知到master,所以通过选举的方式提升了一个salve为master,这样就存在了两个master,就像大脑分裂了一样,这样会导致客户端还在old master那里写入数据,新节点无法同步数据,当网络恢复后,sentinel会将old master降为salve,这时再从新master同步数据,这会导致old master中的大量数据丢失。
关于解决的话,我记得在redis的配置中可以设置:第一可以设置最少的salve节点个数,比如设置至少要有一个从节点才能同步数据,第二个可以设置主从数据复制和同步的延迟时间,达不到要求就拒绝请求,就可以避免大量的数据丢失

redis的分片集群有什么作用?

主要解决的是海量数据存储的问题,分为4点

  • 集群中有多个主节点,每个主节点保存不同的数据,
  • 每个主节点都可以有多个子节点,就可以增大集群的高并发能力
  • 主节点之间通过路由监控彼此健康状态,类似于哨兵模式
  • 当客户端请求可以访问集群任意节点,最终都会被转发到正确节点
    分片集群的原理是什么?Redis分片集群架构的原理是将一个大的Redis数据库拆分成多个小的Redis数据库,每个小的Redis数据库叫做分片(shard),每个分片存储一部分数据。这种方式可以提高整个系统的可扩展性和容量。Redis分片集群使用哈希槽(hash slot)来将数据分配到不同的分片中。哈希槽是一个固定数量的数字范围,通常是0-16383。当客户端发送一个写请求时,Redis会根据键值计算出相应的哈希槽,并将该请求发送到负责管理该哈希槽的分片节点上进行处理。在一个Redis分片集群中,每个节点都可以有多个分片,每个分片都是独立的Redis实例。所有分片共享一个哈希槽空间,每个分片负责管理其中一部分哈希槽。为了确保每个哈希槽只由一个分片管理,Redis采用了一种叫做哈希槽映射(hash slot mapping)的算法,它可以将每个哈希槽映射到唯一的一个分片。哈希槽映射算法的具体实现可以简单地使用crc16算法计算键值的哈希值,然后将哈希值对16384取模得到对应的哈希槽。这种方式可以确保键值在哈希槽空间中的均匀分布,并且每个哈希槽只被一个分片管理。在Redis分片集群中,常见的部署方式是使用一组主节点和一组从节点。每个主节点都负责管理若干个分片,每个从节点都复制其对应主节点上的数据。当主节点发生故障时,从节点会自动接替其工作,确保整个系统的高可用性。
    总的来说,Redis分片集群架构的原理就是将一个大的Redis数据库拆分成多个小的Redis数据库,通过哈希槽映射算法将数据分配到不同的分片中,以提高整个系统的可扩展性和容量。最大支持16384个哈希槽。

Redis分片集群中数据是怎么存储和读取的?

Redis分片集群引入哈希槽的概念,redis集群有16384个哈希槽,集群每个主节点绑定一定范围的哈希槽范围,在读写数据的时候,数据都是key-value形式的,会对key进行算法的计算(CRC16),得到一个哈希值,得到的值对16384取模来决定放在哪个槽,通过槽找到对应的节点进行存储

  • 29
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值