redis大key处理

redis 中的大key 主要包括以下几个部分(超过M级别的):

  1. 单个简单的key存储的value很大
  2. hash, set,zset,list 中存储过多的元素
  3. 一个集群存储了上亿的key

定位大key

查询大key问题查看第一篇文章,有很多方法定位到大key去优化;

  1. redis-rdb-tools工具 使用redis自带的工具,导出rdb文件,文件中可以查看具体的key类型,大小等信息;
  2. redis-cli --bigkeys命令使用redis-cli -p 6379 --bigkeys 来进行对整个redis扫描,在线操作;
  3. Redis 4.0之后的大key的发现与删除方法
    • memory usage
    • lazyfree机制
  4. 具体信息请看第一篇文章

解决大key

具体怎么去优化逻辑,可以参考第二篇文章的操作,根据hash值去去key,判断落到哪一个key上,以此来达到拆分大key的方法;

如果是String 类型的,可以考虑改造成list,hash,set等类型,可以根据hash的方法拆分key值落散落到不同的key上去存;

参考

1. 如何解决Redis大key问题,看这一篇就够了!

2. Redis—大key问题讨论及解决方案

3. Redis大Key优化

题外话

[之前做的优化促销逻辑,使用了zset去实时缓存门店商品数据,然后捞取db刷新逻辑到redis缓存,这里的zset其实数据量就挺大的,可以考虑直接根据门店去hash,落到不同的zset上,这里就可以读取不同的zset达到分门店去处理逻辑]

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Redis的大key拆分是指将Redis中的大数据键分解成多个小的数据键来存储。这种做法的目的是为了在处理大数据键时降低内存占用和提高性能。 在Redis中,一个大数据键可能会占用大量的内存空间,并且影响到操作的效率。因此,拆分大key可以帮助我们充分利用Redis的内存,并且优化查询和操作的速度。 拆分大key有以下几个步骤: 1. 查找大key:首先,我们需要确定哪些键是大key。可以通过Redis命令SCAN等遍历所有的键,然后对每个键进行内存占用的估算,找到占用较多内存的大key。 2. 拆分策略:确定拆分大key的方式。根据业务需求和键的特点,可以选择按照某个字段进行拆分,或者使用哈希函数将大key散列成多个小的数据键。 3. 创建小key:根据拆分策略,生成新的小key。可以使用Redis的命令如HSET、SADD等创建新的小key,并将原始大key中的数据逐个迁移到新的小key中。 4. 修改业务逻辑:针对之前使用大key的业务逻辑,需要修改为使用新的小key。例如,如果之前是使用大key进行排序或者过滤,现在需要将对应的小key进行排序或者过滤。 5. 清理大key:在数据迁移完成后,可以删除原始的大key,释放相应的内存空间。 需要注意的是,拆分大key可能会增加代码的复杂性,需要重新设计和修改相关的业务逻辑。在切分大key时,还需要考虑到数据一致性和并发访问的问题。因此,在进行大key拆分之前,需要对业务需求和数据特点进行充分的分析和评估。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值