Redis面试-内存优化

最新推荐文章于 2023-08-07 13:10:42 发布

shirepo

最新推荐文章于 2023-08-07 13:10:42 发布

阅读量138

点赞数

分类专栏： Redis 文章标签： redis 面试 java

原文链接：https://redis.io/docs/management/optimization/memory-optimization/

版权

Redis 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

内存优化

简单介绍使用Redis时可用的内存优化策略

小集合数据类型的特殊编码格式

从2.2版本开始，许多数据类型经过内存优化。像hash，list和仅由整数和有序集合组成的set，当小于给定的元素数量，到达到最大元素大小时，会以非常节省内存的方式进行编码，使得占用的内存最多减少10倍（平均节省5倍），这一过程对用户完全透明。可以调整redis.conf里的如下配置，来调整特殊编码类型的最大元素数量和最大元素大小，也就是说在配置的范围内，该元素集合会采用非常节省的内存方式进行编码：

Redis <= 6.2时
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
zset-max-ziplist-entries 128 
zset-max-ziplist-value 64
set-max-intset-entries 512
    
Redis >= 7.0
hash-max-listpack-entries 512
hash-max-listpack-value 64
zset-max-listpack-entries 128
zset-max-listpack-value 64
set-max-intset-entries 512
    
Redis >= 7.2 （在7.0基础上扩展的）
set-max-listpack-entries 128
set-max-listpack-value 64

如果某个特殊编码值超过配置的最大值，Redis会自动将其转换成正常编码，这个转换过程对于简单值很快，但如果是较大的聚合类型，建议运行基准测试来检查转换时间是否符合需求。

使用32位Redis实例

当Redis被编译为32位实例时，指针变小（通常的64位实例，指针对象都是8byte，32位实例，指针对象变小为4byte），它的每个键使用的内存更少，缺点是最大内存使用量将被限制在4GB，RDB和AOF在32位和64位实例之间相关兼容，所以从32位切换到64位或者反过来都没有问题

Bit和Byte级别的操作

Redis2.2引入 GETRANGE, SETRANGE, GETBIT和 SETBIT这些bit和byte级别的操作，能够让我们将Redis的string类型视为随机访问数组的效果（数组的随机访问时间复杂度O(1)）。这在某些特定场景下有非常不错的表现，比如某个用户订阅功能里，用户由唯一的渐进整数标识，那么可以用bitmap保存订阅了的用户列表（或者未订阅的），对于有1亿用户来说，只需12MB的内存即可保存，这里设置记录使用到bit操作。

1MB=1024KB=1024000Byte=8192000

12MB等于98304000，约等于1亿

尽可能使用hash

首先，多个key使用的内存空间比单个key多个字段的hash要占用更多的内存；其次，在前面介绍过，在hash比较小时，会采用特殊编码缩小占用的内存，这种编码结构像length-prefixed key-value pairs的线性数组，它的时间复杂度O(N)，但在小集合时，它仍能将HGET和HSET命令的时间复杂度维持在O(1)，从时间复杂度看效果不错，另外线性数组的结构是有利于CPU缓存。所以如果缓存对象或者存在关联字段的问题模型，使用hash是非常合适的。

另外，对于简单K-V，比如小的html片段，string-boolean或者string-string等，可以通过拆分重新分配处理来使用hash结构，例如：

HSET KEY FIELD VALUE
原始：object:1234
hash：HSET object:12 34 somevalue
原始：object:2
hash：HSET obejct 2 somevalue

一个现实使用hash节省内存的例子万金油的String，为什么不好用了。需要注意的是，每当hash超过配置指定的元素数或者元素大小，它将转换为真的hashtable结构，并失去节省的内存。

hash里的字段不能独立设置过期时间，所以如果有这方面的要求，可能需要调整。

内存分配

Redis最多能分配的内存大小为maxmemory配置的值，当达到这个值后，写命令会失败，读命令正常，如果没有设置maxmemory，Redis会尝试继续按其认为合理的方式分配内存（使用虚拟内存），性能会急剧下降，因此建议配置一些相关限制。关于Redis的内存分配，需要注意的几点：

删除的Key所占用的内存，并不总是立刻向OS释放内存，这是由于内存分配器没法释放内存，比如删除的Key与其他没有删除的Key在同一个page cache上，这时RSS（Resident Set Size）表现为维持现有值，但Redis里记录使用内存是降低的
内存分配器会尝试重用先前释放的内存，RSS表现为平稳且没有增长
Redis所需要的内存需要根据峰值决定，而非平均值
当峰值远大于当前使用的内存值时，碎片率的值变得不可靠（碎片率=RSS/mem_used，mem_used表示Redis分配的总和）