举个例子:现在要存储500w个key/value对,(dba1,dba1)(dba2,dba2)…
500w个key:
使用字符串类型(500W个key):431.73M
使用hash(5000个hash,每个长度1000):436.23M
使用hash(10000个hash,每个长度500):95.16M
为什么同样要存500w个内容,内存使用却大不相同?
首先,hash存储使用的redis底层数据结构为ziplist或者hashMap
ziplist是内存连续分配的,没有碎片,消耗内存较小,但是查找效率较低,所以适合数据量不大的时候使用
HashMap则消耗的内存比较大,但是查找效率高,适合数据量比较大的时候使用
如何控制Hash在存储过程中是如何选择使用哪种结构?
zset-max-ziplist-entries 512 #配置元素个数最多512个
zset-max-ziplist-value 64 #配置value最大为64字节
list-max-ziplist-entries 512 #配置元素个数最多512个
list-max-ziplist-value 64 #配置value最大为64字节
hash-max-zipmap-entries 512 #配置字段最多512个
hash-max-zipmap-value 64 #配置value最大为64字节
所以,建议使用hash的时候,field不要超过512(默认),这样比较节省内存空间,同样在并不大的数量级下查找效率虽然低,但也高于在上万的hash里使用hashMap查找内容