前段时间在工作业务中碰到一个技术问题, 在发现问题,思考问题,解决问题的过程中,突然对底层原理有了一些思考,这里分享一下给大家。
背景
在业务中使用到了 Redis 数据库来存储数据,但是在存储大数据量的 string 的时候,监控却发现内存增长异常。
string 类型,作为 Redis 中唯一的“键-单值”类型,操作简单,易于理解,按道理只是存一下字符型的数据,怎么会这么消耗内存,这是怎么回事呢?
怀着刨根问底的精神,我自己在我的 Mac 机器上动手实战了一番,写了一段 Python 代码,准备数据长度 7 位数,共 100 万条数据,开始跑数据。
结果发现,使用 string 占用 70 MB,使用 hash ziplist 只占用 9 MB!效果非常明显。
测试结果:
begin write 100w
before: used_memory_human:1.87M
before: used_memory_human:70.90M
end write 100w, using: 72380608
这数据效果,没有对比就没有差距。
百思不得其解之际,上网搜了搜别人的回答,看了一些但感觉一直没有说到点子上,直到今天在零声教育的专栏上,学习了 Redis 的 string 底层源码。