Redis (四 redis的虚拟内存管理)

redis的数据保存在内存中,会出现内存不足的情况,redis2.0以后,新增了虚拟内存的功能,redis的VM与操作系统的VM类似,它把访问很少的key放到内存里,却把value放到磁盘上,从而实现快速把val导入内存。

操作系统自己有虚拟内存的概念,redis为什么要自己造轮子 ?

1  操作系统的VM是基于页的概念,比如Linux中每页的大小是4k,而redis中的对象大多小于4K,一个页上可能有多个redi对象,另外redis的集合可能对象类型,如set,list可能存在于多个页上,redis自己实现可以达到更好的换入粒度

2  redis将交换到磁盘的对象压缩,保存到磁盘的对象可以去除指针和对象元数据信息,一般压缩后的对象比在内存中的对象小10倍,这样redis的VM比操作系统的VM少很多IO操作


## VM的配置文件

vm-enabled yes   ##开启vm

vm-swap-file  /tmp/redis.swap  ##交换出来的value保存的文件路径(swap过大会造成磁盘空间浪费,过小会造成过多的磁盘碎片)

vm-max-memory  268435456   ##redis使用的最大内存上限,超过这个值后开始交换value到硬盘中

vm-page-size  32  ##设置每个页面的大小为32字节

vm-pages   134217728  ##最多使用多少个页面 vm-swap-file = vm-page-size*vm-pages

vm-max-threads  4  ##对象换入换出的工作线程的数量0表示不使用工作线程,使用主线程(会阻塞其它用户)

redis的VM只是把value放到磁盘,所以,并不能解决key过多造成的内存不足

和操作系统一样,redis也是按照页来交换对象,一个页只能保存一个对象,但是一个对象可以分布于多个页

redis在内存中维护一个bitmap来映射这些页是否被占用

redis默认fork出一个子进程来备份rdb文件,子进程在执行保存时与父进程共享swap文件,为避免父子进程同时操作,redis在子进程备份时,不允许父进程操作swap文件

redis允许debug操作,eg: set key val 

>debug key


### 阻塞式VM交换redisObject到磁盘的步骤,采用vmSwapObjectBlocking进行

(1)找到准备交换到磁盘的RedisObject对象

(2)调用vmSwapObjectBlocking将对象所关联的value值交换至硬盘,它返回一个包含value存储信息的vmPointer指针

(3)使用vmSwapObjectBlocking返回的vmPointer指针把RedisObject替换,把storage字段设为REDIS_VM_SWAPPED

(4)释放对象所关联的value所占用的内存空间


###非阻塞式VM采用vmSwapOneObjectThreaded进行,利用io线程实现

IO线程的处理如下

(1)从io_newjobs队列取出一个IO任务

(2)处理IO任务

(3)把处理完成的IO任务放到io_processd任务队列

主线程收到io线程的信号就调用vmThreadedIOComletedJob对io_processd队列中的任务进一步处理

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值