MongoDB查询时的卡顿与内存问题

这两天从Remote MongoDB读数据的时候遇到了一个很奇葩的问题,就是使用DBCursor读数据的时候每六千多条就卡顿很久,这个六千多是一个固定的数。然后是58w的数据每次到20w putty终端就会卡死,然后MongoDB也会退出。虽然到现在问题还没解决,但是先把资料做一下汇总,看能不能有所帮助。

阿里云服务器只有1G内存,但是数据大概也只有320M。

首先从这个链接http://huoding.com/2011/08/19/107看到一些MongoDB内存的基本介绍,可知MongoDB使用的是内存映射存储引擎,具体就是MMap,MongoDB采用操作系统底层提供的内存文件映射(MMap)的方式来实现对数据库记录文件的访问,MMAP可以把磁盘文件的全部内容直接映射到进程的内存空间,这样文件中的每条数据记录就会在内存中有对应的地址,这时对文件的读写可以直接通过操作内存来完成。同时操作的是虚拟内存,所以最好人为控制一下数据量,最好小于物理内存,否则可能会有性能问题。

MongoDB的工作基本上都是在内存完成的,这也是它高性能的原因之一,特别是插入的时候,在java中实例化Mongo客户端插入重复 _id 数据会迅速的被重写就是因为操作是在内存中完成,MongoClient则修改了这一机制,插入重复_id会抛出异常。我在查询的时候使用了skip,但据说skip也是要一条一条数过去。
自带的mongostat工具可以监控内存占用情况,下面是截取的一部分
查询数据监控
visz

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值