mongodb 数据文件太大

转载 2013年12月02日 13:15:14

问题: 开发服务器mongodb数据文件太大。占用近80G,其中某个db占用最大(运营环境这个db的数据只有3G大小)

分析: 开发环境有大量测试的 增加/删除/修改 操作, 长期以来会导致数据文件非常大,但 实际存储数据并不是很多.

129M db_name.1
2.1G db_name.10
2.1G db_name.11
2.1G db_name.12
2.1G db_name.13
2.1G db_name.14
2.1G db_name.15
2.1G db_name.16
2.1G db_name.17
2.1G db_name.18
2.1G db_name.19
257M db_name.2
2.1G db_name.20
2.1G db_name.21
2.1G db_name.22
2.1G db_name.23
2.1G db_name.24
2.1G db_name.25
2.1G db_name.26
2.1G db_name.27
2.1G db_name.28
2.1G db_name.29
513M db_name.3
2.1G db_name.30
2.1G db_name.31

操作:

a) 删除许多开发测试数据后(db.collection.remove()),数据文件显然是不会变小的.
b) /usr/local/mongodb-new/bin/mongodump --db Mydb --host 127.0.0.1 --port=27017 -uadmin -p123
c) 关闭mongodb
d) cd /data/mongodb/ ; rm db_name.*
e) 启动mongodb;启动后登陆mongo 确认原来的mongo库已被删除(正常情况下show dbs已经看不到原来的数据库) ; use db_name;db.addUser('admin','123');
f) /usr/local/mongodb-new/bin/mongorestore --db Mydb --host=127.0.0.1 --port=27017 -uadmin -p123 dump/Mydb/

结果:

瘦身后mongodb数据文件如下:

65M db_name.0
129M db_name.1
257M db_name.2
513M db_name.3

> show dbs;
db_name 1.953125GB

mongodb数据文件格式(一)

有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。 每一个数据库都有自己独立的文件。如果你开启了direct...

GridFS是一种将大型文件存储在MongoDB的文件

GridFS是一种将大型文件存储在MongoDB的文件规范: 数据库支持以BSON格式保存二进制对象。 但是MongoDB中BSON对象最大不能超过4MB。 GridFS 规范提供...

mongodb 中的"坑"系列 --- 单个文档16M大小限制

仔细想想, 我们早已经进入了海量数据的时代, 数据量早已经不是M来形容
  • ray_up
  • ray_up
  • 2014年09月22日 10:48
  • 8296

MongoDB大文件存储流程

1、启动mongodb服务,查看使用mongofiles查看文件列表;之后分别存储mongod.pdb,spring-tool-suitXX,两个文件,文件大小分别为100M+,400M+; ...

mongodb性能优化

1,修改mongodb最大连接数 a,ulimit -n 20000 b,./mongod --dbpath=/var/lib/mongo --fork --logpath=/var/log/mo...
  • joeyon
  • joeyon
  • 2015年06月24日 17:21
  • 1924

MongoDB导入大的json数据文件,导入不完全,每次只能导入1000条,且只能导入1000条解决方法

昨天,做了一个东西,就是把生产上的mongodb数据使用mongoexport导出了一个.json文件用于本地做分析使用,里面有将近60MB的数据,导出没问题,但是当使用./mongoimport -...

MongoDB数据文件内部结构

有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。 每一个数据库都有自己独立的文件。如果你开启了dir...

MongoDB数据文件内部结构

有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。 每一个数据库都有自己独立的文件。如果你开启了dir...
  • qbw2010
  • qbw2010
  • 2015年03月31日 14:46
  • 336

压缩 MongoDB 的数据文件

MongoDB 采用了磁盘空间预分配的机制,为了避免磁盘碎片以及使用mmap后造成的近一步的内存碎片,但是随着数据的增删除改操作,数据文件不可避免的会产生空洞,造成磁盘空间和内存的浪费。本文说的是这方...
  • kaosini
  • kaosini
  • 2013年12月10日 14:13
  • 503

mongodb数据文件格式

来自:http://www.cnblogs.com/tripleH/archive/2013/03/15/2958147.html 本文适合于对mongodb有一定了解的朋友阅读。 mongodb...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:mongodb 数据文件太大
举报原因:
原因补充:

(最多只允许输入30个字)