refs:
1)Capped Collections | MongoDB Blog
2)https://xiayuanfeng.iteye.com/blog/989024
3)MongoDB 固定集合(Capped Collections) | 菜鸟教程
4)Capped Collections — MongoDB Manual
Capped Collections
固定大小的集合
Capped collections 就是固定大小的collection。
它有很高的性能以及队列过期的特性(过期按照插入的顺序). 有点和 "RRD" 概念类似。
Capped collections是高性能自动的维护对象的插入顺序。它非常适合类似记录日志的功能。
固定集合的一些限制,无法删除或更新文档(文档不能增长)。
创建一个 Capped Collection
和标准的collection不同,你必须要显式的创建一个capped collection,
指定一个collection的大小,单位是字节。collection的数据存储空间值提前分配的。
要注意的是指定的存储大小包含了数据库的头信息。
> db.createCollection("myLogCollection", {capped:true, size:100000})
如果size
小于等于4096,那集合固定为 4096 bytes大小。否则MongoDB会使得size始终为256的整数倍。
另外可以用 max
指定集合最大的文档数。
db.createCollection("myLogCollection", { capped : true, size : 5242880, max : 5000 } )
size
参数是必须的,而且size的优先级比max高。如果先达到size大小,而没有达到max的文档数,是会按size移除旧的文档的。
size 是整个集合空间大小,单位为【字节】
max 是集合文档个数上线,单位是【个】
如果空间大小到达上限,则插入下一个文档时,会覆盖第一个文档;如果文档个数到达上限,同样插入下一个文档时,会覆盖第一个文档。两个参数上限判断取的是【与】的逻辑。
将已存在的集合转换为固定集合可以使用以下命令:
>db.runCommand({"convertToCapped":"myLogCollection",size:10000})
以上代码将我们已存在的 posts 集合转换为固定集合。
查看当前db占用空间
>db.stats()
{
"db" : "test",
"collections" : 5,
"views" : 0,
"objects" : 53829,
"avgObjSize" : 43.555,
"dataSize" : 2344556121,
"storageSize" :3124416336,
"numExtents" : 0,
"indexes" : 7,
"indexSize" : 8096876,
"ok" : 1
}
collection查看
使用和约束
- 在capped collection中,你能添加新的对象。
- 能进行更新,然而,对象不会增加存储空间。如果增加,更新就会失败 。
- 数据库不允许进行删除。使用drop()方法删除collection所有的行。
注意: 删除之后,你必须显式的重新创建这个collection。 - 在32bit机器中,capped collection最大存储为1e9个字节(最大值约为482.5M),64位上只受系统文件大小的限制。
特性
- 如果空间都被使用完毕,新添加的对象会取代最旧的那个数据。
- 如果你执行find(),并没有指定顺序。返回的结果就是按照插入顺序排序。
- 倒序使用 find().sort({$natural:-1})。
应用
- 日志Logging. Capped collection性能非常优秀,可以来存储日志文档。
- 插入一个没有索引的capped collection速度非常接近存储在文件系统。
- 额外的忧郁使用了内置的LRU机制,也不用担心超出硬盘空间。
- 缓存Caching. 如果你希望在数据库缓存一些小数量的对象。
- capped collection提供了非常方便的机制来实现这个操作。
- 注意的是要给capped table添加索引,因为这种应用,读频率高于写。
- 自动存档Auto Archiving. 如果你希望数据自动过期。
- capped collection要比手写cron scripts更为方便。
建议
- 为了最大化性能,不要再capped collection上创建索引。
- 如果这个collection写操作多于读操作,更不需要索引了。
- 注意的是,你可能创建了索引。速度就会降低,但是还是要比标准的collection要快。
- 使用 natural ordering 来更有效的获取最近插入的元素。和linux的tail命令相似。
限制对象的个数
你可能也需要限定collection中对象的数量。如果到了限制的数量,就要移除一个最近的插入。
限制对象的数量, 指定 max参数。
注意: 当指定了对象的数量,你也必须要限制存储大小。
要确定的是存储大小要完全能够存储限制的对象数,
不然的话,移除对象速度会加快。你可以使用validate()工具来查看collection使用的存储空间,
这样就可以预估需要的空间。
注意: 只限制存储大小性能要更好一些。
db.createCollection("myLogCollection", {capped:true, size:100000, max:100});
db.mycoll.validate();
提示: 当编程的时候,存储最近对象的版本号的方法就是把max参数设为1(max=1)。
预分配普通的collection
createCollection 命令也可以用于不是capped collections。如
db.createCollection("myLogCollection", {size:10000000});
db.createCollection("myLogCollection", {size:10000000, autoIndexId:false});
通过createCollection来显式创建一个非capped collection允许指定一些参数。
如,指定collection大小,来预分配collection所需的硬盘空间。
autoIndexId 字段可以指定是否要在_id创建唯一索引。默认的情况下,
非capped collection要在_id上创建索引。
默认的情况下,capped collection不会在_id添加索引。 |
Sharding
Capped collections 还不支持数据切分
查看一个collection是否为capped collection
你可以调用isCapped方法来查看一个collection是否为capped collection。 db.foo.isCapped()