导入数据进mongodb
把mongodb-database-tool放进Bin目录下
把数据放入MongoDB的bin目录下
cmd进入文件后使用语句mongoimport --db stocks --collection stocks --file “stocks.json”
基本概念
Aggregation Framework就像是管道(pipeline),用于对一连串的文档进行处理。
管道(pipeline)的概念
将数据分步骤处理逐步得到结果这样的方式叫做管道
管道中的每一个步骤叫做stage
常用方法
-
$project 投影
-
$sort() 排序
-
$match 过滤 :可以实现类似query的功能,用于对文档集合进行筛选,之后得到的文档子集做聚合
-
$limit 限制结果:限制返回个数
-
$skip 同上
-
$unwind 展开数组:可以将一个包含数组的文档切分成多个, 比如你的文档中有个数组字段 A, A中有10个元素, 那么经过 $unwind处理后会产生10个文档,这些文档只有字段 A不同
-
lookup 左外连接,类似SQL中的 LEFT OUTER JOIN
-
$group 分组:统计操作, 还提供了一系列子命令
-
$sortByCount
这些运算符中又都有各自的子运算符
stage limit
- 每个聚合阶段最多可以使用100 MB的RAM。
- 如果超过此限制,将从数据库中得到一个错误
- 如果它成为一个不可避免的问题,您可以选择分页到磁盘,惟一的缺点是您将等待更长时间,因为在磁盘中工作比在内存中慢。
- 要选择页面到磁盘的方法,只需要使用allowDiskUse选项,如下所示:
- db.collectionName.aggregation(pipeline, {allowDiskUse: true})
- 无论是作为游标,还是通过$out()存储在另一个集合中,都被限制为16MB。
- 如果可能超过这个限制,那么应该指定聚合查询的输出将作为游标而不是文档