mongo查询总结及python调用mongo

1.mongo查询总览

1.1 基础查询

db.col.find({}, {“name”:1})

1.2 条件查询

1.2.1 比较查询

$lt,$lte,$gt,$gte,$ne和<,<=,>,>=,!=是一一对应的，它们可以组合起来以查找一个范围内的值。

1.2.2 关联查询

$in用于查询一个键的多个值，$nin将返回与筛选数组中所有条件都不匹配的文档。将$in与$not组合可以实现$nin相同的效果。

$or用于对多个键做or查询。

1.3 特定类型的查询

1.3.1 null查询

null不仅能匹配自身，还能匹配键不存在的文档。

1.3.2 正则表达式

1.3.3 数组查询

$all：通过多个元素来匹配数组。

$size：查询指定长度的数组。

$slice：返回数组的一个子集合。

1.3.4 内嵌文档查询

1.4 $where查询

$where查询是MongoDB的高级查询部分，可以执行任意JavaScript作为查询的一部分，是其他查询方式的一个补充。

$where查询需要将每个文档从BSON转换为JavaScript对象，然后通过$where的表达式来运行，该过程不能利用索引，所以查询速度较常规查询慢很多。如果必须使用时，可以将常规查询作为前置过滤，能够利用索引的话可以使用索引根据非$where子句进行过滤，最后使用$where对结果进行调优。另一种方式采用映射化简-MapReduce.

1.5 游标

游标是很有用的东西，MongoDB数据库使用游标来返回find的执行结果。客户端使用游标可以对最终结果进行有效的控制，比如分页，排序。

1.5.1 limit，skip和sort

limit：限制结果数量，限制的是上限。
skip：略过匹配到的前n个文档，然后返回余下的文档。skip略过过多的文档时会产生性能问题，建议尽量避免。
sort：按照指定的键对文档进行排序，1为升序，-1为降序。

1.5.2 高级查询选项

包装查询：使用sort，limit或skip对最终结果进行进一步的控制。
有用的配置选项：
$maxscan:integer，指定查询最多扫描的文档数量。
$min:document，查询的开始条件。
$max:document，查询的结束条件。
$hint:document，指定服务器使用哪个索引进行查询。
$explain:boolean，获取查询执行的细节(用到的索引，结果数量，耗时等)，而并非真正执行查询。
$snapshot:boolean，确保查询的结果是在查询执行那一刻的一致快照，用于避免不一致读取。
包装查询会将查询条件包装到一个更大的查询文档中，比如执行如下查询时：
db.foo.find({“name”:“bar”}).sort(“x”:1)
shell会把查询从{“name”:“bar”}转换成{"$query":{"name":"bar"},"$orderby":{"x":1}}，而不是直接将{“name”:“bar”}作为查询文档发送给数据库。

1.5.3 游标内幕

看待游标的两种角度：客户端的游标及客户端游标表示的数据库游标(服务器端)。
在服务器端，游标消耗内存和其他资源，所以在合理的情况下需要尽快释放。服务器端导致游标终止的情况如下：
1、游标完成匹配结果的迭代时自动清除。
2、游标在客户端已不在作用域内的情况下，驱动会向服务器发送专门的消息，让其销毁游标。
3、超时销毁，可以使用immortal函数关闭游标超时时间，采用此操作一定要在迭代完结果后将游标关闭。

1.6 总结

使用MongoDB需要对文档结构进行合理的设计，以满足某些特定需求。比如随机选取文档，使用skip跳过随机个文档就没有在文档中加个随机键，然后使用某个随机数对文档进行查询高效，随机键还能添加索引，效率更高。合理选择，合理设计。

1.6.1 条件总结

Comparison
名称 描述
$eq 匹配等于指定值的值。
$gt 匹配大于指定值的值。
$gte 匹配大于或等于指定值的值。
$in 匹配数组中指定的任何值。
$lt 匹配小于指定值的值。
$lte 匹配小于或等于指定值的值。
$ne 匹配所有不等于指定值的值。
$nin 不匹配数组中指定的任何值。

Logical
名称 描述
$and 使用逻辑连接查询子句AND将返回与两个子句的条件匹配的所有文档。
$not 反转查询表达式的效果并返回与查询表达式不匹配的文档。
$nor 使用逻辑连接查询子句NOR将返回所有无法匹配两个子句的文档。
$or 使用逻辑连接查询子句OR将返回与任一子句的条件匹配的所有文档。

Element
名称 描述
$exists 匹配具有指定字段的文档。
$type 如果字段是指定类型，则选择文档。

Evaluation
名称 描述
$expr 允许在查询语言中使用聚合表达式。
$jsonSchema 根据给定的JSON模式验证文档。
$mod 对字段的值执行模运算，并选择具有指定结果的文档。
$regex 选择值与指定正则表达式匹配的文档。
$text 执行文本搜索。
$where 匹配满足JavaScript表达式的文档。

2.py查询示例

def init_mongo_col():
    client = pymongo.MongoClient(
        host="119.120.110.666:27017")
    db = client["biturd_db"]
    col = db["biturd_col"]
    return col

def query_mongo(col, sql_filter, query_num):
    # filter，再上一级拼装好filter，每一类调用一次
    res = col.find(sql_filter).limit(query_num)
    return res

if __name__ == '__main__':
    sql_filter_list.append({"face_mtcnn": {"$size": i}})
    query_num_list.append(30)
	res = query_mongo(col, sql_filter_list[i], query_num_list[i])
    res_content = []
    for i in res:
    	# 每个i是一行数据一个dict
    	res_content.append(j['_id'])
	print(res_content)