Python mongo 数据库 过滤条件 filter 的使用

最新推荐文章于 2024-05-30 14:25:09 发布
最新推荐文章于 2024-05-30 14:25:09 发布
阅读量5.6k 收藏 9
点赞数
分类专栏： 数据库 文章标签： python mongo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tz_zs/article/details/89713946
版权

____tz_zs

以下为用于测试的数据库数据：

{"_id": "2019-01-01T00:00:00Z", "key1": {"internal_key1": {"a": "va", "b": "vb"}}, "key2": "v2"},
{"_id": "2019-01-01T12:00:00Z", "key1": {"internal_key1": {"a": "va", "c": "vc"}, "internal_key2": {}, "internal_key3": "internal_v3"}},
{"_id": "2019-01-02T00:00:00Z", "key1": {"internal_key1": {"a": None, "b": None, "c": None}, "internal_key2": None, "internal_key3": None}, "key2": None},
{"_id": "2019-01-02T12:00:00Z", "key1": {"internal_key1": {"a": {}, "b": {}, "c": {}}, "internal_key2": {"t": 1}, "internal_key3": "internal_v3"}, "key2": {}},
{"_id": "2019-01-03T00:00:00Z", "key1": {"internal_key1": {"a": "va", "b": "vb", "c": "vc"}, "internal_key2": {"t": 1}, "internal_key3": "internal_v3"}, "key2": "v2"},

$exists

根据取对应的键值对是否存在作为判定依据，注意，值为 None 也代表这个字段存在。

find_records = db_collection.find(filter={"key2": {"$exists": True}})
"""
{'_id': '2019-01-01T00:00:00Z', 'key1': {'internal_key1': {'b': 'vb', 'a': 'va'}}, 'key2': 'v2'}
{'_id': '2019-01-02T00:00:00Z', 'key1': {'internal_key1': {'b': None, 'a': None, 'c': None}, 'internal_key3': None, 'internal_key2': None}, 'key2': None}
{'_id': '2019-01-02T12:00:00Z', 'key1': {'internal_key1': {'b': {}, 'a': {}, 'c': {}}, 'internal_key3': 'internal_v3', 'internal_key2': {'t': 1}}, 'key2': {}}
{'_id': '2019-01-03T00:00:00Z', 'key1': {'internal_key1': {'b': 'vb', 'a': 'va', 'c': 'vc'}, 'internal_key3': 'internal_v3', 'internal_key2': {'t': 1}}, 'key2': 'v2'}
"""

多级字典使用 “.” 表示层级归属

find_records = db_collection.find(filter={"key1.internal_key3": {"$exists": True}})
"""
{'key1': {'internal_key3': 'internal_v3', 'internal_key1': {'c': 'vc', 'a': 'va'}, 'internal_key2': {}}, '_id': '2019-01-01T12:00:00Z'}
{'key1': {'internal_key3': None, 'internal_key1': {'c': None, 'b': None, 'a': None}, 'internal_key2': None}, '_id': '2019-01-02T00:00:00Z', 'key2': None}
{'key1': {'internal_key3': 'internal_v3', 'internal_key1': {'c': {}, 'b': {}, 'a': {}}, 'internal_key2': {'t': 1}}, '_id': '2019-01-02T12:00:00Z', 'key2': {}}
{'key1': {'internal_key3': 'internal_v3', 'internal_key1': {'c': 'vc', 'b': 'vb', 'a': 'va'}, 'internal_key2': {'t': 1}}, '_id': '2019-01-03T00:00:00Z', 'key2': 'v2'}
"""
find_records = db_collection.find(filter={"key1.internal_key2": {"$exists": True}})
"""
{'key1': {'internal_key1': {'a': 'va', 'c': 'vc'}, 'internal_key3': 'internal_v3', 'internal_key2': {}}, '_id': '2019-01-01T12:00:00Z'}
{'key1': {'internal_key1': {'a': None, 'c': None, 'b': None}, 'internal_key3': None, 'internal_key2': None}, '_id': '2019-01-02T00:00:00Z', 'key2': None}
{'key1': {'internal_key1': {'a': {}, 'c': {}, 'b': {}}, 'internal_key3': 'internal_v3', 'internal_key2': {'t': 1}}, '_id': '2019-01-02T12:00:00Z', 'key2': {}}
{'key1': {'internal_key1': {'a': 'va', 'c': 'vc', 'b': 'vb'}, 'internal_key3': 'internal_v3', 'internal_key2': {'t': 1}}, '_id': '2019-01-03T00:00:00Z', 'key2': 'v2'}
"""

复数条件的组合

组合多个条件

## 组合多个条件
find_records = db_collection.find(filter={"key1.internal_key1.b": {"$exists": True}, "key1.internal_key1.c": {"$exists": True}})
"""
{'_id': '2019-01-02T00:00:00Z', 'key2': None, 'key1': {'internal_key2': None, 'internal_key1': {'b': None, 'c': None, 'a': None}, 'internal_key3': None}}
{'_id': '2019-01-02T12:00:00Z', 'key2': {}, 'key1': {'internal_key2': {'t': 1}, 'internal_key1': {'b': {}, 'c': {}, 'a': {}}, 'internal_key3': 'internal_v3'}}
{'_id': '2019-01-03T00:00:00Z', 'key2': 'v2', 'key1': {'internal_key2': {'t': 1}, 'internal_key1': {'b': 'vb', 'c': 'vc', 'a': 'va'}, 'internal_key3': 'internal_v3'}}
"""
find_records = db_collection.find(filter={"key1.internal_key1.b": {"$exists": True}, "key1.internal_key1.c": {"$exists": True}, "_id": {"$gte": "2019-01-02T12:00:00Z"}}) # $gte 大于等于
"""
{'_id': '2019-01-02T12:00:00Z', 'key2': {}, 'key1': {'internal_key3': 'internal_v3', 'internal_key1': {'b': {}, 'a': {}, 'c': {}}, 'internal_key2': {'t': 1}}}
{'_id': '2019-01-03T00:00:00Z', 'key2': 'v2', 'key1': {'internal_key3': 'internal_v3', 'internal_key1': {'b': 'vb', 'a': 'va', 'c': 'vc'}, 'internal_key2': {'t': 1}}}
"""

对同一个字段，多个限制条件

# 对同一个字段，多个限制条件。
find_records = db_collection.find(filter={"_id": {"$gte": "2019-01-01T12:00:00Z", "$lt": "2019-01-03T00:00:00Z"}}) # $lt 小于
"""
{'key1': {'internal_key1': {'a': 'va', 'c': 'vc'}, 'internal_key2': {}, 'internal_key3': 'internal_v3'}, '_id': '2019-01-01T12:00:00Z'}
{'key1': {'internal_key1': {'a': None, 'b': None, 'c': None}, 'internal_key2': None, 'internal_key3': None}, 'key2': None, '_id': '2019-01-02T00:00:00Z'}
{'key1': {'internal_key1': {'a': {}, 'b': {}, 'c': {}}, 'internal_key2': {'t': 1}, 'internal_key3': 'internal_v3'}, 'key2': {}, '_id': '2019-01-02T12:00:00Z'}
"""
find_records = db_collection.find(filter={"_id": {"$gte": "2019-01-02T00:00:00Z", "$regex": ".*T00:00:00Z"}}) # $regex 正则匹配
"""
{'_id': '2019-01-02T00:00:00Z', 'key1': {'internal_key3': None, 'internal_key1': {'b': None, 'c': None, 'a': None}, 'internal_key2': None}, 'key2': None}
{'_id': '2019-01-03T00:00:00Z', 'key1': {'internal_key3': 'internal_v3', 'internal_key1': {'b': 'vb', 'c': 'vc', 'a': 'va'}, 'internal_key2': {'t': 1}}, 'key2': 'v2'}
"""

使用 and、or 等逻辑运算组合筛选条件

$and 逻辑与，条件均满足才能通过筛选

find_records = db_collection.find(filter={"$and": [{"key1.internal_key1.b": {"$exists": True}}, {"key1.internal_key1.c": {"$exists": True}}]})
# 与filter={"key1.internal_key1.b": {"$exists": True}, "key1.internal_key1.c": {"$exists": True}}效果一样
"""
{'_id': '2019-01-02T00:00:00Z', 'key2': None, 'key1': {'internal_key2': None, 'internal_key1': {'c': None, 'a': None, 'b': None}, 'internal_key3': None}}
{'_id': '2019-01-02T12:00:00Z', 'key2': {}, 'key1': {'internal_key2': {'t': 1}, 'internal_key1': {'c': {}, 'a': {}, 'b': {}}, 'internal_key3': 'internal_v3'}}
{'_id': '2019-01-03T00:00:00Z', 'key2': 'v2', 'key1': {'internal_key2': {'t': 1}, 'internal_key1': {'c': 'vc', 'a': 'va', 'b': 'vb'}, 'internal_key3': 'internal_v3'}}
"""

$or 逻辑或，满足一条即可通过筛选

find_records = db_collection.find(filter={"$or": [{"key1.internal_key1.b": {"$exists": True}}, {"key1.internal_key1.c": {"$exists": True}}]})
"""
{'_id': '2019-01-01T00:00:00Z', 'key1': {'internal_key1': {'a': 'va', 'b': 'vb'}}, 'key2': 'v2'}
{'_id': '2019-01-01T12:00:00Z', 'key1': {'internal_key1': {'a': 'va', 'c': 'vc'}, 'internal_key3': 'internal_v3', 'internal_key2': {}}}
{'_id': '2019-01-02T00:00:00Z', 'key1': {'internal_key1': {'a': None, 'b': None, 'c': None}, 'internal_key3': None, 'internal_key2': None}, 'key2': None}
{'_id': '2019-01-02T12:00:00Z', 'key1': {'internal_key1': {'a': {}, 'b': {}, 'c': {}}, 'internal_key3': 'internal_v3', 'internal_key2': {'t': 1}}, 'key2': {}}
{'_id': '2019-01-03T00:00:00Z', 'key1': {'internal_key1': {'a': 'va', 'b': 'vb', 'c': 'vc'}, 'internal_key3': 'internal_v3', 'internal_key2': {'t': 1}}, 'key2': 'v2'}
"""

end

python MongoDB数据库操作与连接和ORM
管彤python每日分享python技巧
12-31 923
文章目录 数据库连接与操作 关系数据库：PostgreSQL、MySQL 非关系数据库：MongoDB pymongo使用 创建连接 from pymongo import MongoClient client = MongoClient() client = MongoClient(‘localhost:27017/’) 指定数据库 db = client.test_database db = client[‘test-database’] 指定集合（collection） collection =
python mongoengine 使用
zscccccc的博客
01-11 1380
python mongoengine 使用
Python 操作Mongodb 聚合前过滤筛选
DL_min的博客
11-19 1874
有时候我们需要对数据进行聚合，聚合前需要对其进行过滤，操作其实还是很简单的，聚合直接使用 aggregate，直接上代码： counts = DockerMongo.IntelligentPublishKeywords.aggregate([{"$group": {"_id": "$Platform", "dataCount": {"$sum": 1}}}]) for count in counts: print(count) 其中_id是需要筛选的字段，dataCount是自定义的字段，$s
Python使用ORM控制MongoDB（MongoEngine）
m0_45605831的博客
02-04 1045
简介： MongoEngine是一个对象文档映射器（ODM），相当于一个基于SQL的对象关系映射器（ORM） pymongo来操作MongoDB数据库，但是直接把对于数据库的操作代码都写在脚本中，这会让应用的代码耦合性太强，而且不利于代码的优化管理 一般应用都是使用MVC框架来设计的，为了更好地维持MVC结构，需要把数据库操作部分作为model抽离出来，这就需要借助MongoEngine,MongoEngine提供的抽象是基于类的，创建的所有模型都是类 我们可以跟关系型数据库的Python客户端MySQLd
在Python中使用ORM(MongoEngine)控制MongoDB的方法
张昆
07-24 7261
MongoEngine是一个ORM 安装 pip install mongoengine 连接 from mongoengine import * connect(‘mongoengine_test’,host=’localhost’,port=27017) 定义文档中的存放数据的字段,还要继承Document类,在这里定义好模型限制,以后save的时候做验证用得着 import datetime
python操作三大主流数据库(9)python操作mongodb数据库③mongodb odm模型mongoengine的使用...
reblue520的专栏
03-07 1049
python操作mongodb数据库③mongodb odm模型mongoengine的使用 文档：http://mongoengine-odm.readthedocs.io/guide/ 安装pip install mongoengine 连接mongodb 方式1：简写 connect('students') >>> from mongoengine...
Python利用ORM控制MongoDB（MongoEngine）的步骤全纪录
09-09
例如，可以使用`filter()`、`exclude()`、`only()`等方法进一步过滤结果，或者使用`in`、`nin`等操作符进行列表匹配。 6. **聚合操作**： 聚合操作允许对数据进行复杂的分析和处理，MongoEngine提供了`aggregate()...
python使用MongoDB，Seaborn和Matplotlib文本分析和可视化API数据
拓端研究室TRL
12-06 247
软件开发职位通常需要的技能是NoSQL数据库（包括MongoDB）的经验。本教程将探索使用API​​收集数据，将其存储在MongoDB数据库中以及对数据进行一些分析。文本挖掘：主题模型（LDA）及R语言实现分析游记数据时长12:59我们将使用的API是GameSpot的API。GameSpot是网络上最大的视频游戏评论网站之一，可以在此处访问其API 。在我们开始之前，您应该确保自己获得GameSpot的API密钥。您还应该确保已安装MongoDB及其Python库。可以在这里找到Mongo的安装说明。只需
Python 操作 mongodb 亿级数据量使用 Bloomfilter 高效率判断唯一性 例子
王图思睿
09-27 2808
工作需要使用 python 处理 mongodb 数据库两亿数据量去重复，需要在大数据量下快速判断数据是否存在 参考资料:https://segmentfault.com/q/1010000000613729 网上了解到 Bloom Filter ，Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素...
最全总结 | 聊聊 Python 数据处理全家桶（MongoDB 篇）
最新发布
YLF123456789000的博客
05-30 866
本篇文章继续聊另外一种数据类型：MongoDBMongoDB 是基于分布式存储，由 C++ 编写的开源的 NoSql 数据库MongoDB 的内容存储类似 JSON 对象，数据结构包含 3 种分别是：数据库 - Databases对应关系型数据库中的数据库（Database）集合 - Collection对应关系型数据库中的 Table 表（Table）文档 - Document对应数据库表中的一条数据（Row Data）
pymongo中如何将数据filter并且group后取出若干条？
u010080803的博客
01-03 740
在pymongo中如何将数据filter并且group后取出若干条？ 如果我们要在MongoDB查询分组并获取TopN数据 数据为 [ { "name": "刘大", "age": 28, "status": "active" }, { "name": "陈二", "age": 25, "status": "active" }, { "name": "张三", "age": 25, "status": "active" }, { "name": "李四", "age": 25, "s
python mongo orm_在Python应用中使用MongoDB的方法
weixin_28761983的博客
01-28 379
在Python应用中使用MongoDB的方法发布时间：2020-08-05 15:52:13来源：亿速云阅读：78作者：小新小编给大家分享一下在Python应用中使用MongoDB的方法，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！在这篇文章中，将向您展示如何使用Python链接目前主流的MongoDB(V3.4.0)数...
创建用户 mongoose 指定用户连接数据库
leihui_2009的专栏
06-10 3898
说实话,之前玩 mongodb 都是裸奔,都不需要用户名和密码直接连接 mongodb.但是,正在在使用 mongodb 来开发的时候,还是要设置一个专属的账号,密码来连接数据库.如何在mongodb 中创建一个用户Mac下使用 brew 安装mongodb 请点击左侧链接打开.shell 下连接 mongodb➜ /Users/zhangzhi >mongoMongoDB shell ...
python mongodb_Python操作Mongodb
weixin_39842682的博客
11-28 220
MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。1.创建连接import pym...
java mongodb filters_MongoDB Java使用多个过滤器并获得最后一个
weixin_27729671的博客
02-24 1750
呼唤远方听起来你想要一个过滤器和一个排序，查询将如下所示：collection.find(Filters.eq("functionalityName","specificValue")).sort(newDocument("date",-1)).first().getDate()因此，sort零件保持原样，但在find添加过滤器的部分...
MongoDB——Regex Filter
wudi1027的专栏
06-03 2079
构建过滤器 c#实现 需求：支持对单个字段进行正则模糊匹配，匹配的值是数组形式 实现代码如下： 使用filter构建器的Regex方法构建正则过滤 使用filter构建器的Or方法满足多值需求 public FilterDefinition<BsonDocument> GetRegexFilters(string field, params string[] ...
python 模块pymongo模块，连接MongoDB数据库
局外人LZ的博客
06-25 779
【代码】python 模块pymongo模块，连接MongoDB数据库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值