![](https://img-blog.csdnimg.cn/067c47acc6fb43f58f73d01e5a3f8eca.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
MongoDB
文章平均质量分 62
主要记录和MongoDB数据库相关的内容
苏寅
此去易经年,后悔终无期!
展开
-
MongoDB:如何使用PyMongo连接有用户名和密码的数据库?
场景描述平时在线下环境使用PyMongo连接MongoDB数据库时都是连接的没有用户名和密码的数据库,那么对于有用户名和密码的MongoDB数据库(线上环境)又该怎么连接呢?代码示例import pymongoclient = pymongo.MongoClient(host='host', port=27017)# # info_data 需要用户名和密码进行身份认证的数据库db = client.info_data# username:用户名;password:密码db.authent原创 2021-11-23 16:50:10 · 4205 阅读 · 1 评论 -
MongoDB:PyMongo百万级数据去重
场景描述在Python爬虫中经常使用MongoDB数据库来存储爬虫爬取的结果,于是乎就有了一个问题:百万级的MongoDB数据如何去重?常见的思路便是在数据入库的时候检查该数据在数据库中是否已经存在,如果存在则忽略(效率高点)或者覆盖,这样做在数据量比较少的时候是适用的,但是在数据量比较大的时候(百万级及以上)这样做往往是效率非常低的!而且如果是已有的未去重的百万级数据库又该怎么办呢?也可以使用distinct语句进行去重,但是还是那个问题,distinct语句并不适用于百万级数据,甚至在数据量大的原创 2021-11-19 11:19:52 · 2954 阅读 · 0 评论 -
MongoDB:如何将同一个数据库下的集合复制到另一个集合?
场景描述在使用MongoDB的过程中,需要将数据库中有效的值从一个总的集合中复制到一个存储有效值的集合中,那么关于这个需求,该怎么实现呢?实现方案示例:db.all_info.find({'notice_content':{$ne:''}}).forEach(function(x){db.useful_data.insert(x)})上边的示例,是将all_info集合中的数据通过{'notice_content':{$ne:''}筛选条件,将其中notice_content字段不为空的数据,原创 2021-11-09 17:25:13 · 3916 阅读 · 0 评论