MongoDB
文章平均质量分 72
此专栏包含mongodb数据库使用、原理、架构等内容
橙子园
落地生根,长成参天大树
展开
-
mongoDB聚合操作在爬虫中的应用:查询匹配对应条件的数据,然后随机取样
背景:假如我的爬虫需要同一套代码,实现并行执行多个爬虫任务。这时你可以使用代码中实现多进程,这样做部署在一台服务器中是可以的。但是如果你是部署多台服务器的时候,就有问题了。当然有多种实现方式,但我这边是使用mongo来实现的。解决:当你启动爬虫时,将一些爬虫列表(适合于万级~千万级别)存储在mongo中。然后,查询对应条件的爬虫列表,然后随机取样,这就可以实现多个并行爬虫获取到的爬虫列表不同,从而避免多次运行一套代码重复爬取相同的列表,当然这样还是可能重复,但已经极大程度避免了爬虫列表的重复,提高了爬原创 2021-02-07 17:49:24 · 687 阅读 · 0 评论 -
mongodb复制集节点替换实践【避坑指南】
注意:大家首先要明白你的需求是什么,然后对照做一些处理,下面是我的一些替换经验。需求这是我原来挂载节点时的配置config = { "_id" : "rs0", "members": [ { "_id" : 0, "host" : "127.0.0.1:27017" }, { "_id" : 1, "host" : "127.0.0.1:27018" }, { "_id" : 2, "host" : "127.0.0.1:27019" } ]}现在我需要将节点替换成下面con原创 2020-09-04 18:29:42 · 1978 阅读 · 1 评论 -
mongodb踩坑:复制集(尤其是单台服务器多个mongo服务的)服务节点挂载问题
问题我在一台服务器上下面是报错:pymongo.errors.ServerSelectionTimeoutError: 127.0.0.1:27019: [WinError 10061] 由于目标计算机积极拒绝,无法连接。,127.0.0.1:27018: [WinError 10061] 由于目标计算机积极拒绝,无法连接。, Timeout: 30s, Topology Description: <TopologyDescription id: 5f4de49d2be4dd66f0ebc6b原创 2020-09-04 15:43:49 · 2614 阅读 · 0 评论 -
mongodb复制集windows server部署,以及将线上单节点转化成复制集所踩的坑
部署mongodb安装就不多介绍了错误:“errmsg” : "This node, 127.0.0.1:27017, with id MemberId(0) is not electable under the new configura此问题的原因是仲裁不能和初始化在同一台服务器我的坑:线上的服务器是单节点mongo,想要改成复制集,但只有一台服务器,所以我要把三个mongodb服务部署在同一台服务器,由于之前的mongo有50多G的数据,改成复制集后,数据同步时把服务器内存撑爆。..原创 2020-08-10 10:27:27 · 603 阅读 · 0 评论 -
mongorestore[报错]auth error: sasl c onversation error: unable to authenticate using mechanism
完整报错:2020-06-09T17:42:44.532+0800 error connecting to host: could not connect to server: connection() : auth error: sasl conversation error: unable to authenticate using mechanism “SCRAM-SHA-1”: (AuthenticationFailed) Authentication failed.来由:mong原创 2020-06-09 18:40:14 · 12778 阅读 · 3 评论 -
DeprecationWarning: count is deprecated. Use Collection.count_documents instead.【对比全面详细】
环境python 3.7mongodb v4.2.1pymongo 3.9.0问题DeprecationWarning: count is deprecated. Use Collection.count_documents instead.print(cursor.count())场景当我使用pymongo查询出对应的cursor(find出的document的迭代器),然...原创 2020-04-09 11:12:33 · 4053 阅读 · 3 评论 -
使用mongodump和mongostore对mongodb数据库迁移实践总结
环境windows server2012mongodb:version v4.2.1如图为原mogodb数据库data存储数据的大小,约为:46.9GB如果迁移整个数据库的数据推荐使用mongodump和mongostore,这是mongdb官方文档中关于它们的迁移说明:https://docs.mongodb.com/v2.2/tutorial/backup-databases-w...原创 2020-04-03 13:59:05 · 1657 阅读 · 1 评论 -
windows\windows Server 安装mongodb以及一些生产环境下连接的权限设置(清楚、详细)
前提:mongdb下载地址:ww.mongodb.com/download-center/community选择windows版本下载exe安装:1、点击进行安装, 选择custom(自定义)进行安装2、这里我选择location(安装位置)为:D:\Program File\MongoDB\Server\4.2,这个目录是我建的,如果不更改默认是再C:\Program File\Mo...原创 2020-04-02 16:00:01 · 1380 阅读 · 2 评论