基于python的scrapy框架中使用MongoDB遇到的问题

最新推荐文章于 2024-06-17 13:03:03 发布

Cristal_tina

最新推荐文章于 2024-06-17 13:03:03 发布

阅读量1.8k

点赞数 3

分类专栏：爬虫文章标签： python mongodb

本文链接：https://blog.csdn.net/Cristal_tina/article/details/53610095

版权

本文介绍了在使用Python的Scrapy框架配合MongoDB存储爬取数据时遇到的配置问题。首先，`settings.py`中的`MONGODB_PORT`设置需要确保是整数而非字符串。其次，`pipelines.py`中由于pymongo更新，`Connection`已被废弃，应使用`MongoClient`。最后，解决`item`缺少`_id`定义的错误，需要在`items.py`中明确声明`_id`字段。

摘要由CSDN通过智能技术生成

使用MongoDB保存抓取结果，应如何设置settings.py与pipelines.py

1. settings.py

# settings.py

MONGODB_SERVER = 'localhost'
MONGODB_PORT = 27017
MONGODB_DB = 'freebuf_db'
MONGODB_COLLECTION = 'wenzhang'

在settings.py文件的设置中，MONGODB_PORT变量起初的定义是在27017上加了单引号，运行后系统报错，称“MONGODB_PORT must be int”, 所以这里要注意该变量的值为整形，非字符串型。

2. pipelines.py

# pipelines.py

import pymongo

from scrapy.conf import settings
#from scrapy.exceptions import DropItem
#from scrapy import log

class MongoPipeline(object):
    def __init__(self):
        self.server = settings['MONGODB_SERVER']
        self.port = settings['MONGODB_PORT']
        self.db = settings['MONGODB_DB']