scrapy爬虫数据入mongodb库

首先我们要安装Python的PyMongo库，运行 ‘pip install pymongo’ 命令即完成pymongo的安装。
第一步，先连接mongodb。
第二步，选择数据库或集合。
第三步，插入数据。

在管道文件中写入如下代码。

from pymongo import MongoClient

class Python123DemoPipeline(object):

    def __init__(self):
        client = MongoClient(host='127.0.0.1', port=27017)  # 创建连接
        db = client['novel'] # 连接的数据库
        self.collection = db['douluo']# 连接的表
    def process_item(self, item, spider):
        self.collection.insert(dict(item))#插入数据
        return item

记得在setting文件中开启管道。