Mongdb数据库的下载和与Scrapy的连接

Mongdb数据库的下载与可视化工具的使用

Mongdb数据库的下载和安装

（1）下载地址https://www.mongodb.com/download-center/community

选择对应的版本号然后点击Download开始下载
（2）
即安装成功。
（3）配置Mongdb的存储目录
进入cmd，创建data文档（mkdir data），再进入data目录，在里面创建db目录

从命令行中，进入Mongdb（你的安装目录的）的bin文档，之后执行mongod --dbpath×××（为你的bin文档的路径），之后运行mongo.exe

可视化工具的下载和使用

1.可视化工具的下载
下载地址https://robomongo.org/

可以的话就下载两个，根据提示安装完成即可。
2.工具的使用
以Robo 3T做演示

点击这个按钮进行创建，创建完成之后，点击connect连接，连接成功后，右键你创建的文档就可建立数据库了

Scrapy连接Mongdb

1.在settings.py配置Mongdb连接信息

Mongoip='192.xxx.xx.xx'     #mongoDB节点 ip地址
MongoPort=27017             #端口号 
MongoDBname='datago306'     #文档名
MongoItem='jobItem'         #item名

2.设置pipelines,py文件

from pymongo import MongoClient     # 使用MongoClient连接mongo
from XXX.settings import Mongoip,MongoDBname,MongoPort,MongoItem
                                    # 从settings.py导入第一步配置的连接信息
                                    # XXX为scrapy工程名字
class CrawldataToMongoPipline(object):
    def __init__(self):
        host=Mongoip
        port=MongoPort
        dbName=MongoDBname
        client=MongoClient(host=host,port=port)    # 创建连接对象client
        db=client[dbName]                          # 使用文档dbName='datago306'
        self.post = db[MongoItem]                  # 使用item MongoItem='jobItem'

    def process_item(self, item, spider):
        job_info = dict(item)                      # item转换为字典格式
        self.post.insert(job_info)                 # 将item写入mongo
        return item

3.在settings.py中启用写好的CrawldataToMongoPipline middleware

ITEM_PIPELINES = {
   # 'tencent.pipelines.CrawldataPipeline': 300,
   'crawlData.pipelines.CrawldataToMongoPipline': 300,
}