python--scrapy 保存数据到 mongodb

最新推荐文章于 2024-06-17 13:03:03 发布

Missing Sunshine

最新推荐文章于 2024-06-17 13:03:03 发布

阅读量586

点赞数 7

分类专栏： python-scrapy 文章标签： python scrapy mongodb

本文链接：https://blog.csdn.net/qq_45830942/article/details/136792693

版权

python-scrapy 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文详细描述了如何在Scrapy项目中配置MongoDB存储，包括设置pipelines、定义WeiboItem类、在spider中处理响应并插入数据库的过程。

摘要由CSDN通过智能技术生成

第一步，settings.py添加

ITEM_PIPELINES = {
   # 'scrapy_runklist.pipelines.ScrapyRunklistPipeline': 300,
   'scrapy_runklist.pipelines.ScrapyWeiBoPipeline': 300,
}

# mongodb配置
MONGO_HOST = "127.0.0.1"  # 主机IP
MONGO_PORT = 27017  # 端口号
MONGO_DB = "ranklist"  # 库名
MONGO_COLL_WEIBO = "weibo"  # collection名
# MONGO_USER = "simple" #用户名
# MONGO_PSW = "test" #用户密码

第二步，item.py添加

class WeiboItem(scrapy.Item):
    id = scrapy.Field()
    word = scrapy.Field()
    url = scrapy.Field()

第三步，spider.py添加

def parse(self, response):
	"""此处省略处理响应内容的代码, 直接 yield item 对象"""  
	weiboItem = WeiboItem()
	weiboItem["id"] = id
	weiboItem["word"] = word
	weiboItem["url"] = url
     yield weiboItem

第四步，pipline.py添加

import pymongo
from scrapy.utils.project import get_project_settings
settings = get_project_settings()

class ScrapyWeiBoPipeline:

    def __init__(self):
        # 链接数据库
        client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
        self.db = client[settings['MONGO_DB']]  # 获得数据库的句柄
        self.coll = self.db[settings['MONGO_COLL_WEIBO']]  # 获得collection的句柄
        # 数据库登录需要帐号密码的话
        # self.db.authenticate(settings['MONGO_USER'], settings['MONGO_PSW'])

    def process_item(self, item, spider):
        print("pipline item ==== ", item)
        postItem = dict(item)  # 把item转化成字典形式
        self.coll.insert(postItem)  # 向数据库插入一条记录
        return item  # 会在控制台输出原item数据，可以选择不写