Python 爬虫，scrapy，pipeline管道，open_spider(),close_spider()

最新推荐文章于 2024-03-08 19:24:21 发布

houyanhua1

最新推荐文章于 2024-03-08 19:24:21 发布

阅读量8.2k

点赞数 2

分类专栏： Python+ 文章标签： Python 爬虫 scrapy pipeline

本文链接：https://blog.csdn.net/houyanhua1/article/details/86545704

版权

Python+ 专栏收录该内容

262 篇文章 20 订阅

订阅专栏

项目名/pipelines.py（管道，open_spider()，close_spider()）：

# -*- coding: utf-8 -*-


class DemoPipeline(object):
    
    # 开启爬虫时执行，只执行一次
    def open_spider(self, spider):
        # spider.hello = "world"  # 为spider对象动态添加属性，可以在spider模块中获取该属性值
        # 可以开启数据库等
        pass

    # 处理提取的数据(保存数据)
    def process_item(self, item, spider):
        pass

    # 关闭爬虫时执行，只执行一次。 (如果爬虫中间发生异常导致崩溃，close_spider可能也不会执行)
    def close_spider(self, spider):
        # 可以关闭数据库等
        pass