scrapy使用selenium时爬虫关闭浏览器的方法

最新推荐文章于 2023-03-27 18:27:15 发布

今夜睡火星

最新推荐文章于 2023-03-27 18:27:15 发布

阅读量1.8k

点赞数 2

分类专栏： Python Scrapy

本文链接：https://blog.csdn.net/hepburn_li/article/details/91039747

版权

Python 同时被 2 个专栏收录

42 篇文章 2 订阅

订阅专栏

Scrapy

10 篇文章 0 订阅

订阅专栏

这里是官方提供的最新的方法

from scrapy import signals
# 此为官方推荐的信号使用方法，用来关闭浏览器
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):

   spider = super(YourSpider, cls).from_crawler(crawler, *args, **kwargs)
   crawler.signals.connect(spider.closeSpider, signals.spider_closed)
   return spider

def closeSpider(self):
   self.driver.quit()

# 说明
spider.closeSpider是为了调用 def closeSpider(self):方法
signals.spider_closed 发出信号，当爬虫关闭时调用，更可以使用spider_opened等各种方法，这些在源码中都可以找到