使用过scrapy_redis框架的人一定知道,scrapy redis 在没有requests的时候,会阻塞等待接收start_url,程序无法自动结束。那如何自动停止程序,结束空跑呢???
下面是通过设置超时时间来结束空跑,如果你启动爬虫后没有接受初始爬取页面,也会在超时后关闭爬虫。主要在项目的设置文件settings.py进行设置及同级目录再添加一个文件extensions.py来解决
spider_idle 信号
scrapy.signals.spider_idle(spider)
当spider进入空闲(idle)状态时该信号被发送。空闲意味着:
requests正在等待被下载
requests被调度
items正在item pipeline中被处理
当该信号的所有处理器(handler)被调用后,如果spider仍然保持空闲状态, 引擎将会关闭该spider。当spider被关闭后, spider_closed 信号将被发送。
您可以,比如,在 spider_idle 处理器中调度某些请求来避免spider被关闭。
该信号 不支持 返回deferreds。
参数: spider (Spider 对象) – 空闲的spider
了解了spider_idle 信号,大家有嗅到什么么?
对于scrapy_reids为何不能自动停止, scrapy_redis源码是这样的:def spider_idle(self): """Schedules a request if available, otherwise waits.""" # XXX: Handle a sentinel to close the spider. self.schedule_next_requests() # 这里调用schedule_next_requests() 来从redis中生成新的请求 raise DontCloseSpider # 抛出不要关闭爬虫的DontCloseSpider异常,保证爬虫活着
现在应该都清楚了吧,是因为scrapy_redis 从来不关闭spider。按照这个逻辑,我们可以在spider_idle 里加入自己的想法,比如 半个小时之后 spider还是空闲并且不存在redis key,那我们就发出close spider的信号,这样不就可以自如关闭爬虫了么?
具体我们可以使用 scrapy 框架中的 Extensions。具体如何使用文档很清楚。接下来,贴上具体解决方法。
在settings.py 同级 创建extensions.py,写入:# -*- coding: utf-8 -*- # Define here the models for your scraped Extensions from scrapy import signals from scrapy.exceptions import NotConfigured class RedisSpiderSmartIdleClosedExensions(object): def __init__(self, idle_number, crawler): self.crawler = crawler self.idle_number = idle_number self.idle_list = [] self.idle_count = 0 @classmethod def from_crawler(cls, crawler): # first check if the extension should be enabled and raise # NotConfigured otherwise if not crawler.settings.getbool('MYEXT_ENABLED'): raise NotConfigured if not 'redis_key' in crawler.spidercls.__dict__.keys(): raise NotConfigured('Only supports RedisSpider') # get the number of items from settings idle_number = crawler.settings.getint('IDLE_NUMBER', 360) # instantiate the extension object ext = cls(idle_number, crawler) # connect the extension object to signals crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened) crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed) crawler.signals.connect(ext.spider_idle, signal=signals.spider_idle) return ext def spider_opened(self, spider): spider.logger.info("opened spider {}, Allow waiting time:{} second".format(spider.name, self.idle_number*5)) def spider_closed(self, spider): spider.logger.info("closed spider {}, Waiting time exceeded {} second".format(spider.name, self.idle_number*5)) def spider_idle(self, spider): # 程序启动的时候会调用这个方法一次,之后每隔5秒再请求一次 # 当持续半个小时都没有spider.redis_key,就关闭爬虫 # 判断是否存在 redis_key if not spider.server.exists(spider.redis_key): self.idle_count += 1 else: self.idle_count = 0 if self.idle_count > self.idle_number: # 执行关闭爬虫操作 self.crawler.engine.close_spider(spider, 'Waiting time exceeded')
在settings 配置如下:
MYEXT_ENABLED=True # 开启扩展 IDLE_NUMBER=360 # 配置允许的空闲时长,每5秒会增加一次IDLE_NUMBER,直到增加到360,程序才会close # 在 EXTENSIONS 配置,激活扩展 EXTENSIONS = { 'yourproject.extensions.RedisSpiderSmartIdleClosedExensions': 500, },
测试结果如下:
windows和ubuntu爬虫端在开始爬取前
windows和ubuntu爬虫端在爬完后