scrapy_redis 解决空跑问题,自动关闭爬虫

使用过scrapy_redis框架的人一定知道，scrapy redis 在没有requests的时候，会阻塞等待接收start_url，程序无法自动结束。那如何自动停止程序，结束空跑呢？？？

下面是通过设置超时时间来结束空跑，如果你启动爬虫后没有接受初始爬取页面，也会在超时后关闭爬虫。主要在项目的设置文件settings.py进行设置及同级目录再添加一个文件extensions.py来解决

spider_idle 信号

scrapy.signals.spider_idle(spider)
当spider进入空闲(idle)状态时该信号被发送。空闲意味着:

requests正在等待被下载
requests被调度
items正在item pipeline中被处理
当该信号的所有处理器(handler)被调用后，如果spider仍然保持空闲状态， 引擎将会关闭该spider。当spider被关闭后， spider_closed 信号将被发送。

您可以，比如，在 spider_idle 处理器中调度某些请求来避免spider被关闭。

该信号 不支持 返回deferreds。

参数: spider (Spider 对象) – 空闲的spider
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13

了解了spider_idle 信号，大家有嗅到什么么？
对于scrapy_reids为何不能自动停止， scrapy_redis源码是这样的：

   def spider_idle(self):
        """Schedules a request if available, otherwise waits."""
        # XXX: Handle a sentinel to close the spider.
        self.schedule_next_requests()    # 这里调用schedule_next_requests() 来从redis中生成新的请求
        raise DontCloseSpider              # 抛出不要关闭爬虫的DontCloseSpider异常，保证爬虫活着

 
 
1
2
3
4
5
6

现在应该都清楚了吧，是因为scrapy_redis 从来不关闭spider。按照这个逻辑，我们可以在spider_idle 里加入自己的想法，比如 半个小时之后 spider还是空闲并且不存在redis key，那我们就发出close spider的信号，这样不就可以自如关闭爬虫了么？
具体我们可以使用 scrapy 框架中的 Extensions。具体如何使用文档很清楚。接下来，贴上具体解决方法。
在settings.py 同级 创建extensions.py，写入：

# -*- coding: utf-8 -*-

# Define here the models for your scraped Extensions


from scrapy import signals
from scrapy.exceptions import NotConfigured


class RedisSpiderSmartIdleClosedExensions(object):

    def __init__(self, idle_number, crawler):
        self.crawler = crawler
        self.idle_number = idle_number
        self.idle_list = []
        self.idle_count = 0

    @classmethod
    def from_crawler(cls, crawler):
        # first check if the extension should be enabled and raise

        # NotConfigured otherwise

        if not crawler.settings.getbool('MYEXT_ENABLED'):

            raise NotConfigured

        if not 'redis_key' in crawler.spidercls.__dict__.keys():

            raise NotConfigured('Only supports RedisSpider')

        # get the number of items from settings

        idle_number = crawler.settings.getint('IDLE_NUMBER', 360)

        # instantiate the extension object

        ext = cls(idle_number, crawler)

        # connect the extension object to signals

        crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)

        crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)

        crawler.signals.connect(ext.spider_idle, signal=signals.spider_idle)

        return ext

    def spider_opened(self, spider):
        spider.logger.info("opened spider {}, Allow waiting time:{} second".format(spider.name, self.idle_number*5))

    def spider_closed(self, spider):
        spider.logger.info("closed spider {}, Waiting time exceeded {} second".format(spider.name, self.idle_number*5))

    def spider_idle(self, spider):
        # 程序启动的时候会调用这个方法一次，之后每隔5秒再请求一次
        # 当持续半个小时都没有spider.redis_key，就关闭爬虫
        # 判断是否存在 redis_key
        if not spider.server.exists(spider.redis_key):
            self.idle_count += 1
        else:
            self.idle_count = 0

        if self.idle_count > self.idle_number:
            # 执行关闭爬虫操作
            self.crawler.engine.close_spider(spider, 'Waiting time exceeded')

 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68

在settings 配置如下：

MYEXT_ENABLED=True      # 开启扩展
IDLE_NUMBER=360           # 配置允许的空闲时长，每5秒会增加一次IDLE_NUMBER，直到增加到360，程序才会close

# 在 EXTENSIONS 配置，激活扩展
EXTENSIONS = {
            'yourproject.extensions.RedisSpiderSmartIdleClosedExensions': 500,
        },

 
 
1
2
3
4
5
6
7
8

测试结果如下：
windows和ubuntu爬虫端在开始爬取前

windows和ubuntu爬虫端在爬完后