上一节分析了Scheduler的源码,这一节分析ExecutionEngine的另外一个关键对象Scraper.
Scraper的主要作用是对网络蜘蛛中间件进行管理,通过中间件完成请求,响应,数据分析等工作。
先从构造函数分析起:
scrapy/core/scraper.py:
class Scraper(object): def __init__(self, crawler): self.slot = None self.s
上一节分析了Scheduler的源码,这一节分析ExecutionEngine的另外一个关键对象Scraper.
Scraper的主要作用是对网络蜘蛛中间件进行管理,通过中间件完成请求,响应,数据分析等工作。
先从构造函数分析起:
scrapy/core/scraper.py:
class Scraper(object): def __init__(self, crawler): self.slot = None self.s