Scrapy框架CrawSpider源码分析
引言
这一期的文章我们来分析一下 Scrapy 框架中 CrawSpider 类的源码,希望能够加深对其处理逻辑的理解。
CrawlSpider 源码分析
CrawlSpider 继承了 Spider,其入口函数是 start_requests,该函数的 callback 为 CrawlSpider 下的 _parse 函数。
def _parse(self, response, **kwargs):
return self._parse_response(
response=res
原创
2020-09-27 10:29:08 ·
261 阅读 ·
0 评论