Scrapy框架中Spider的用法
在Scrapy里面,要抓取网站的链接配置、抓取逻辑、解析逻辑里,都是在Spider里面去完成的。
一、Spider的运行流程
在实现Scrapy爬虫项目里面,最核心的就是Spider类了,它定义了如何爬取某个网站的流程和解析方式。简单来讲,Spider就做两件事情:
-
定义爬取的动作
-
分析爬取下来的网页
对于Spider类来说,整个流程如下,可以参考中文官方文档:
-
以初始的URL初始化Request,并设置回调函数。 当该request下载完毕并返回时,将生成response,并作为参数传给该回调函数。spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中 的URL, 并以 parse 为回调函数生成 Request 。