本文介绍 Scrapy 中 Spider 类的基本用法及其在爬虫项目中的核心作用。包括 Spider 的运行流程，从初始化 Request 到解析网页内容的全过程。
在Scrapy中，要抓取网站的链接配置、抓取逻辑、解析逻辑里其实都是在Spider中配置的。在前一节实例中，我们发现抓取逻辑也是在Spider中完成的。本节我们就来专门了解一下Spider的基本用法。
1.Spider运行流程
在实现Scrapy爬虫项目时，最核心的类便是Spider类了，它定义了如何爬取某个网站的流程和解析方式。简单来讲，Spider要做的事就是如下两件：
定义爬取网站的动作；
分析爬取下来的网页。
对于Spider类来说，整个爬取循环过程如下所述：
以初始的URL初始化Request，并设置回调函数。当该Request成功请求并返回时，Response生成并作为参数传给该回调函数。
在回调函数内分析返回的网页内容。返回结果有两种形式。一种是解析到的有效结果返回字典或Item对象，它们可以经过处理后（或直接）保存。另一种是解析得到下一个（如下一页）链接，可以利用此链接构造Request并设置新的回调函数，返回Request等待后续调度。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
